QA: test for --{shared,}-file-storage-dir
[ganeti-local] / lib / opcodes.py
index 2464c93..a2c6fa7 100644 (file)
@@ -1,7 +1,7 @@
 #
 #
 
-# Copyright (C) 2006, 2007, 2008, 2009, 2010, 2011 Google Inc.
+# Copyright (C) 2006, 2007, 2008, 2009, 2010, 2011, 2012, 2013 Google Inc.
 #
 # This program is free software; you can redistribute it and/or modify
 # it under the terms of the GNU General Public License as published by
@@ -35,11 +35,13 @@ opcodes.
 
 import logging
 import re
+import ipaddr
 
 from ganeti import constants
 from ganeti import errors
 from ganeti import ht
 from ganeti import objects
+from ganeti import outils
 
 
 # Common opcode attributes
@@ -50,7 +52,7 @@ _POutputFields = ("output_fields", ht.NoDefault, ht.TListOf(ht.TNonEmptyString),
 
 #: the shutdown timeout
 _PShutdownTimeout = \
-  ("shutdown_timeout", constants.DEFAULT_SHUTDOWN_TIMEOUT, ht.TPositiveInt,
+  ("shutdown_timeout", constants.DEFAULT_SHUTDOWN_TIMEOUT, ht.TNonNegativeInt,
    "How long to wait for instance to shut down")
 
 #: the force parameter
@@ -60,6 +62,10 @@ _PForce = ("force", False, ht.TBool, "Whether to force the operation")
 _PInstanceName = ("instance_name", ht.NoDefault, ht.TNonEmptyString,
                   "Instance name")
 
+#: a instance UUID (for single-instance LUs)
+_PInstanceUuid = ("instance_uuid", None, ht.TMaybeString,
+                  "Instance UUID")
+
 #: Whether to ignore offline nodes
 _PIgnoreOfflineNodes = ("ignore_offline_nodes", False, ht.TBool,
                         "Whether to ignore offline nodes")
@@ -67,12 +73,15 @@ _PIgnoreOfflineNodes = ("ignore_offline_nodes", False, ht.TBool,
 #: a required node name (for single-node LUs)
 _PNodeName = ("node_name", ht.NoDefault, ht.TNonEmptyString, "Node name")
 
+#: a node UUID (for use with _PNodeName)
+_PNodeUuid = ("node_uuid", None, ht.TMaybeString, "Node UUID")
+
 #: a required node group name (for single-group LUs)
 _PGroupName = ("group_name", ht.NoDefault, ht.TNonEmptyString, "Group name")
 
 #: Migration type (live/non-live)
 _PMigrationMode = ("mode", None,
-                   ht.TOr(ht.TNone, ht.TElemOf(constants.HT_MIGRATION_MODES)),
+                   ht.TMaybe(ht.TElemOf(constants.HT_MIGRATION_MODES)),
                    "Migration mode")
 
 #: Obsolete 'live' migration mode (boolean)
@@ -80,10 +89,12 @@ _PMigrationLive = ("live", None, ht.TMaybeBool,
                    "Legacy setting for live migration, do not use")
 
 #: Tag type
-_PTagKind = ("kind", ht.NoDefault, ht.TElemOf(constants.VALID_TAG_TYPES), None)
+_PTagKind = ("kind", ht.NoDefault, ht.TElemOf(constants.VALID_TAG_TYPES),
+             "Tag kind")
 
 #: List of tag strings
-_PTags = ("tags", ht.NoDefault, ht.TListOf(ht.TNonEmptyString), None)
+_PTags = ("tags", ht.NoDefault, ht.TListOf(ht.TNonEmptyString),
+          "List of tag names")
 
 _PForceVariant = ("force_variant", False, ht.TBool,
                   "Whether to force an unknown OS variant")
@@ -91,6 +102,10 @@ _PForceVariant = ("force_variant", False, ht.TBool,
 _PWaitForSync = ("wait_for_sync", True, ht.TBool,
                  "Whether to wait for the disk to synchronize")
 
+_PWaitForSyncFalse = ("wait_for_sync", False, ht.TBool,
+                      "Whether to wait for the disk to synchronize"
+                      " (defaults to false)")
+
 _PIgnoreConsistency = ("ignore_consistency", False, ht.TBool,
                        "Whether to ignore disk consistency")
 
@@ -103,7 +118,7 @@ _PNameCheck = ("name_check", True, ht.TBool, "Whether to check name")
 
 _PNodeGroupAllocPolicy = \
   ("alloc_policy", None,
-   ht.TOr(ht.TNone, ht.TElemOf(constants.VALID_ALLOC_POLICIES)),
+   ht.TMaybe(ht.TElemOf(constants.VALID_ALLOC_POLICIES)),
    "Instance allocation policy")
 
 _PGroupNodeParams = ("ndparams", None, ht.TMaybeDict,
@@ -125,6 +140,9 @@ _PNoRemember = ("no_remember", False, ht.TBool,
 _PMigrationTargetNode = ("target_node", None, ht.TMaybeString,
                          "Target node for shared-storage instances")
 
+_PMigrationTargetNodeUuid = ("target_node_uuid", None, ht.TMaybeString,
+                             "Target node UUID for shared-storage instances")
+
 _PStartupPaused = ("startup_paused", False, ht.TBool,
                    "Pause instance at startup")
 
@@ -142,16 +160,21 @@ _PIgnoreErrors = ("ignore_errors", ht.EmptyList,
                   "List of error codes that should be treated as warnings")
 
 # Disk parameters
-_PDiskParams = ("diskparams", None,
-                ht.TOr(
-                  ht.TDictOf(ht.TElemOf(constants.DISK_TEMPLATES), ht.TDict),
-                  ht.TNone),
-                "Disk templates' parameter defaults")
+_PDiskParams = \
+  ("diskparams", None,
+   ht.TMaybe(ht.TDictOf(ht.TElemOf(constants.DISK_TEMPLATES), ht.TDict)),
+   "Disk templates' parameter defaults")
 
 # Parameters for node resource model
 _PHvState = ("hv_state", None, ht.TMaybeDict, "Set hypervisor states")
 _PDiskState = ("disk_state", None, ht.TMaybeDict, "Set disk states")
 
+#: Opportunistic locking
+_POpportunisticLocking = \
+  ("opportunistic_locking", False, ht.TBool,
+   ("Whether to employ opportunistic locking for nodes, meaning nodes"
+    " already locked by another opcode won't be considered for instance"
+    " allocation (only when an iallocator is used)"))
 
 _PIgnoreIpolicy = ("ignore_ipolicy", False, ht.TBool,
                    "Whether to ignore ipolicy violations")
@@ -160,6 +183,16 @@ _PIgnoreIpolicy = ("ignore_ipolicy", False, ht.TBool,
 _PAllowRuntimeChgs = ("allow_runtime_changes", True, ht.TBool,
                       "Allow runtime changes (eg. memory ballooning)")
 
+#: IAllocator field builder
+_PIAllocFromDesc = lambda desc: ("iallocator", None, ht.TMaybeString, desc)
+
+#: a required network name
+_PNetworkName = ("network_name", ht.NoDefault, ht.TNonEmptyString,
+                 "Set network name")
+
+_PTargetGroups = \
+  ("target_groups", None, ht.TMaybeListOf(ht.TNonEmptyString),
+   "Destination group names or UUIDs (defaults to \"all but current group\")")
 
 #: OP_ID conversion regular expression
 _OPID_RE = re.compile("([a-z])([A-Z])")
@@ -177,7 +210,7 @@ _TestClusterOsList = ht.TMaybeListOf(_TestClusterOsListItem)
 #: Utility function for testing NIC definitions
 _TestNicDef = \
   ht.Comment("NIC parameters")(ht.TDictOf(ht.TElemOf(constants.INIC_PARAMS),
-                                          ht.TOr(ht.TNone, ht.TNonEmptyString)))
+                                          ht.TMaybeString))
 
 _TSetParamsResultItemItems = [
   ht.Comment("name of changed parameter")(ht.TNonEmptyString),
@@ -188,10 +221,12 @@ _TSetParamsResult = \
   ht.TListOf(ht.TAnd(ht.TIsLength(len(_TSetParamsResultItemItems)),
                      ht.TItems(_TSetParamsResultItemItems)))
 
-# TODO: Generate check from constants.IDISK_PARAMS_TYPES (however, not all users
-# of this check support all parameters)
+# In the disks option we can provide arbitrary parameters too, which
+# we may not be able to validate at this level, so we just check the
+# format of the dict here and the checks concerning IDISK_PARAMS will
+# happen at the LU level
 _TDiskParams = \
-  ht.Comment("Disk parameters")(ht.TDictOf(ht.TElemOf(constants.IDISK_PARAMS),
+  ht.Comment("Disk parameters")(ht.TDictOf(ht.TNonEmptyString,
                                            ht.TOr(ht.TNonEmptyString, ht.TInt)))
 
 _TQueryRow = \
@@ -220,17 +255,16 @@ DEPEND_ATTR = "depends"
 COMMENT_ATTR = "comment"
 
 
-def _NameToId(name):
-  """Convert an opcode class name to an OP_ID.
+def _NameComponents(name):
+  """Split an opcode class name into its components
 
   @type name: string
   @param name: the class name, as OpXxxYyy
-  @rtype: string
-  @return: the name in the OP_XXXX_YYYY format
+  @rtype: array of strings
+  @return: the components of the name
 
   """
-  if not name.startswith("Op"):
-    return None
+  assert name.startswith("Op")
   # Note: (?<=[a-z])(?=[A-Z]) would be ideal, since it wouldn't
   # consume any input, and hence we would just have all the elements
   # in the list, one by one; but it seems that split doesn't work on
@@ -238,7 +272,36 @@ def _NameToId(name):
   # bit
   name = _OPID_RE.sub(r"\1,\2", name)
   elems = name.split(",")
-  return "_".join(n.upper() for n in elems)
+  return elems
+
+
+def _NameToId(name):
+  """Convert an opcode class name to an OP_ID.
+
+  @type name: string
+  @param name: the class name, as OpXxxYyy
+  @rtype: string
+  @return: the name in the OP_XXXX_YYYY format
+
+  """
+  if not name.startswith("Op"):
+    return None
+  return "_".join(n.upper() for n in _NameComponents(name))
+
+
+def NameToReasonSrc(name):
+  """Convert an opcode class name to a source string for the reason trail
+
+  @type name: string
+  @param name: the class name, as OpXxxYyy
+  @rtype: string
+  @return: the name in the OP_XXXX_YYYY format
+
+  """
+  if not name.startswith("Op"):
+    return None
+  return "%s:%s" % (constants.OPCODE_REASON_SRC_OPCODE,
+                    "_".join(n.lower() for n in _NameComponents(name)))
 
 
 def _GenerateObjectTypeCheck(obj, fields_types):
@@ -263,80 +326,93 @@ _TQueryFieldDef = \
     })
 
 
-def RequireFileStorage():
-  """Checks that file storage is enabled.
-
-  While it doesn't really fit into this module, L{utils} was deemed too large
-  of a dependency to be imported for just one or two functions.
+def _BuildDiskTemplateCheck(accept_none):
+  """Builds check for disk template.
 
-  @raise errors.OpPrereqError: when file storage is disabled
+  @type accept_none: bool
+  @param accept_none: whether to accept None as a correct value
+  @rtype: callable
 
   """
-  if not constants.ENABLE_FILE_STORAGE:
-    raise errors.OpPrereqError("File storage disabled at configure time",
-                               errors.ECODE_INVAL)
+  template_check = ht.TElemOf(constants.DISK_TEMPLATES)
 
+  if accept_none:
+    template_check = ht.TMaybe(template_check)
 
-def RequireSharedFileStorage():
-  """Checks that shared file storage is enabled.
+  return template_check
 
-  While it doesn't really fit into this module, L{utils} was deemed too large
-  of a dependency to be imported for just one or two functions.
 
-  @raise errors.OpPrereqError: when shared file storage is disabled
+def _CheckStorageType(storage_type):
+  """Ensure a given storage type is valid.
 
   """
-  if not constants.ENABLE_SHARED_FILE_STORAGE:
-    raise errors.OpPrereqError("Shared file storage disabled at"
-                               " configure time", errors.ECODE_INVAL)
+  if storage_type not in constants.STORAGE_TYPES:
+    raise errors.OpPrereqError("Unknown storage type: %s" % storage_type,
+                               errors.ECODE_INVAL)
+  return True
+
+
+#: Storage type parameter
+_PStorageType = ("storage_type", ht.NoDefault, _CheckStorageType,
+                 "Storage type")
 
 
-@ht.WithDesc("CheckFileStorage")
-def _CheckFileStorage(value):
-  """Ensures file storage is enabled if used.
+@ht.WithDesc("IPv4 network")
+def _CheckCIDRNetNotation(value):
+  """Ensure a given CIDR notation type is valid.
 
   """
-  if value == constants.DT_FILE:
-    RequireFileStorage()
-  elif value == constants.DT_SHARED_FILE:
-    RequireSharedFileStorage()
+  try:
+    ipaddr.IPv4Network(value)
+  except ipaddr.AddressValueError:
+    return False
   return True
 
 
-def _BuildDiskTemplateCheck(accept_none):
-  """Builds check for disk template.
-
-  @type accept_none: bool
-  @param accept_none: whether to accept None as a correct value
-  @rtype: callable
+@ht.WithDesc("IPv4 address")
+def _CheckCIDRAddrNotation(value):
+  """Ensure a given CIDR notation type is valid.
 
   """
-  template_check = ht.TElemOf(constants.DISK_TEMPLATES)
+  try:
+    ipaddr.IPv4Address(value)
+  except ipaddr.AddressValueError:
+    return False
+  return True
 
-  if accept_none:
-    template_check = ht.TOr(template_check, ht.TNone)
 
-  return ht.TAnd(template_check, _CheckFileStorage)
+@ht.WithDesc("IPv6 address")
+def _CheckCIDR6AddrNotation(value):
+  """Ensure a given CIDR notation type is valid.
+
+  """
+  try:
+    ipaddr.IPv6Address(value)
+  except ipaddr.AddressValueError:
+    return False
+  return True
 
 
-def _CheckStorageType(storage_type):
-  """Ensure a given storage type is valid.
+@ht.WithDesc("IPv6 network")
+def _CheckCIDR6NetNotation(value):
+  """Ensure a given CIDR notation type is valid.
 
   """
-  if storage_type not in constants.VALID_STORAGE_TYPES:
-    raise errors.OpPrereqError("Unknown storage type: %s" % storage_type,
-                               errors.ECODE_INVAL)
-  if storage_type == constants.ST_FILE:
-    RequireFileStorage()
+  try:
+    ipaddr.IPv6Network(value)
+  except ipaddr.AddressValueError:
+    return False
   return True
 
 
-#: Storage type parameter
-_PStorageType = ("storage_type", ht.NoDefault, _CheckStorageType,
-                 "Storage type")
+_TIpAddress4 = ht.TAnd(ht.TString, _CheckCIDRAddrNotation)
+_TIpAddress6 = ht.TAnd(ht.TString, _CheckCIDR6AddrNotation)
+_TIpNetwork4 = ht.TAnd(ht.TString, _CheckCIDRNetNotation)
+_TIpNetwork6 = ht.TAnd(ht.TString, _CheckCIDR6NetNotation)
+_TMaybeAddr4List = ht.TMaybe(ht.TListOf(_TIpAddress4))
 
 
-class _AutoOpParamSlots(type):
+class _AutoOpParamSlots(outils.AutoSlots):
   """Meta class for opcode definitions.
 
   """
@@ -350,27 +426,33 @@ class _AutoOpParamSlots(type):
     @param attrs: Class attributes
 
     """
-    assert "__slots__" not in attrs, \
-      "Class '%s' defines __slots__ when it should use OP_PARAMS" % name
     assert "OP_ID" not in attrs, "Class '%s' defining OP_ID" % name
 
+    slots = mcs._GetSlots(attrs)
+    assert "OP_DSC_FIELD" not in attrs or attrs["OP_DSC_FIELD"] in slots, \
+      "Class '%s' uses unknown field in OP_DSC_FIELD" % name
+    assert ("OP_DSC_FORMATTER" not in attrs or
+            callable(attrs["OP_DSC_FORMATTER"])), \
+      ("Class '%s' uses non-callable in OP_DSC_FORMATTER (%s)" %
+       (name, type(attrs["OP_DSC_FORMATTER"])))
+
     attrs["OP_ID"] = _NameToId(name)
 
+    return outils.AutoSlots.__new__(mcs, name, bases, attrs)
+
+  @classmethod
+  def _GetSlots(mcs, attrs):
+    """Build the slots out of OP_PARAMS.
+
+    """
     # Always set OP_PARAMS to avoid duplicates in BaseOpCode.GetAllParams
     params = attrs.setdefault("OP_PARAMS", [])
 
     # Use parameter names as slots
-    slots = [pname for (pname, _, _, _) in params]
-
-    assert "OP_DSC_FIELD" not in attrs or attrs["OP_DSC_FIELD"] in slots, \
-      "Class '%s' uses unknown field in OP_DSC_FIELD" % name
-
-    attrs["__slots__"] = slots
+    return [pname for (pname, _, _, _) in params]
 
-    return type.__new__(mcs, name, bases, attrs)
 
-
-class BaseOpCode(object):
+class BaseOpCode(outils.ValidatedSlots):
   """A simple serializable object.
 
   This object serves as a parent class for OpCode without any custom
@@ -381,22 +463,6 @@ class BaseOpCode(object):
   # as OP_ID is dynamically defined
   __metaclass__ = _AutoOpParamSlots
 
-  def __init__(self, **kwargs):
-    """Constructor for BaseOpCode.
-
-    The constructor takes only keyword arguments and will set
-    attributes on this object based on the passed arguments. As such,
-    it means that you should not pass arguments which are not in the
-    __slots__ attribute for this class.
-
-    """
-    slots = self._all_slots()
-    for key in kwargs:
-      if key not in slots:
-        raise TypeError("Object %s doesn't support the parameter '%s'" %
-                        (self.__class__.__name__, key))
-      setattr(self, key, kwargs[key])
-
   def __getstate__(self):
     """Generic serializer.
 
@@ -408,7 +474,7 @@ class BaseOpCode(object):
 
     """
     state = {}
-    for name in self._all_slots():
+    for name in self.GetAllSlots():
       if hasattr(self, name):
         state[name] = getattr(self, name)
     return state
@@ -427,7 +493,7 @@ class BaseOpCode(object):
       raise ValueError("Invalid data to __setstate__: expected dict, got %s" %
                        type(state))
 
-    for name in self._all_slots():
+    for name in self.GetAllSlots():
       if name not in state and hasattr(self, name):
         delattr(self, name)
 
@@ -435,16 +501,6 @@ class BaseOpCode(object):
       setattr(self, name, state[name])
 
   @classmethod
-  def _all_slots(cls):
-    """Compute the list of all declared slots for a class.
-
-    """
-    slots = []
-    for parent in cls.__mro__:
-      slots.extend(getattr(parent, "__slots__", []))
-    return slots
-
-  @classmethod
   def GetAllParams(cls):
     """Compute list of all parameters for an opcode.
 
@@ -454,7 +510,7 @@ class BaseOpCode(object):
       slots.extend(getattr(parent, "OP_PARAMS", []))
     return slots
 
-  def Validate(self, set_defaults):
+  def Validate(self, set_defaults): # pylint: disable=W0221
     """Validate opcode parameters, optionally setting default values.
 
     @type set_defaults: bool
@@ -485,8 +541,9 @@ class BaseOpCode(object):
       if set_defaults or hasattr(self, attr_name):
         attr_val = getattr(self, attr_name)
         if not test(attr_val):
-          logging.error("OpCode %s, parameter %s, has invalid type %s/value %s",
-                        self.OP_ID, attr_name, type(attr_val), attr_val)
+          logging.error("OpCode %s, parameter %s, has invalid type %s/value"
+                        " '%s' expecting type %s",
+                        self.OP_ID, attr_name, type(attr_val), attr_val, test)
           raise errors.OpPrereqError("Parameter '%s.%s' fails validation" %
                                      (self.OP_ID, attr_name),
                                      errors.ECODE_INVAL)
@@ -506,7 +563,8 @@ def _BuildJobDepCheck(relative):
     job_id = ht.TJobId
 
   job_dep = \
-    ht.TAnd(ht.TIsLength(2),
+    ht.TAnd(ht.TOr(ht.TList, ht.TTuple),
+            ht.TIsLength(2),
             ht.TItems([job_id,
                        ht.TListOf(ht.TElemOf(constants.JOBS_FINALIZED))]))
 
@@ -541,6 +599,9 @@ class OpCode(BaseOpCode):
   @cvar OP_DSC_FIELD: The name of a field whose value will be included in the
                       string returned by Summary(); see the docstring of that
                       method for details).
+  @cvar OP_DSC_FORMATTER: A callable that should format the OP_DSC_FIELD; if
+                          not present, then the field will be simply converted
+                          to string
   @cvar OP_PARAMS: List of opcode attributes, the default values they should
                    get if not already defined, and types they must match.
   @cvar OP_RESULT: Callable to verify opcode result
@@ -556,7 +617,7 @@ class OpCode(BaseOpCode):
   WITH_LU = True
   OP_PARAMS = [
     ("dry_run", None, ht.TMaybeBool, "Run checks only, don't execute"),
-    ("debug_level", None, ht.TOr(ht.TNone, ht.TPositiveInt), "Debug level"),
+    ("debug_level", None, ht.TMaybe(ht.TNonNegativeInt), "Debug level"),
     ("priority", constants.OP_PRIO_DEFAULT,
      ht.TElemOf(constants.OP_PRIO_SUBMIT_VALID), "Opcode priority"),
     (DEPEND_ATTR, None, _BuildJobDepCheck(True),
@@ -565,6 +626,8 @@ class OpCode(BaseOpCode):
      " for details"),
     (COMMENT_ATTR, None, ht.TMaybeString,
      "Comment describing the purpose of the opcode"),
+    (constants.OPCODE_REASON, None, ht.TMaybeList,
+     "The reason trail, describing why the OpCode is executed"),
     ]
   OP_RESULT = None
 
@@ -628,7 +691,10 @@ class OpCode(BaseOpCode):
     field_name = getattr(self, "OP_DSC_FIELD", None)
     if field_name:
       field_value = getattr(self, field_name, None)
-      if isinstance(field_value, (list, tuple)):
+      field_formatter = getattr(self, "OP_DSC_FORMATTER", None)
+      if callable(field_formatter):
+        field_value = field_formatter(field_value)
+      elif isinstance(field_value, (list, tuple)):
         field_value = ",".join(str(i) for i in field_value)
       txt = "%s(%s)" % (txt, field_value)
     return txt
@@ -685,7 +751,7 @@ class OpClusterVerify(OpCode):
     _PSkipChecks,
     _PIgnoreErrors,
     _PVerbose,
-    ("group_name", None, ht.TMaybeString, "Group to verify")
+    ("group_name", None, ht.TMaybeString, "Group to verify"),
     ]
   OP_RESULT = TJobIdListOnly
 
@@ -769,7 +835,7 @@ class OpClusterRepairDiskSizes(OpCode):
   Parameters: optional instances list, in case we want to restrict the
   checks to only a subset of the instances.
 
-  Result: a list of tuples, (instance, disk, new-size) for changed
+  Result: a list of tuples, (instance, disk, parameter, new-size) for changed
   configurations.
 
   In normal operation, the list should be empty.
@@ -781,16 +847,17 @@ class OpClusterRepairDiskSizes(OpCode):
   OP_PARAMS = [
     ("instances", ht.EmptyList, ht.TListOf(ht.TNonEmptyString), None),
     ]
-  OP_RESULT = ht.TListOf(ht.TAnd(ht.TIsLength(3),
+  OP_RESULT = ht.TListOf(ht.TAnd(ht.TIsLength(4),
                                  ht.TItems([ht.TNonEmptyString,
-                                            ht.TPositiveInt,
-                                            ht.TPositiveInt])))
+                                            ht.TNonNegativeInt,
+                                            ht.TNonEmptyString,
+                                            ht.TNonNegativeInt])))
 
 
 class OpClusterConfigQuery(OpCode):
   """Query cluster configuration values."""
   OP_PARAMS = [
-    _POutputFields
+    _POutputFields,
     ]
   OP_RESULT = ht.TListOf(ht.TAny)
 
@@ -819,26 +886,26 @@ class OpClusterSetParams(OpCode):
 
   """
   OP_PARAMS = [
+    _PForce,
     _PHvState,
     _PDiskState,
-    ("vg_name", None, ht.TMaybeString, "Volume group name"),
+    ("vg_name", None, ht.TMaybe(ht.TString), "Volume group name"),
     ("enabled_hypervisors", None,
-     ht.TOr(ht.TAnd(ht.TListOf(ht.TElemOf(constants.HYPER_TYPES)), ht.TTrue),
-            ht.TNone),
+     ht.TMaybe(ht.TAnd(ht.TListOf(ht.TElemOf(constants.HYPER_TYPES)),
+                       ht.TTrue)),
      "List of enabled hypervisors"),
-    ("hvparams", None, ht.TOr(ht.TDictOf(ht.TNonEmptyString, ht.TDict),
-                              ht.TNone),
+    ("hvparams", None,
+     ht.TMaybe(ht.TDictOf(ht.TNonEmptyString, ht.TDict)),
      "Cluster-wide hypervisor parameter defaults, hypervisor-dependent"),
-    ("beparams", None, ht.TOr(ht.TDict, ht.TNone),
+    ("beparams", None, ht.TMaybeDict,
      "Cluster-wide backend parameter defaults"),
-    ("os_hvp", None, ht.TOr(ht.TDictOf(ht.TNonEmptyString, ht.TDict),
-                            ht.TNone),
+    ("os_hvp", None, ht.TMaybe(ht.TDictOf(ht.TNonEmptyString, ht.TDict)),
      "Cluster-wide per-OS hypervisor parameter defaults"),
-    ("osparams", None, ht.TOr(ht.TDictOf(ht.TNonEmptyString, ht.TDict),
-                              ht.TNone),
+    ("osparams", None,
+     ht.TMaybe(ht.TDictOf(ht.TNonEmptyString, ht.TDict)),
      "Cluster-wide OS parameter defaults"),
     _PDiskParams,
-    ("candidate_pool_size", None, ht.TOr(ht.TStrictPositiveInt, ht.TNone),
+    ("candidate_pool_size", None, ht.TMaybe(ht.TPositiveInt),
      "Master candidate pool size"),
     ("uid_pool", None, ht.NoType,
      "Set UID pool, must be list of lists describing UID ranges (two items,"
@@ -857,25 +924,35 @@ class OpClusterSetParams(OpCode):
     ("ndparams", None, ht.TMaybeDict, "Cluster-wide node parameter defaults"),
     ("ipolicy", None, ht.TMaybeDict,
      "Cluster-wide :ref:`instance policy <rapi-ipolicy>` specs"),
-    ("drbd_helper", None, ht.TOr(ht.TString, ht.TNone), "DRBD helper program"),
-    ("default_iallocator", None, ht.TOr(ht.TString, ht.TNone),
+    ("drbd_helper", None, ht.TMaybe(ht.TString), "DRBD helper program"),
+    ("default_iallocator", None, ht.TMaybe(ht.TString),
      "Default iallocator for cluster"),
-    ("master_netdev", None, ht.TOr(ht.TString, ht.TNone),
+    ("master_netdev", None, ht.TMaybe(ht.TString),
      "Master network device"),
-    ("master_netmask", None, ht.TOr(ht.TInt, ht.TNone),
+    ("master_netmask", None, ht.TMaybe(ht.TNonNegativeInt),
      "Netmask of the master IP"),
     ("reserved_lvs", None, ht.TMaybeListOf(ht.TNonEmptyString),
      "List of reserved LVs"),
     ("hidden_os", None, _TestClusterOsList,
-     "Modify list of hidden operating systems. Each modification must have"
-     " two items, the operation and the OS name. The operation can be"
-     " ``%s`` or ``%s``." % (constants.DDM_ADD, constants.DDM_REMOVE)),
+     "Modify list of hidden operating systems: each modification must have"
+     " two items, the operation and the OS name; the operation can be"
+     " ``%s`` or ``%s``" % (constants.DDM_ADD, constants.DDM_REMOVE)),
     ("blacklisted_os", None, _TestClusterOsList,
-     "Modify list of blacklisted operating systems. Each modification must have"
-     " two items, the operation and the OS name. The operation can be"
-     " ``%s`` or ``%s``." % (constants.DDM_ADD, constants.DDM_REMOVE)),
+     "Modify list of blacklisted operating systems: each modification must"
+     " have two items, the operation and the OS name; the operation can be"
+     " ``%s`` or ``%s``" % (constants.DDM_ADD, constants.DDM_REMOVE)),
     ("use_external_mip_script", None, ht.TMaybeBool,
      "Whether to use an external master IP address setup script"),
+    ("enabled_disk_templates", None,
+     ht.TMaybe(ht.TAnd(ht.TListOf(ht.TElemOf(constants.DISK_TEMPLATES)),
+                       ht.TTrue)),
+     "List of enabled disk templates"),
+    ("modify_etc_hosts", None, ht.TMaybeBool,
+     "Whether the cluster can modify and keep in sync the /etc/hosts files"),
+    ("file_storage_dir", None, ht.TMaybe(ht.TString),
+     "Default directory for storing file-backed disks"),
+    ("shared_file_storage_dir", None, ht.TMaybe(ht.TString),
+     "Default directory for storing shared-file-backed disks"),
     ]
   OP_RESULT = ht.TNone
 
@@ -915,7 +992,7 @@ class OpQuery(OpCode):
     _PUseLocking,
     ("fields", ht.NoDefault, ht.TListOf(ht.TNonEmptyString),
      "Requested fields"),
-    ("qfilter", None, ht.TOr(ht.TNone, ht.TList),
+    ("qfilter", None, ht.TMaybe(ht.TList),
      "Query filter"),
     ]
   OP_RESULT = \
@@ -948,20 +1025,46 @@ class OpOobCommand(OpCode):
   """Interact with OOB."""
   OP_PARAMS = [
     ("node_names", ht.EmptyList, ht.TListOf(ht.TNonEmptyString),
-     "List of nodes to run the OOB command against"),
-    ("command", None, ht.TElemOf(constants.OOB_COMMANDS),
+     "List of node names to run the OOB command against"),
+    ("node_uuids", None, ht.TMaybeListOf(ht.TNonEmptyString),
+     "List of node UUIDs to run the OOB command against"),
+    ("command", ht.NoDefault, ht.TElemOf(constants.OOB_COMMANDS),
      "OOB command to be run"),
     ("timeout", constants.OOB_TIMEOUT, ht.TInt,
      "Timeout before the OOB helper will be terminated"),
     ("ignore_status", False, ht.TBool,
      "Ignores the node offline status for power off"),
-    ("power_delay", constants.OOB_POWER_DELAY, ht.TPositiveFloat,
+    ("power_delay", constants.OOB_POWER_DELAY, ht.TNonNegativeFloat,
      "Time in seconds to wait between powering on nodes"),
     ]
   # Fixme: Make it more specific with all the special cases in LUOobCommand
   OP_RESULT = _TQueryResult
 
 
+class OpRestrictedCommand(OpCode):
+  """Runs a restricted command on node(s).
+
+  """
+  OP_PARAMS = [
+    _PUseLocking,
+    ("nodes", ht.NoDefault, ht.TListOf(ht.TNonEmptyString),
+     "Nodes on which the command should be run (at least one)"),
+    ("node_uuids", None, ht.TMaybeListOf(ht.TNonEmptyString),
+     "Node UUIDs on which the command should be run (at least one)"),
+    ("command", ht.NoDefault, ht.TNonEmptyString,
+     "Command name (no parameters)"),
+    ]
+
+  _RESULT_ITEMS = [
+    ht.Comment("success")(ht.TBool),
+    ht.Comment("output or error message")(ht.TString),
+    ]
+
+  OP_RESULT = \
+    ht.TListOf(ht.TAnd(ht.TIsLength(len(_RESULT_ITEMS)),
+                       ht.TItems(_RESULT_ITEMS)))
+
+
 # node opcodes
 
 class OpNodeRemove(OpCode):
@@ -975,6 +1078,7 @@ class OpNodeRemove(OpCode):
   OP_DSC_FIELD = "node_name"
   OP_PARAMS = [
     _PNodeName,
+    _PNodeUuid
     ]
   OP_RESULT = ht.TNone
 
@@ -1059,8 +1163,10 @@ class OpNodeQueryStorage(OpCode):
 
 class OpNodeModifyStorage(OpCode):
   """Modifies the properies of a storage unit"""
+  OP_DSC_FIELD = "node_name"
   OP_PARAMS = [
     _PNodeName,
+    _PNodeUuid,
     _PStorageType,
     _PStorageName,
     ("changes", ht.NoDefault, ht.TDict, "Requested changes"),
@@ -1073,6 +1179,7 @@ class OpRepairNodeStorage(OpCode):
   OP_DSC_FIELD = "node_name"
   OP_PARAMS = [
     _PNodeName,
+    _PNodeUuid,
     _PStorageType,
     _PStorageName,
     _PIgnoreConsistency,
@@ -1085,6 +1192,7 @@ class OpNodeSetParams(OpCode):
   OP_DSC_FIELD = "node_name"
   OP_PARAMS = [
     _PNodeName,
+    _PNodeUuid,
     _PForce,
     _PHvState,
     _PDiskState,
@@ -1114,6 +1222,7 @@ class OpNodePowercycle(OpCode):
   OP_DSC_FIELD = "node_name"
   OP_PARAMS = [
     _PNodeName,
+    _PNodeUuid,
     _PForce,
     ]
   OP_RESULT = ht.TMaybeString
@@ -1124,13 +1233,15 @@ class OpNodeMigrate(OpCode):
   OP_DSC_FIELD = "node_name"
   OP_PARAMS = [
     _PNodeName,
+    _PNodeUuid,
     _PMigrationMode,
     _PMigrationLive,
     _PMigrationTargetNode,
+    _PMigrationTargetNodeUuid,
     _PAllowRuntimeChgs,
     _PIgnoreIpolicy,
-    ("iallocator", None, ht.TMaybeString,
-     "Iallocator for deciding the target node for shared-storage instances"),
+    _PIAllocFromDesc("Iallocator for deciding the target node"
+                     " for shared-storage instances"),
     ]
   OP_RESULT = TJobIdListOnly
 
@@ -1141,8 +1252,10 @@ class OpNodeEvacuate(OpCode):
   OP_PARAMS = [
     _PEarlyRelease,
     _PNodeName,
+    _PNodeUuid,
     ("remote_node", None, ht.TMaybeString, "New secondary node"),
-    ("iallocator", None, ht.TMaybeString, "Iallocator for computing solution"),
+    ("remote_node_uuid", None, ht.TMaybeString, "New secondary node UUID"),
+    _PIAllocFromDesc("Iallocator for computing solution"),
     ("mode", ht.NoDefault, ht.TElemOf(constants.NODE_EVAC_MODES),
      "Node evacuation mode"),
     ]
@@ -1170,6 +1283,7 @@ class OpInstanceCreate(OpCode):
     _PWaitForSync,
     _PNameCheck,
     _PIgnoreIpolicy,
+    _POpportunisticLocking,
     ("beparams", ht.EmptyDict, ht.TDict, "Backend parameters for instance"),
     ("disks", ht.NoDefault, ht.TListOf(_TDiskParams),
      "Disk descriptions, for example ``[{\"%s\": 100}, {\"%s\": 5}]``;"
@@ -1181,18 +1295,18 @@ class OpInstanceCreate(OpCode):
       " or ".join("``%s``" % i for i in sorted(constants.DISK_ACCESS_SET)))),
     ("disk_template", ht.NoDefault, _BuildDiskTemplateCheck(True),
      "Disk template"),
-    ("file_driver", None, ht.TOr(ht.TNone, ht.TElemOf(constants.FILE_DRIVER)),
+    ("file_driver", None, ht.TMaybe(ht.TElemOf(constants.FILE_DRIVER)),
      "Driver for file-backed disks"),
     ("file_storage_dir", None, ht.TMaybeString,
      "Directory for storing file-backed disks"),
     ("hvparams", ht.EmptyDict, ht.TDict,
      "Hypervisor parameters for instance, hypervisor-dependent"),
     ("hypervisor", None, ht.TMaybeString, "Hypervisor"),
-    ("iallocator", None, ht.TMaybeString,
-     "Iallocator for deciding which node(s) to use"),
+    _PIAllocFromDesc("Iallocator for deciding which node(s) to use"),
     ("identify_defaults", False, ht.TBool,
      "Reset instance parameters to default if equal"),
     ("ip_check", True, ht.TBool, _PIpCheckDoc),
+    ("conflicts_check", True, ht.TBool, "Check for conflicting IPs"),
     ("mode", ht.NoDefault, ht.TElemOf(constants.INSTANCE_CREATE_MODES),
      "Instance creation mode"),
     ("nics", ht.NoDefault, ht.TListOf(_TestNicDef),
@@ -1206,17 +1320,20 @@ class OpInstanceCreate(OpCode):
     ("osparams", ht.EmptyDict, ht.TDict, "OS parameters for instance"),
     ("os_type", None, ht.TMaybeString, "Operating system"),
     ("pnode", None, ht.TMaybeString, "Primary node"),
+    ("pnode_uuid", None, ht.TMaybeString, "Primary node UUID"),
     ("snode", None, ht.TMaybeString, "Secondary node"),
-    ("source_handshake", None, ht.TOr(ht.TList, ht.TNone),
+    ("snode_uuid", None, ht.TMaybeString, "Secondary node UUID"),
+    ("source_handshake", None, ht.TMaybe(ht.TList),
      "Signed handshake from source (remote import only)"),
     ("source_instance_name", None, ht.TMaybeString,
      "Source instance name (remote import only)"),
     ("source_shutdown_timeout", constants.DEFAULT_SHUTDOWN_TIMEOUT,
-     ht.TPositiveInt,
+     ht.TNonNegativeInt,
      "How long source instance was given to shut down (remote import only)"),
     ("source_x509_ca", None, ht.TMaybeString,
      "Source X509 CA in PEM format (remote import only)"),
     ("src_node", None, ht.TMaybeString, "Source node for import"),
+    ("src_node_uuid", None, ht.TMaybeString, "Source node UUID for import"),
     ("src_path", None, ht.TMaybeString, "Source directory for import"),
     ("start", True, ht.TBool, "Whether to start instance after creation"),
     ("tags", ht.EmptyList, ht.TListOf(ht.TNonEmptyString), "Instance tags"),
@@ -1224,11 +1341,72 @@ class OpInstanceCreate(OpCode):
   OP_RESULT = ht.Comment("instance nodes")(ht.TListOf(ht.TNonEmptyString))
 
 
+class OpInstanceMultiAlloc(OpCode):
+  """Allocates multiple instances.
+
+  """
+  OP_PARAMS = [
+    _POpportunisticLocking,
+    _PIAllocFromDesc("Iallocator used to allocate all the instances"),
+    ("instances", ht.EmptyList, ht.TListOf(ht.TInstanceOf(OpInstanceCreate)),
+     "List of instance create opcodes describing the instances to allocate"),
+    ]
+  _JOB_LIST = ht.Comment("List of submitted jobs")(TJobIdList)
+  ALLOCATABLE_KEY = "allocatable"
+  FAILED_KEY = "allocatable"
+  OP_RESULT = ht.TStrictDict(True, True, {
+    constants.JOB_IDS_KEY: _JOB_LIST,
+    ALLOCATABLE_KEY: ht.TListOf(ht.TNonEmptyString),
+    FAILED_KEY: ht.TListOf(ht.TNonEmptyString),
+    })
+
+  def __getstate__(self):
+    """Generic serializer.
+
+    """
+    state = OpCode.__getstate__(self)
+    if hasattr(self, "instances"):
+      # pylint: disable=E1101
+      state["instances"] = [inst.__getstate__() for inst in self.instances]
+    return state
+
+  def __setstate__(self, state):
+    """Generic unserializer.
+
+    This method just restores from the serialized state the attributes
+    of the current instance.
+
+    @param state: the serialized opcode data
+    @type state: C{dict}
+
+    """
+    if not isinstance(state, dict):
+      raise ValueError("Invalid data to __setstate__: expected dict, got %s" %
+                       type(state))
+
+    if "instances" in state:
+      state["instances"] = map(OpCode.LoadOpCode, state["instances"])
+
+    return OpCode.__setstate__(self, state)
+
+  def Validate(self, set_defaults):
+    """Validates this opcode.
+
+    We do this recursively.
+
+    """
+    OpCode.Validate(self, set_defaults)
+
+    for inst in self.instances: # pylint: disable=E1101
+      inst.Validate(set_defaults)
+
+
 class OpInstanceReinstall(OpCode):
   """Reinstall an instance's OS."""
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PForceVariant,
     ("os_type", None, ht.TMaybeString, "Instance operating system"),
     ("osparams", None, ht.TMaybeDict, "Temporary OS parameters"),
@@ -1241,6 +1419,7 @@ class OpInstanceRemove(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PShutdownTimeout,
     ("ignore_failures", False, ht.TBool,
      "Whether to ignore failures during removal"),
@@ -1252,6 +1431,7 @@ class OpInstanceRename(OpCode):
   """Rename an instance."""
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PNameCheck,
     ("new_name", ht.NoDefault, ht.TNonEmptyString, "New instance name"),
     ("ip_check", False, ht.TBool, _PIpCheckDoc),
@@ -1264,6 +1444,7 @@ class OpInstanceStartup(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PForce,
     _PIgnoreOfflineNodes,
     ("hvparams", ht.EmptyDict, ht.TDict,
@@ -1280,8 +1461,10 @@ class OpInstanceShutdown(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
+    _PForce,
     _PIgnoreOfflineNodes,
-    ("timeout", constants.DEFAULT_SHUTDOWN_TIMEOUT, ht.TPositiveInt,
+    ("timeout", constants.DEFAULT_SHUTDOWN_TIMEOUT, ht.TNonNegativeInt,
      "How long to wait for instance to shut down"),
     _PNoRemember,
     ]
@@ -1293,6 +1476,7 @@ class OpInstanceReboot(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PShutdownTimeout,
     ("ignore_secondaries", False, ht.TBool,
      "Whether to start the instance even if secondary disks are failing"),
@@ -1307,15 +1491,16 @@ class OpInstanceReplaceDisks(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PEarlyRelease,
     _PIgnoreIpolicy,
     ("mode", ht.NoDefault, ht.TElemOf(constants.REPLACE_MODES),
      "Replacement mode"),
-    ("disks", ht.EmptyList, ht.TListOf(ht.TPositiveInt),
+    ("disks", ht.EmptyList, ht.TListOf(ht.TNonNegativeInt),
      "Disk indexes"),
     ("remote_node", None, ht.TMaybeString, "New secondary node"),
-    ("iallocator", None, ht.TMaybeString,
-     "Iallocator for deciding new secondary node"),
+    ("remote_node_uuid", None, ht.TMaybeString, "New secondary node UUID"),
+    _PIAllocFromDesc("Iallocator for deciding new secondary node"),
     ]
   OP_RESULT = ht.TNone
 
@@ -1325,12 +1510,14 @@ class OpInstanceFailover(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PShutdownTimeout,
     _PIgnoreConsistency,
     _PMigrationTargetNode,
+    _PMigrationTargetNodeUuid,
     _PIgnoreIpolicy,
-    ("iallocator", None, ht.TMaybeString,
-     "Iallocator for deciding the target node for shared-storage instances"),
+    _PIAllocFromDesc("Iallocator for deciding the target node for"
+                     " shared-storage instances"),
     ]
   OP_RESULT = ht.TNone
 
@@ -1348,15 +1535,17 @@ class OpInstanceMigrate(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PMigrationMode,
     _PMigrationLive,
     _PMigrationTargetNode,
+    _PMigrationTargetNodeUuid,
     _PAllowRuntimeChgs,
     _PIgnoreIpolicy,
     ("cleanup", False, ht.TBool,
      "Whether a previously failed migration should be cleaned up"),
-    ("iallocator", None, ht.TMaybeString,
-     "Iallocator for deciding the target node for shared-storage instances"),
+    _PIAllocFromDesc("Iallocator for deciding the target node for"
+                     " shared-storage instances"),
     ("allow_failover", False, ht.TBool,
      "Whether we can fallback to failover if migration is not possible"),
     ]
@@ -1376,9 +1565,11 @@ class OpInstanceMove(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PShutdownTimeout,
     _PIgnoreIpolicy,
     ("target_node", ht.NoDefault, ht.TNonEmptyString, "Target node"),
+    ("target_node_uuid", None, ht.TMaybeString, "Target node UUID"),
     _PIgnoreConsistency,
     ]
   OP_RESULT = ht.TNone
@@ -1388,7 +1579,8 @@ class OpInstanceConsole(OpCode):
   """Connect to an instance's console."""
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
-    _PInstanceName
+    _PInstanceName,
+    _PInstanceUuid,
     ]
   OP_RESULT = ht.TDict
 
@@ -1398,7 +1590,9 @@ class OpInstanceActivateDisks(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     ("ignore_size", False, ht.TBool, "Whether to ignore recorded size"),
+    _PWaitForSyncFalse,
     ]
   OP_RESULT = ht.TListOf(ht.TAnd(ht.TIsLength(3),
                                  ht.TItems([ht.TNonEmptyString,
@@ -1411,6 +1605,7 @@ class OpInstanceDeactivateDisks(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PForce,
     ]
   OP_RESULT = ht.TNone
@@ -1420,18 +1615,22 @@ class OpInstanceRecreateDisks(OpCode):
   """Recreate an instance's disks."""
   _TDiskChanges = \
     ht.TAnd(ht.TIsLength(2),
-            ht.TItems([ht.Comment("Disk index")(ht.TPositiveInt),
+            ht.TItems([ht.Comment("Disk index")(ht.TNonNegativeInt),
                        ht.Comment("Parameters")(_TDiskParams)]))
 
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     ("disks", ht.EmptyList,
-     ht.TOr(ht.TListOf(ht.TPositiveInt), ht.TListOf(_TDiskChanges)),
+     ht.TOr(ht.TListOf(ht.TNonNegativeInt), ht.TListOf(_TDiskChanges)),
      "List of disk indexes (deprecated) or a list of tuples containing a disk"
      " index and a possibly empty dictionary with disk parameter changes"),
     ("nodes", ht.EmptyList, ht.TListOf(ht.TNonEmptyString),
      "New instance nodes, if relocation is desired"),
+    ("node_uuids", None, ht.TMaybeListOf(ht.TNonEmptyString),
+     "New instance node UUIDs, if relocation is desired"),
+    _PIAllocFromDesc("Iallocator for deciding new nodes"),
     ]
   OP_RESULT = ht.TNone
 
@@ -1468,7 +1667,7 @@ def _TestInstSetParamsModList(fn):
   # TODO: Remove in version 2.8 including support in LUInstanceSetParams
   old_mod_item_fn = \
     ht.TAnd(ht.TIsLength(2), ht.TItems([
-      ht.TOr(ht.TElemOf(constants.DDMS_VALUES), ht.TPositiveInt),
+      ht.TOr(ht.TElemOf(constants.DDMS_VALUES), ht.TNonNegativeInt),
       fn,
       ]))
 
@@ -1476,7 +1675,8 @@ def _TestInstSetParamsModList(fn):
   mod_item_fn = \
     ht.TAnd(ht.TIsLength(3), ht.TItems([
       ht.TElemOf(constants.DDMS_VALUES_WITH_MODIFY),
-      ht.Comment("Disk index, can be negative, e.g. -1 for last disk")(ht.TInt),
+      ht.Comment("Device index, can be negative, e.g. -1 for last disk")
+                 (ht.TOr(ht.TInt, ht.TString)),
       fn,
       ]))
 
@@ -1494,35 +1694,42 @@ class OpInstanceSetParams(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PForce,
     _PForceVariant,
     _PIgnoreIpolicy,
     ("nics", ht.EmptyList, TestNicModifications,
-     "List of NIC changes. Each item is of the form ``(op, index, settings)``."
-     " ``op`` is one of ``%s``, ``%s`` or ``%s``. ``index`` can be either -1 to"
-     " refer to the last position, or a zero-based index number. A deprecated"
-     " version of this parameter used the form ``(op, settings)``, where "
-     " ``op`` can be ``%s`` to add a new NIC with the specified settings,"
-     " ``%s`` to remove the last NIC or a number to modify the settings"
-     " of the NIC with that index." %
+     "List of NIC changes: each item is of the form"
+     " ``(op, identifier, settings)``, ``op`` is one of ``%s``, ``%s`` or"
+     " ``%s``, ``identifier`` can be a zero-based index number (or -1 to refer"
+     " to the last position), the NIC's UUID of the NIC's name; a"
+     " deprecated version of this parameter used the form ``(op, settings)``,"
+     " where ``op`` can be ``%s`` to add a new NIC with the specified"
+     " settings, ``%s`` to remove the last NIC or a number to modify the"
+     " settings of the NIC with that index" %
      (constants.DDM_ADD, constants.DDM_MODIFY, constants.DDM_REMOVE,
       constants.DDM_ADD, constants.DDM_REMOVE)),
     ("disks", ht.EmptyList, TestDiskModifications,
-     "List of disk changes. See ``nics``."),
+     "List of disk changes; see ``nics``"),
     ("beparams", ht.EmptyDict, ht.TDict, "Per-instance backend parameters"),
-    ("runtime_mem", None, ht.TMaybeStrictPositiveInt, "New runtime memory"),
+    ("runtime_mem", None, ht.TMaybePositiveInt, "New runtime memory"),
     ("hvparams", ht.EmptyDict, ht.TDict,
      "Per-instance hypervisor parameters, hypervisor-dependent"),
-    ("disk_template", None, ht.TOr(ht.TNone, _BuildDiskTemplateCheck(False)),
+    ("disk_template", None, ht.TMaybe(_BuildDiskTemplateCheck(False)),
      "Disk template for instance"),
+    ("pnode", None, ht.TMaybeString, "New primary node"),
+    ("pnode_uuid", None, ht.TMaybeString, "New primary node UUID"),
     ("remote_node", None, ht.TMaybeString,
      "Secondary node (used when changing disk template)"),
+    ("remote_node_uuid", None, ht.TMaybeString,
+     "Secondary node UUID (used when changing disk template)"),
     ("os_name", None, ht.TMaybeString,
-     "Change instance's OS name. Does not reinstall the instance."),
+     "Change the instance's OS without reinstalling the instance"),
     ("osparams", None, ht.TMaybeDict, "Per-instance OS parameters"),
     ("wait_for_sync", True, ht.TBool,
      "Whether to wait for the disk to synchronize, when changing template"),
     ("offline", None, ht.TMaybeBool, "Whether to mark instance as offline"),
+    ("conflicts_check", True, ht.TBool, "Check for conflicting IPs"),
     ]
   OP_RESULT = _TSetParamsResult
 
@@ -1532,10 +1739,13 @@ class OpInstanceGrowDisk(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PWaitForSync,
     ("disk", ht.NoDefault, ht.TInt, "Disk index"),
-    ("amount", ht.NoDefault, ht.TInt,
+    ("amount", ht.NoDefault, ht.TNonNegativeInt,
      "Amount of disk space to add (megabytes)"),
+    ("absolute", False, ht.TBool,
+     "Whether the amount parameter is an absolute target or a relative one"),
     ]
   OP_RESULT = ht.TNone
 
@@ -1545,10 +1755,10 @@ class OpInstanceChangeGroup(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PEarlyRelease,
-    ("iallocator", None, ht.TMaybeString, "Iallocator for computing solution"),
-    ("target_groups", None, ht.TMaybeListOf(ht.TNonEmptyString),
-     "Destination group names or UUIDs (defaults to \"all but current group\""),
+    _PIAllocFromDesc("Iallocator for computing solution"),
+    _PTargetGroups,
     ]
   OP_RESULT = TJobIdListOnly
 
@@ -1579,6 +1789,8 @@ class OpGroupAssignNodes(OpCode):
     _PForce,
     ("nodes", ht.NoDefault, ht.TListOf(ht.TNonEmptyString),
      "List of nodes to assign"),
+    ("node_uuids", None, ht.TMaybeListOf(ht.TNonEmptyString),
+     "List of node UUIDs to assign"),
     ]
   OP_RESULT = ht.TNone
 
@@ -1632,9 +1844,8 @@ class OpGroupEvacuate(OpCode):
   OP_PARAMS = [
     _PGroupName,
     _PEarlyRelease,
-    ("iallocator", None, ht.TMaybeString, "Iallocator for computing solution"),
-    ("target_groups", None, ht.TMaybeListOf(ht.TNonEmptyString),
-     "Destination group names or UUIDs"),
+    _PIAllocFromDesc("Iallocator for computing solution"),
+    _PTargetGroups,
     ]
   OP_RESULT = TJobIdListOnly
 
@@ -1650,6 +1861,17 @@ class OpOsDiagnose(OpCode):
   OP_RESULT = _TOldQueryResult
 
 
+# ExtStorage opcodes
+class OpExtStorageDiagnose(OpCode):
+  """Compute the list of external storage providers."""
+  OP_PARAMS = [
+    _POutputFields,
+    ("names", ht.EmptyList, ht.TListOf(ht.TNonEmptyString),
+     "Which ExtStorage Provider to diagnose"),
+    ]
+  OP_RESULT = _TOldQueryResult
+
+
 # Exports opcodes
 class OpBackupQuery(OpCode):
   """Compute the list of exported images."""
@@ -1673,20 +1895,22 @@ class OpBackupPrepare(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     ("mode", ht.NoDefault, ht.TElemOf(constants.EXPORT_MODES),
      "Export mode"),
     ]
-  OP_RESULT = ht.TOr(ht.TNone, ht.TDict)
+  OP_RESULT = ht.TMaybeDict
 
 
 class OpBackupExport(OpCode):
   """Export an instance.
 
-  For local exports, the export destination is the node name. For remote
-  exports, the export destination is a list of tuples, each consisting of
-  hostname/IP address, port, HMAC and HMAC salt. The HMAC is calculated using
-  the cluster domain secret over the value "${index}:${hostname}:${port}". The
-  destination X509 CA must be a signed certificate.
+  For local exports, the export destination is the node name. For
+  remote exports, the export destination is a list of tuples, each
+  consisting of hostname/IP address, port, magic, HMAC and HMAC
+  salt. The HMAC is calculated using the cluster domain secret over
+  the value "${index}:${hostname}:${port}". The destination X509 CA
+  must be a signed certificate.
 
   @ivar mode: Export mode (one of L{constants.EXPORT_MODES})
   @ivar target_node: Export destination
@@ -1698,11 +1922,14 @@ class OpBackupExport(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     _PShutdownTimeout,
     # TODO: Rename target_node as it changes meaning for different export modes
     # (e.g. "destination")
     ("target_node", ht.NoDefault, ht.TOr(ht.TNonEmptyString, ht.TList),
      "Destination information, depends on export mode"),
+    ("target_node_uuid", None, ht.TMaybeString,
+     "Target node UUID (if local export)"),
     ("shutdown", True, ht.TBool, "Whether to shutdown instance before export"),
     ("remove_instance", False, ht.TBool,
      "Whether to remove instance after export"),
@@ -1710,7 +1937,7 @@ class OpBackupExport(OpCode):
      "Whether to ignore failures while removing instances"),
     ("mode", constants.EXPORT_MODE_LOCAL, ht.TElemOf(constants.EXPORT_MODES),
      "Export mode"),
-    ("x509_key_name", None, ht.TOr(ht.TList, ht.TNone),
+    ("x509_key_name", None, ht.TMaybe(ht.TList),
      "Name of X509 key (remote export only)"),
     ("destination_x509_ca", None, ht.TMaybeString,
      "Destination X509 CA (remote export only)"),
@@ -1727,6 +1954,7 @@ class OpBackupRemove(OpCode):
   OP_DSC_FIELD = "instance_name"
   OP_PARAMS = [
     _PInstanceName,
+    _PInstanceUuid,
     ]
   OP_RESULT = ht.TNone
 
@@ -1740,7 +1968,8 @@ class OpTagsGet(OpCode):
     # Not using _PUseLocking as the default is different for historical reasons
     ("use_locking", True, ht.TBool, "Whether to use synchronization"),
     # Name is only meaningful for nodes and instances
-    ("name", ht.NoDefault, ht.TMaybeString, None),
+    ("name", ht.NoDefault, ht.TMaybeString,
+     "Name of object to retrieve tags from"),
     ]
   OP_RESULT = ht.TListOf(ht.TNonEmptyString)
 
@@ -1749,7 +1978,8 @@ class OpTagsSearch(OpCode):
   """Searches the tags in the cluster for a given pattern."""
   OP_DSC_FIELD = "pattern"
   OP_PARAMS = [
-    ("pattern", ht.NoDefault, ht.TNonEmptyString, None),
+    ("pattern", ht.NoDefault, ht.TNonEmptyString,
+     "Search pattern (regular expression)"),
     ]
   OP_RESULT = ht.TListOf(ht.TAnd(ht.TIsLength(2), ht.TItems([
     ht.TNonEmptyString,
@@ -1762,8 +1992,9 @@ class OpTagsSet(OpCode):
   OP_PARAMS = [
     _PTagKind,
     _PTags,
-    # Name is only meaningful for nodes and instances
-    ("name", ht.NoDefault, ht.TMaybeString, None),
+    # Name is only meaningful for groups, nodes and instances
+    ("name", ht.NoDefault, ht.TMaybeString,
+     "Name of object where tag(s) should be added"),
     ]
   OP_RESULT = ht.TNone
 
@@ -1773,8 +2004,9 @@ class OpTagsDel(OpCode):
   OP_PARAMS = [
     _PTagKind,
     _PTags,
-    # Name is only meaningful for nodes and instances
-    ("name", ht.NoDefault, ht.TMaybeString, None),
+    # Name is only meaningful for groups, nodes and instances
+    ("name", ht.NoDefault, ht.TMaybeString,
+     "Name of object where tag(s) should be deleted"),
     ]
   OP_RESULT = ht.TNone
 
@@ -1786,7 +2018,7 @@ class OpTestDelay(OpCode):
   This is used just for debugging and testing.
 
   Parameters:
-    - duration: the time to sleep
+    - duration: the time to sleep, in seconds
     - on_master: if true, sleep on the master
     - on_nodes: list of nodes in which to sleep
 
@@ -1806,9 +2038,20 @@ class OpTestDelay(OpCode):
     ("duration", ht.NoDefault, ht.TNumber, None),
     ("on_master", True, ht.TBool, None),
     ("on_nodes", ht.EmptyList, ht.TListOf(ht.TNonEmptyString), None),
-    ("repeat", 0, ht.TPositiveInt, None),
+    ("on_node_uuids", None, ht.TMaybeListOf(ht.TNonEmptyString), None),
+    ("repeat", 0, ht.TNonNegativeInt, None),
     ]
 
+  def OP_DSC_FORMATTER(self, value): # pylint: disable=C0103,R0201
+    """Custom formatter for duration.
+
+    """
+    try:
+      v = float(value)
+    except TypeError:
+      v = value
+    return str(v)
+
 
 class OpTestAllocator(OpCode):
   """Allocator framework testing.
@@ -1821,7 +2064,7 @@ class OpTestAllocator(OpCode):
       return the allocator output (direction 'out')
 
   """
-  OP_DSC_FIELD = "allocator"
+  OP_DSC_FIELD = "iallocator"
   OP_PARAMS = [
     ("direction", ht.NoDefault,
      ht.TElemOf(constants.VALID_IALLOCATOR_DIRECTIONS), None),
@@ -1831,20 +2074,22 @@ class OpTestAllocator(OpCode):
      ht.TMaybeListOf(ht.TDictOf(ht.TElemOf([constants.INIC_MAC,
                                             constants.INIC_IP,
                                             "bridge"]),
-                                ht.TOr(ht.TNone, ht.TNonEmptyString))),
+                                ht.TMaybeString)),
      None),
-    ("disks", ht.NoDefault, ht.TOr(ht.TNone, ht.TList), None),
+    ("disks", ht.NoDefault, ht.TMaybe(ht.TList), None),
     ("hypervisor", None, ht.TMaybeString, None),
-    ("allocator", None, ht.TMaybeString, None),
+    _PIAllocFromDesc(None),
     ("tags", ht.EmptyList, ht.TListOf(ht.TNonEmptyString), None),
-    ("memory", None, ht.TOr(ht.TNone, ht.TPositiveInt), None),
-    ("vcpus", None, ht.TOr(ht.TNone, ht.TPositiveInt), None),
+    ("memory", None, ht.TMaybe(ht.TNonNegativeInt), None),
+    ("vcpus", None, ht.TMaybe(ht.TNonNegativeInt), None),
     ("os", None, ht.TMaybeString, None),
     ("disk_template", None, ht.TMaybeString, None),
     ("instances", None, ht.TMaybeListOf(ht.TNonEmptyString), None),
     ("evac_mode", None,
-     ht.TOr(ht.TNone, ht.TElemOf(constants.IALLOCATOR_NEVAC_MODES)), None),
+     ht.TMaybe(ht.TElemOf(constants.IALLOCATOR_NEVAC_MODES)), None),
     ("target_groups", None, ht.TMaybeListOf(ht.TNonEmptyString), None),
+    ("spindle_use", 1, ht.TNonNegativeInt, None),
+    ("count", 1, ht.TNonNegativeInt, None),
     ]
 
 
@@ -1873,6 +2118,103 @@ class OpTestDummy(OpCode):
   WITH_LU = False
 
 
+# Network opcodes
+# Add a new network in the cluster
+class OpNetworkAdd(OpCode):
+  """Add an IP network to the cluster."""
+  OP_DSC_FIELD = "network_name"
+  OP_PARAMS = [
+    _PNetworkName,
+    ("network", ht.NoDefault, _TIpNetwork4, "IPv4 subnet"),
+    ("gateway", None, ht.TMaybe(_TIpAddress4), "IPv4 gateway"),
+    ("network6", None, ht.TMaybe(_TIpNetwork6), "IPv6 subnet"),
+    ("gateway6", None, ht.TMaybe(_TIpAddress6), "IPv6 gateway"),
+    ("mac_prefix", None, ht.TMaybeString,
+     "MAC address prefix that overrides cluster one"),
+    ("add_reserved_ips", None, _TMaybeAddr4List,
+     "Which IP addresses to reserve"),
+    ("conflicts_check", True, ht.TBool,
+     "Whether to check for conflicting IP addresses"),
+    ("tags", ht.EmptyList, ht.TListOf(ht.TNonEmptyString), "Network tags"),
+    ]
+  OP_RESULT = ht.TNone
+
+
+class OpNetworkRemove(OpCode):
+  """Remove an existing network from the cluster.
+     Must not be connected to any nodegroup.
+
+  """
+  OP_DSC_FIELD = "network_name"
+  OP_PARAMS = [
+    _PNetworkName,
+    _PForce,
+    ]
+  OP_RESULT = ht.TNone
+
+
+class OpNetworkSetParams(OpCode):
+  """Modify Network's parameters except for IPv4 subnet"""
+  OP_DSC_FIELD = "network_name"
+  OP_PARAMS = [
+    _PNetworkName,
+    ("gateway", None, ht.TMaybeValueNone(_TIpAddress4), "IPv4 gateway"),
+    ("network6", None, ht.TMaybeValueNone(_TIpNetwork6), "IPv6 subnet"),
+    ("gateway6", None, ht.TMaybeValueNone(_TIpAddress6), "IPv6 gateway"),
+    ("mac_prefix", None, ht.TMaybeValueNone(ht.TString),
+     "MAC address prefix that overrides cluster one"),
+    ("add_reserved_ips", None, _TMaybeAddr4List,
+     "Which external IP addresses to reserve"),
+    ("remove_reserved_ips", None, _TMaybeAddr4List,
+     "Which external IP addresses to release"),
+    ]
+  OP_RESULT = ht.TNone
+
+
+class OpNetworkConnect(OpCode):
+  """Connect a Network to a specific Nodegroup with the defined netparams
+     (mode, link). Nics in this Network will inherit those params.
+     Produce errors if a NIC (that its not already assigned to a network)
+     has an IP that is contained in the Network this will produce error unless
+     --no-conflicts-check is passed.
+
+  """
+  OP_DSC_FIELD = "network_name"
+  OP_PARAMS = [
+    _PGroupName,
+    _PNetworkName,
+    ("network_mode", ht.NoDefault, ht.TElemOf(constants.NIC_VALID_MODES),
+     "Connectivity mode"),
+    ("network_link", ht.NoDefault, ht.TString, "Connectivity link"),
+    ("conflicts_check", True, ht.TBool, "Whether to check for conflicting IPs"),
+    ]
+  OP_RESULT = ht.TNone
+
+
+class OpNetworkDisconnect(OpCode):
+  """Disconnect a Network from a Nodegroup. Produce errors if NICs are
+     present in the Network unless --no-conficts-check option is passed.
+
+  """
+  OP_DSC_FIELD = "network_name"
+  OP_PARAMS = [
+    _PGroupName,
+    _PNetworkName,
+    ]
+  OP_RESULT = ht.TNone
+
+
+class OpNetworkQuery(OpCode):
+  """Compute the list of networks."""
+  OP_PARAMS = [
+    _POutputFields,
+    _PUseLocking,
+    ("names", ht.EmptyList, ht.TListOf(ht.TNonEmptyString),
+     "Empty list to query all groups, group names otherwise"),
+    ]
+  OP_RESULT = _TOldQueryResult
+
+
 def _GetOpList():
   """Returns list of all defined opcodes.