Merge branch 'stable-2.8' into stable-2.9
[ganeti-local] / lib / query.py
index 224e5b4..7d0eed3 100644 (file)
@@ -1,7 +1,7 @@
 #
 #
 
-# Copyright (C) 2010, 2011, 2012 Google Inc.
+# Copyright (C) 2010, 2011, 2012, 2013 Google Inc.
 #
 # This program is free software; you can redistribute it and/or modify
 # it under the terms of the GNU General Public License as published by
@@ -90,7 +90,8 @@ from ganeti.constants import (QFT_UNKNOWN, QFT_TEXT, QFT_BOOL, QFT_NUMBER,
  IQ_LIVE,
  IQ_DISKUSAGE,
  IQ_CONSOLE,
- IQ_NODES) = range(100, 105)
+ IQ_NODES,
+ IQ_NETWORKS) = range(100, 106)
 
 (LQ_MODE,
  LQ_OWNER,
@@ -137,7 +138,12 @@ _FS_UNAVAIL = object()
 _FS_OFFLINE = object()
 
 #: List of all special status
-_FS_ALL = frozenset([_FS_UNKNOWN, _FS_NODATA, _FS_UNAVAIL, _FS_OFFLINE])
+_FS_ALL = compat.UniqueFrozenset([
+  _FS_UNKNOWN,
+  _FS_NODATA,
+  _FS_UNAVAIL,
+  _FS_OFFLINE,
+  ])
 
 #: VType to QFT mapping
 _VTToQFT = {
@@ -971,6 +977,23 @@ def _GetItemAttr(attr):
   return lambda _, item: getter(item)
 
 
+def _GetItemMaybeAttr(attr):
+  """Returns a field function to return a not-None attribute of the item.
+
+  If the value is None, then C{_FS_UNAVAIL} will be returned instead.
+
+  @param attr: Attribute name
+
+  """
+  def _helper(_, obj):
+    val = getattr(obj, attr)
+    if val is None:
+      return _FS_UNAVAIL
+    else:
+      return val
+  return _helper
+
+
 def _GetNDParam(name):
   """Return a field function to return an ND parameter out of the context.
 
@@ -1068,16 +1091,18 @@ class NodeQueryData:
   """Data container for node data queries.
 
   """
-  def __init__(self, nodes, live_data, master_name, node_to_primary,
-               node_to_secondary, groups, oob_support, cluster):
+  def __init__(self, nodes, live_data, master_uuid, node_to_primary,
+               node_to_secondary, inst_uuid_to_inst_name, groups, oob_support,
+               cluster):
     """Initializes this class.
 
     """
     self.nodes = nodes
     self.live_data = live_data
-    self.master_name = master_name
+    self.master_uuid = master_uuid
     self.node_to_primary = node_to_primary
     self.node_to_secondary = node_to_secondary
+    self.inst_uuid_to_inst_name = inst_uuid_to_inst_name
     self.groups = groups
     self.oob_support = oob_support
     self.cluster = cluster
@@ -1100,7 +1125,7 @@ class NodeQueryData:
       else:
         self.ndparams = self.cluster.FillND(node, group)
       if self.live_data:
-        self.curlive_data = self.live_data.get(node.name, None)
+        self.curlive_data = self.live_data.get(node.uuid, None)
       else:
         self.curlive_data = None
       yield node
@@ -1129,14 +1154,20 @@ _NODE_LIVE_FIELDS = {
              " for detecting reboots by tracking changes"),
   "cnodes": ("CNodes", QFT_NUMBER, "cpu_nodes",
              "Number of NUMA domains on node (if exported by hypervisor)"),
+  "cnos": ("CNOs", QFT_NUMBER, "cpu_dom0",
+            "Number of logical processors used by the node OS (dom0 for Xen)"),
   "csockets": ("CSockets", QFT_NUMBER, "cpu_sockets",
                "Number of physical CPU sockets (if exported by hypervisor)"),
   "ctotal": ("CTotal", QFT_NUMBER, "cpu_total", "Number of logical processors"),
-  "dfree": ("DFree", QFT_UNIT, "vg_free",
-            "Available disk space in volume group"),
-  "dtotal": ("DTotal", QFT_UNIT, "vg_size",
-             "Total disk space in volume group used for instance disk"
+  "dfree": ("DFree", QFT_UNIT, "storage_free",
+            "Available storage space in storage unit"),
+  "dtotal": ("DTotal", QFT_UNIT, "storage_size",
+             "Total storage space in storage unit used for instance disk"
              " allocation"),
+  "spfree": ("SpFree", QFT_NUMBER, "spindles_free",
+             "Available spindles in volume group (exclusive storage only)"),
+  "sptotal": ("SpTotal", QFT_NUMBER, "spindles_total",
+              "Total spindles in volume group (exclusive storage only)"),
   "mfree": ("MFree", QFT_UNIT, "memory_free",
             "Memory available for instance allocations"),
   "mnode": ("MNode", QFT_UNIT, "memory_dom0",
@@ -1191,7 +1222,7 @@ def _GetNodePower(ctx, node):
   @param node: Node object
 
   """
-  if ctx.oob_support[node.name]:
+  if ctx.oob_support[node.uuid]:
     return node.powered
 
   return _FS_UNAVAIL
@@ -1229,8 +1260,24 @@ def _GetLiveNodeField(field, kind, ctx, node):
   if not ctx.curlive_data:
     return _FS_NODATA
 
+  return _GetStatsField(field, kind, ctx.curlive_data)
+
+
+def _GetStatsField(field, kind, data):
+  """Gets a value from live statistics.
+
+  If the value is not found, L{_FS_UNAVAIL} is returned. If the field kind is
+  numeric a conversion to integer is attempted. If that fails, L{_FS_UNAVAIL}
+  is returned.
+
+  @param field: Live field name
+  @param kind: Data kind, one of L{constants.QFT_ALL}
+  @type data: dict
+  @param data: Statistics
+
+  """
   try:
-    value = ctx.curlive_data[field]
+    value = data[field]
   except KeyError:
     return _FS_UNAVAIL
 
@@ -1244,7 +1291,7 @@ def _GetLiveNodeField(field, kind, ctx, node):
     return int(value)
   except (ValueError, TypeError):
     logging.exception("Failed to convert node field '%s' (value %r) to int",
-                      value, field)
+                      field, value)
     return _FS_UNAVAIL
 
 
@@ -1286,7 +1333,7 @@ def _BuildNodeFields():
     (_MakeField("tags", "Tags", QFT_OTHER, "Tags"), NQ_CONFIG, 0,
      lambda ctx, node: list(node.GetTags())),
     (_MakeField("master", "IsMaster", QFT_BOOL, "Whether node is master"),
-     NQ_CONFIG, 0, lambda ctx, node: node.name == ctx.master_name),
+     NQ_CONFIG, 0, lambda ctx, node: node.uuid == ctx.master_uuid),
     (_MakeField("group", "Group", QFT_TEXT, "Node group"), NQ_GROUP, 0,
      _GetGroup(_GetNodeGroup)),
     (_MakeField("group.uuid", "GroupUUID", QFT_TEXT, "UUID of node group"),
@@ -1316,14 +1363,16 @@ def _BuildNodeFields():
               " \"%s\" for regular, \"%s\" for drained, \"%s\" for offline" %
               role_values)
   fields.append((_MakeField("role", "Role", QFT_TEXT, role_doc), NQ_CONFIG, 0,
-                 lambda ctx, node: _GetNodeRole(node, ctx.master_name)))
+                 lambda ctx, node: _GetNodeRole(node, ctx.master_uuid)))
   assert set(role_values) == constants.NR_ALL
 
   def _GetLength(getter):
-    return lambda ctx, node: len(getter(ctx)[node.name])
+    return lambda ctx, node: len(getter(ctx)[node.uuid])
 
   def _GetList(getter):
-    return lambda ctx, node: list(getter(ctx)[node.name])
+    return lambda ctx, node: utils.NiceSort(
+                               [ctx.inst_uuid_to_inst_name[uuid]
+                                for uuid in getter(ctx)[node.uuid]])
 
   # Add fields operating on instance lists
   for prefix, titleprefix, docword, getter in \
@@ -1343,15 +1392,13 @@ def _BuildNodeFields():
   # Add simple fields
   fields.extend([
     (_MakeField(name, title, kind, doc), NQ_CONFIG, flags, _GetItemAttr(name))
-    for (name, (title, kind, flags, doc)) in _NODE_SIMPLE_FIELDS.items()
-    ])
+    for (name, (title, kind, flags, doc)) in _NODE_SIMPLE_FIELDS.items()])
 
   # Add fields requiring live data
   fields.extend([
     (_MakeField(name, title, kind, doc), NQ_LIVE, 0,
      compat.partial(_GetLiveNodeField, nfield, kind))
-    for (name, (title, kind, nfield, doc)) in _NODE_LIVE_FIELDS.items()
-    ])
+    for (name, (title, kind, nfield, doc)) in _NODE_LIVE_FIELDS.items()])
 
   # Add timestamps
   fields.extend(_GetItemTimestampFields(NQ_CONFIG))
@@ -1363,43 +1410,48 @@ class InstanceQueryData:
   """Data container for instance data queries.
 
   """
-  def __init__(self, instances, cluster, disk_usage, offline_nodes, bad_nodes,
-               live_data, wrongnode_inst, console, nodes, groups):
+  def __init__(self, instances, cluster, disk_usage, offline_node_uuids,
+               bad_node_uuids, live_data, wrongnode_inst, console, nodes,
+               groups, networks):
     """Initializes this class.
 
     @param instances: List of instance objects
     @param cluster: Cluster object
-    @type disk_usage: dict; instance name as key
+    @type disk_usage: dict; instance UUID as key
     @param disk_usage: Per-instance disk usage
-    @type offline_nodes: list of strings
-    @param offline_nodes: List of offline nodes
-    @type bad_nodes: list of strings
-    @param bad_nodes: List of faulty nodes
-    @type live_data: dict; instance name as key
+    @type offline_node_uuids: list of strings
+    @param offline_node_uuids: List of offline nodes
+    @type bad_node_uuids: list of strings
+    @param bad_node_uuids: List of faulty nodes
+    @type live_data: dict; instance UUID as key
     @param live_data: Per-instance live data
     @type wrongnode_inst: set
     @param wrongnode_inst: Set of instances running on wrong node(s)
-    @type console: dict; instance name as key
+    @type console: dict; instance UUID as key
     @param console: Per-instance console information
-    @type nodes: dict; node name as key
+    @type nodes: dict; node UUID as key
     @param nodes: Node objects
+    @type networks: dict; net_uuid as key
+    @param networks: Network objects
 
     """
-    assert len(set(bad_nodes) & set(offline_nodes)) == len(offline_nodes), \
+    assert len(set(bad_node_uuids) & set(offline_node_uuids)) == \
+           len(offline_node_uuids), \
            "Offline nodes not included in bad nodes"
-    assert not (set(live_data.keys()) & set(bad_nodes)), \
+    assert not (set(live_data.keys()) & set(bad_node_uuids)), \
            "Found live data for bad or offline nodes"
 
     self.instances = instances
     self.cluster = cluster
     self.disk_usage = disk_usage
-    self.offline_nodes = offline_nodes
-    self.bad_nodes = bad_nodes
+    self.offline_nodes = offline_node_uuids
+    self.bad_nodes = bad_node_uuids
     self.live_data = live_data
     self.wrongnode_inst = wrongnode_inst
     self.console = console
     self.nodes = nodes
     self.groups = groups
+    self.networks = networks
 
     # Used for individual rows
     self.inst_hvparams = None
@@ -1437,7 +1489,7 @@ def _GetInstOperState(ctx, inst):
   if inst.primary_node in ctx.bad_nodes:
     return _FS_NODATA
   else:
-    return bool(ctx.live_data.get(inst.name))
+    return bool(ctx.live_data.get(inst.uuid))
 
 
 def _GetInstLiveData(name):
@@ -1461,8 +1513,8 @@ def _GetInstLiveData(name):
       # offline when we actually don't know due to missing data
       return _FS_NODATA
 
-    if inst.name in ctx.live_data:
-      data = ctx.live_data[inst.name]
+    if inst.uuid in ctx.live_data:
+      data = ctx.live_data[inst.uuid]
       if name in data:
         return data[name]
 
@@ -1485,8 +1537,8 @@ def _GetInstStatus(ctx, inst):
   if inst.primary_node in ctx.bad_nodes:
     return constants.INSTST_NODEDOWN
 
-  if bool(ctx.live_data.get(inst.name)):
-    if inst.name in ctx.wrongnode_inst:
+  if bool(ctx.live_data.get(inst.uuid)):
+    if inst.uuid in ctx.wrongnode_inst:
       return constants.INSTST_WRONGNODE
     elif inst.admin_state == constants.ADMINST_UP:
       return constants.INSTST_RUNNING
@@ -1501,28 +1553,88 @@ def _GetInstStatus(ctx, inst):
   return constants.INSTST_ADMINOFFLINE
 
 
-def _GetInstDiskSize(index):
-  """Build function for retrieving disk size.
+def _GetInstDisk(index, cb):
+  """Build function for calling another function with an instance Disk.
 
   @type index: int
   @param index: Disk index
+  @type cb: callable
+  @param cb: Callback
 
   """
-  def fn(_, inst):
-    """Get size of a disk.
+  def fn(ctx, inst):
+    """Call helper function with instance Disk.
 
+    @type ctx: L{InstanceQueryData}
     @type inst: L{objects.Instance}
     @param inst: Instance object
 
     """
     try:
-      return inst.disks[index].size
+      nic = inst.disks[index]
     except IndexError:
       return _FS_UNAVAIL
 
+    return cb(ctx, index, nic)
+
   return fn
 
 
+def _GetInstDiskSize(ctx, _, disk): # pylint: disable=W0613
+  """Get a Disk's size.
+
+  @type ctx: L{InstanceQueryData}
+  @type disk: L{objects.Disk}
+  @param disk: The Disk object
+
+  """
+  if disk.size is None:
+    return _FS_UNAVAIL
+  else:
+    return disk.size
+
+
+def _GetInstDiskSpindles(ctx, _, disk): # pylint: disable=W0613
+  """Get a Disk's spindles.
+
+  @type disk: L{objects.Disk}
+  @param disk: The Disk object
+
+  """
+  if disk.spindles is None:
+    return _FS_UNAVAIL
+  else:
+    return disk.spindles
+
+
+def _GetInstDeviceName(ctx, _, device): # pylint: disable=W0613
+  """Get a Device's Name.
+
+  @type ctx: L{InstanceQueryData}
+  @type device: L{objects.NIC} or L{objects.Disk}
+  @param device: The NIC or Disk object
+
+  """
+  if device.name is None:
+    return _FS_UNAVAIL
+  else:
+    return device.name
+
+
+def _GetInstDeviceUUID(ctx, _, device): # pylint: disable=W0613
+  """Get a Device's UUID.
+
+  @type ctx: L{InstanceQueryData}
+  @type device: L{objects.NIC} or L{objects.Disk}
+  @param device: The NIC or Disk object
+
+  """
+  if device.uuid is None:
+    return _FS_UNAVAIL
+  else:
+    return device.uuid
+
+
 def _GetInstNic(index, cb):
   """Build function for calling another function with an instance NIC.
 
@@ -1550,6 +1662,20 @@ def _GetInstNic(index, cb):
   return fn
 
 
+def _GetInstNicNetworkName(ctx, _, nic): # pylint: disable=W0613
+  """Get a NIC's Network.
+
+  @type ctx: L{InstanceQueryData}
+  @type nic: L{objects.NIC}
+  @param nic: NIC object
+
+  """
+  if nic.network is None:
+    return _FS_UNAVAIL
+  else:
+    return ctx.networks[nic.network].name
+
+
 def _GetInstNicNetwork(ctx, _, nic): # pylint: disable=W0613
   """Get a NIC's Network.
 
@@ -1596,6 +1722,27 @@ def _GetInstNicBridge(ctx, index, _):
     return _FS_UNAVAIL
 
 
+def _GetInstAllNicNetworkNames(ctx, inst):
+  """Get all network names for an instance.
+
+  @type ctx: L{InstanceQueryData}
+  @type inst: L{objects.Instance}
+  @param inst: Instance object
+
+  """
+  result = []
+
+  for nic in inst.nics:
+    name = None
+    if nic.network:
+      name = ctx.networks[nic.network].name
+    result.append(name)
+
+  assert len(result) == len(inst.nics)
+
+  return result
+
+
 def _GetInstAllNicBridges(ctx, inst):
   """Get all network bridges for an instance.
 
@@ -1664,6 +1811,12 @@ def _GetInstanceNetworkFields():
     (_MakeField("nic.ips", "NIC_IPs", QFT_OTHER,
                 "List containing each network interface's IP address"),
      IQ_CONFIG, 0, lambda ctx, inst: [nic.ip for nic in inst.nics]),
+    (_MakeField("nic.names", "NIC_Names", QFT_OTHER,
+                "List containing each network interface's name"),
+     IQ_CONFIG, 0, lambda ctx, inst: [nic.name for nic in inst.nics]),
+    (_MakeField("nic.uuids", "NIC_UUIDs", QFT_OTHER,
+                "List containing each network interface's UUID"),
+     IQ_CONFIG, 0, lambda ctx, inst: [nic.uuid for nic in inst.nics]),
     (_MakeField("nic.modes", "NIC_modes", QFT_OTHER,
                 "List containing each network interface's mode"), IQ_CONFIG, 0,
      lambda ctx, inst: [nicp[constants.NIC_MODE]
@@ -1678,6 +1831,9 @@ def _GetInstanceNetworkFields():
     (_MakeField("nic.networks", "NIC_networks", QFT_OTHER,
                 "List containing each interface's network"), IQ_CONFIG, 0,
      lambda ctx, inst: [nic.network for nic in inst.nics]),
+    (_MakeField("nic.networks.names", "NIC_networks_names", QFT_OTHER,
+                "List containing each interface's network"),
+     IQ_NETWORKS, 0, _GetInstAllNicNetworkNames)
     ]
 
   # NICs by number
@@ -1690,6 +1846,12 @@ def _GetInstanceNetworkFields():
       (_MakeField("nic.mac/%s" % i, "NicMAC/%s" % i, QFT_TEXT,
                   "MAC address of %s network interface" % numtext),
        IQ_CONFIG, 0, _GetInstNic(i, nic_mac_fn)),
+      (_MakeField("nic.name/%s" % i, "NicName/%s" % i, QFT_TEXT,
+                  "Name address of %s network interface" % numtext),
+       IQ_CONFIG, 0, _GetInstNic(i, _GetInstDeviceName)),
+      (_MakeField("nic.uuid/%s" % i, "NicUUID/%s" % i, QFT_TEXT,
+                  "UUID address of %s network interface" % numtext),
+       IQ_CONFIG, 0, _GetInstNic(i, _GetInstDeviceUUID)),
       (_MakeField("nic.mode/%s" % i, "NicMode/%s" % i, QFT_TEXT,
                   "Mode of %s network interface" % numtext),
        IQ_CONFIG, 0, _GetInstNic(i, nic_mode_fn)),
@@ -1702,6 +1864,9 @@ def _GetInstanceNetworkFields():
       (_MakeField("nic.network/%s" % i, "NicNetwork/%s" % i, QFT_TEXT,
                   "Network of %s network interface" % numtext),
        IQ_CONFIG, 0, _GetInstNic(i, _GetInstNicNetwork)),
+      (_MakeField("nic.network.name/%s" % i, "NicNetworkName/%s" % i, QFT_TEXT,
+                  "Network name of %s network interface" % numtext),
+       IQ_NETWORKS, 0, _GetInstNic(i, _GetInstNicNetworkName)),
       ])
 
   aliases = [
@@ -1725,7 +1890,7 @@ def _GetInstDiskUsage(ctx, inst):
   @param inst: Instance object
 
   """
-  usage = ctx.disk_usage[inst.name]
+  usage = ctx.disk_usage[inst.uuid]
 
   if usage is None:
     usage = 0
@@ -1741,7 +1906,7 @@ def _GetInstanceConsole(ctx, inst):
   @param inst: Instance object
 
   """
-  consinfo = ctx.console[inst.name]
+  consinfo = ctx.console[inst.uuid]
 
   if consinfo is None:
     return _FS_UNAVAIL
@@ -1765,15 +1930,31 @@ def _GetInstanceDiskFields():
      IQ_CONFIG, 0, lambda ctx, inst: len(inst.disks)),
     (_MakeField("disk.sizes", "Disk_sizes", QFT_OTHER, "List of disk sizes"),
      IQ_CONFIG, 0, lambda ctx, inst: [disk.size for disk in inst.disks]),
+    (_MakeField("disk.spindles", "Disk_spindles", QFT_OTHER,
+                "List of disk spindles"),
+     IQ_CONFIG, 0, lambda ctx, inst: [disk.spindles for disk in inst.disks]),
+    (_MakeField("disk.names", "Disk_names", QFT_OTHER, "List of disk names"),
+     IQ_CONFIG, 0, lambda ctx, inst: [disk.name for disk in inst.disks]),
+    (_MakeField("disk.uuids", "Disk_UUIDs", QFT_OTHER, "List of disk UUIDs"),
+     IQ_CONFIG, 0, lambda ctx, inst: [disk.uuid for disk in inst.disks]),
     ]
 
   # Disks by number
-  fields.extend([
-    (_MakeField("disk.size/%s" % i, "Disk/%s" % i, QFT_UNIT,
-                "Disk size of %s disk" % utils.FormatOrdinal(i + 1)),
-     IQ_CONFIG, 0, _GetInstDiskSize(i))
-    for i in range(constants.MAX_DISKS)
-    ])
+  for i in range(constants.MAX_DISKS):
+    numtext = utils.FormatOrdinal(i + 1)
+    fields.extend([
+        (_MakeField("disk.size/%s" % i, "Disk/%s" % i, QFT_UNIT,
+                    "Disk size of %s disk" % numtext),
+        IQ_CONFIG, 0, _GetInstDisk(i, _GetInstDiskSize)),
+        (_MakeField("disk.spindles/%s" % i, "DiskSpindles/%s" % i, QFT_NUMBER,
+                    "Spindles of %s disk" % numtext),
+         IQ_CONFIG, 0, _GetInstDisk(i, _GetInstDiskSpindles)),
+        (_MakeField("disk.name/%s" % i, "DiskName/%s" % i, QFT_TEXT,
+                    "Name of %s disk" % numtext),
+        IQ_CONFIG, 0, _GetInstDisk(i, _GetInstDeviceName)),
+        (_MakeField("disk.uuid/%s" % i, "DiskUUID/%s" % i, QFT_TEXT,
+                    "UUID of %s disk" % numtext),
+        IQ_CONFIG, 0, _GetInstDisk(i, _GetInstDeviceUUID))])
 
   return fields
 
@@ -1821,8 +2002,7 @@ def _GetInstanceParameterFields():
                 _VTToQFT[kind], "The \"%s\" hypervisor parameter" % name),
      IQ_CONFIG, 0, _GetInstHvParam(name))
     for name, kind in constants.HVS_PARAMETER_TYPES.items()
-    if name not in constants.HVC_GLOBALS
-    ])
+    if name not in constants.HVC_GLOBALS])
 
   # BE params
   def _GetInstBeParam(name):
@@ -1833,8 +2013,7 @@ def _GetInstanceParameterFields():
                 constants.BES_PARAMETER_TITLES.get(name, "be/%s" % name),
                 _VTToQFT[kind], "The \"%s\" backend parameter" % name),
      IQ_CONFIG, 0, _GetInstBeParam(name))
-    for name, kind in constants.BES_PARAMETER_TYPES.items()
-    ])
+    for name, kind in constants.BES_PARAMETER_TYPES.items()])
 
   return fields
 
@@ -1852,34 +2031,51 @@ _INST_SIMPLE_FIELDS = {
   }
 
 
-def _GetInstNodeGroup(ctx, default, node_name):
+def _GetNodeName(ctx, default, node_uuid):
+  """Gets node name of a node.
+
+  @type ctx: L{InstanceQueryData}
+  @param default: Default value
+  @type node_uuid: string
+  @param node_uuid: Node UUID
+
+  """
+  try:
+    node = ctx.nodes[node_uuid]
+  except KeyError:
+    return default
+  else:
+    return node.name
+
+
+def _GetInstNodeGroup(ctx, default, node_uuid):
   """Gets group UUID of an instance node.
 
   @type ctx: L{InstanceQueryData}
   @param default: Default value
-  @type node_name: string
-  @param node_name: Node name
+  @type node_uuid: string
+  @param node_uuid: Node UUID
 
   """
   try:
-    node = ctx.nodes[node_name]
+    node = ctx.nodes[node_uuid]
   except KeyError:
     return default
   else:
     return node.group
 
 
-def _GetInstNodeGroupName(ctx, default, node_name):
+def _GetInstNodeGroupName(ctx, default, node_uuid):
   """Gets group name of an instance node.
 
   @type ctx: L{InstanceQueryData}
   @param default: Default value
-  @type node_name: string
-  @param node_name: Node name
+  @type node_uuid: string
+  @param node_uuid: Node UUID
 
   """
   try:
-    node = ctx.nodes[node_name]
+    node = ctx.nodes[node_uuid]
   except KeyError:
     return default
 
@@ -1897,7 +2093,8 @@ def _BuildInstanceFields():
   """
   fields = [
     (_MakeField("pnode", "Primary_node", QFT_TEXT, "Primary node"),
-     IQ_CONFIG, QFF_HOSTNAME, _GetItemAttr("primary_node")),
+     IQ_NODES, QFF_HOSTNAME,
+     lambda ctx, inst: _GetNodeName(ctx, None, inst.primary_node)),
     (_MakeField("pnode.group", "PrimaryNodeGroup", QFT_TEXT,
                 "Primary node's group"),
      IQ_NODES, 0,
@@ -1910,7 +2107,9 @@ def _BuildInstanceFields():
     # TODO: Allow filtering by secondary node as hostname
     (_MakeField("snodes", "Secondary_Nodes", QFT_OTHER,
                 "Secondary nodes; usually this will just be one node"),
-     IQ_CONFIG, 0, lambda ctx, inst: list(inst.secondary_nodes)),
+     IQ_NODES, 0,
+     lambda ctx, inst: map(compat.partial(_GetNodeName, ctx, None),
+                           inst.secondary_nodes)),
     (_MakeField("snodes.group", "SecondaryNodesGroups", QFT_OTHER,
                 "Node groups of secondary nodes"),
      IQ_NODES, 0,
@@ -1927,6 +2126,9 @@ def _BuildInstanceFields():
     (_MakeField("admin_up", "Autostart", QFT_BOOL,
                 "Desired state of instance"),
      IQ_CONFIG, 0, lambda ctx, inst: inst.admin_state == constants.ADMINST_UP),
+    (_MakeField("disks_active", "DisksActive", QFT_BOOL,
+                "Desired state of instance disks"),
+     IQ_CONFIG, 0, _GetItemAttr("disks_active")),
     (_MakeField("tags", "Tags", QFT_OTHER, "Tags"), IQ_CONFIG, 0,
      lambda ctx, inst: list(inst.GetTags())),
     (_MakeField("console", "Console", QFT_OTHER,
@@ -1937,8 +2139,7 @@ def _BuildInstanceFields():
   # Add simple fields
   fields.extend([
     (_MakeField(name, title, kind, doc), IQ_CONFIG, flags, _GetItemAttr(name))
-    for (name, (title, kind, flags, doc)) in _INST_SIMPLE_FIELDS.items()
-    ])
+    for (name, (title, kind, flags, doc)) in _INST_SIMPLE_FIELDS.items()])
 
   # Fields requiring talking to the node
   fields.extend([
@@ -2219,6 +2420,36 @@ def _BuildOsFields():
   return _PrepareFieldList(fields, [])
 
 
+class ExtStorageInfo(objects.ConfigObject):
+  __slots__ = [
+    "name",
+    "node_status",
+    "nodegroup_status",
+    "parameters",
+    ]
+
+
+def _BuildExtStorageFields():
+  """Builds list of fields for extstorage provider queries.
+
+  """
+  fields = [
+    (_MakeField("name", "Name", QFT_TEXT, "ExtStorage provider name"),
+     None, 0, _GetItemAttr("name")),
+    (_MakeField("node_status", "NodeStatus", QFT_OTHER,
+                "Status from node"),
+     None, 0, _GetItemAttr("node_status")),
+    (_MakeField("nodegroup_status", "NodegroupStatus", QFT_OTHER,
+                "Overall Nodegroup status"),
+     None, 0, _GetItemAttr("nodegroup_status")),
+    (_MakeField("parameters", "Parameters", QFT_OTHER,
+                "ExtStorage provider parameters"),
+     None, 0, _GetItemAttr("parameters")),
+    ]
+
+  return _PrepareFieldList(fields, [])
+
+
 def _JobUnavailInner(fn, ctx, (job_id, job)): # pylint: disable=W0613
   """Return L{_FS_UNAVAIL} if job is None.
 
@@ -2338,7 +2569,7 @@ def _GetExportName(_, (node_name, expname)): # pylint: disable=W0613
 
   """
   if expname is None:
-    return _FS_UNAVAIL
+    return _FS_NODATA
   else:
     return expname
 
@@ -2369,22 +2600,25 @@ _CLUSTER_VERSION_FIELDS = {
                      "API version for OS template scripts"),
   "export_version": ("ExportVersion", QFT_NUMBER, constants.EXPORT_VERSION,
                      "Import/export file format version"),
+  "vcs_version": ("VCSVersion", QFT_TEXT, constants.VCS_VERSION,
+                     "VCS version"),
   }
 
 
 _CLUSTER_SIMPLE_FIELDS = {
   "cluster_name": ("Name", QFT_TEXT, QFF_HOSTNAME, "Cluster name"),
-  "master_node": ("Master", QFT_TEXT, QFF_HOSTNAME, "Master node name"),
   "volume_group_name": ("VgName", QFT_TEXT, 0, "LVM volume group name"),
   }
 
 
 class ClusterQueryData:
-  def __init__(self, cluster, drain_flag, watcher_pause):
+  def __init__(self, cluster, nodes, drain_flag, watcher_pause):
     """Initializes this class.
 
     @type cluster: L{objects.Cluster}
     @param cluster: Instance of cluster object
+    @type nodes: dict; node UUID as key
+    @param nodes: Node objects
     @type drain_flag: bool
     @param drain_flag: Whether job queue is drained
     @type watcher_pause: number
@@ -2392,6 +2626,7 @@ class ClusterQueryData:
 
     """
     self._cluster = cluster
+    self.nodes = nodes
     self.drain_flag = drain_flag
     self.watcher_pause = watcher_pause
 
@@ -2425,26 +2660,27 @@ def _BuildClusterFields():
     (_MakeField("watcher_pause", "WatcherPause", QFT_TIMESTAMP,
                 "Until when watcher is paused"), CQ_WATCHER_PAUSE, 0,
      _ClusterWatcherPause),
+    (_MakeField("master_node", "Master", QFT_TEXT, "Master node name"),
+     CQ_CONFIG, QFF_HOSTNAME,
+     lambda ctx, cluster: _GetNodeName(ctx, None, cluster.master_node)),
     ]
 
   # Simple fields
   fields.extend([
     (_MakeField(name, title, kind, doc), CQ_CONFIG, flags, _GetItemAttr(name))
     for (name, (title, kind, flags, doc)) in _CLUSTER_SIMPLE_FIELDS.items()
-    ])
+    ],)
 
   # Version fields
   fields.extend([
     (_MakeField(name, title, kind, doc), None, 0, _StaticValue(value))
-    for (name, (title, kind, value, doc)) in _CLUSTER_VERSION_FIELDS.items()
-    ])
+    for (name, (title, kind, value, doc)) in _CLUSTER_VERSION_FIELDS.items()])
 
   # Add timestamps
   fields.extend(_GetItemTimestampFields(CQ_CONFIG))
 
   return _PrepareFieldList(fields, [
-    ("name", "cluster_name"),
-    ])
+    ("name", "cluster_name")])
 
 
 class NetworkQueryData:
@@ -2482,25 +2718,28 @@ class NetworkQueryData:
 
 
 _NETWORK_SIMPLE_FIELDS = {
-  "name": ("Network", QFT_TEXT, 0, "The network"),
-  "network": ("Subnet", QFT_TEXT, 0, "The subnet"),
-  "gateway": ("Gateway", QFT_OTHER, 0, "The gateway"),
-  "network6": ("IPv6Subnet", QFT_OTHER, 0, "The ipv6 subnet"),
-  "gateway6": ("IPv6Gateway", QFT_OTHER, 0, "The ipv6 gateway"),
-  "mac_prefix": ("MacPrefix", QFT_OTHER, 0, "The mac prefix"),
-  "network_type": ("NetworkType", QFT_OTHER, 0, "The network type"),
+  "name": ("Network", QFT_TEXT, 0, "Name"),
+  "network": ("Subnet", QFT_TEXT, 0, "IPv4 subnet"),
+  "gateway": ("Gateway", QFT_OTHER, 0, "IPv4 gateway"),
+  "network6": ("IPv6Subnet", QFT_OTHER, 0, "IPv6 subnet"),
+  "gateway6": ("IPv6Gateway", QFT_OTHER, 0, "IPv6 gateway"),
+  "mac_prefix": ("MacPrefix", QFT_OTHER, 0, "MAC address prefix"),
+  "serial_no": ("SerialNo", QFT_NUMBER, 0, _SERIAL_NO_DOC % "Network"),
+  "uuid": ("UUID", QFT_TEXT, 0, "Network UUID"),
   }
 
 
 _NETWORK_STATS_FIELDS = {
-  "free_count": ("FreeCount", QFT_NUMBER, 0, "How many addresses are free"),
-  "reserved_count": ("ReservedCount", QFT_NUMBER, 0, "How many addresses are reserved"),
-  "map": ("Map", QFT_TEXT, 0, "The actual mapping"),
-  "external_reservations": ("ExternalReservations", QFT_TEXT, 0, "The external reservations"),
+  "free_count": ("FreeCount", QFT_NUMBER, 0, "Number of available addresses"),
+  "reserved_count":
+    ("ReservedCount", QFT_NUMBER, 0, "Number of reserved addresses"),
+  "map": ("Map", QFT_TEXT, 0, "Actual mapping"),
+  "external_reservations":
+    ("ExternalReservations", QFT_TEXT, 0, "External reservations"),
   }
 
 
-def _GetNetworkStatsField(field, kind, ctx, net):
+def _GetNetworkStatsField(field, kind, ctx, _):
   """Gets the value of a "stats" field from L{NetworkQueryData}.
 
   @param field: Field name
@@ -2508,24 +2747,7 @@ def _GetNetworkStatsField(field, kind, ctx, net):
   @type ctx: L{NetworkQueryData}
 
   """
-
-  try:
-    value = ctx.curstats[field]
-  except KeyError:
-    return _FS_UNAVAIL
-
-  if kind == QFT_TEXT:
-    return value
-
-  assert kind in (QFT_NUMBER, QFT_UNIT)
-
-  # Try to convert into number
-  try:
-    return int(value)
-  except (ValueError, TypeError):
-    logging.exception("Failed to convert network field '%s' (value %r) to int",
-                      value, field)
-    return _FS_UNAVAIL
+  return _GetStatsField(field, kind, ctx.curstats)
 
 
 def _BuildNetworkFields():
@@ -2540,9 +2762,8 @@ def _BuildNetworkFields():
   # Add simple fields
   fields.extend([
     (_MakeField(name, title, kind, doc),
-     NETQ_CONFIG, 0, _GetItemAttr(name))
-     for (name, (title, kind, flags, doc)) in _NETWORK_SIMPLE_FIELDS.items()
-    ])
+     NETQ_CONFIG, 0, _GetItemMaybeAttr(name))
+     for (name, (title, kind, _, doc)) in _NETWORK_SIMPLE_FIELDS.items()])
 
   def _GetLength(getter):
     return lambda ctx, network: len(getter(ctx)[network.uuid])
@@ -2557,8 +2778,9 @@ def _BuildNetworkFields():
   fields.extend([
     (_MakeField("group_cnt", "NodeGroups", QFT_NUMBER, "Number of nodegroups"),
      NETQ_GROUP, 0, _GetLength(network_to_groups)),
-       (_MakeField("group_list", "GroupList", QFT_OTHER, "List of nodegroups"),
-     NETQ_GROUP, 0, _GetSortedList(network_to_groups)),
+    (_MakeField("group_list", "GroupList", QFT_OTHER,
+     "List of nodegroups (group name, NIC mode, NIC link)"),
+     NETQ_GROUP, 0, lambda ctx, network: network_to_groups(ctx)[network.uuid]),
     ])
 
   # Add fields for instances
@@ -2573,8 +2795,10 @@ def _BuildNetworkFields():
   fields.extend([
     (_MakeField(name, title, kind, doc), NETQ_STATS, 0,
     compat.partial(_GetNetworkStatsField, name, kind))
-    for (name, (title, kind, flags, doc)) in _NETWORK_STATS_FIELDS.items()
-    ])
+    for (name, (title, kind, _, doc)) in _NETWORK_STATS_FIELDS.items()])
+
+  # Add timestamps
+  fields.extend(_GetItemTimestampFields(IQ_NETWORKS))
 
   return _PrepareFieldList(fields, [])
 
@@ -2596,6 +2820,9 @@ GROUP_FIELDS = _BuildGroupFields()
 #: Fields available for operating system queries
 OS_FIELDS = _BuildOsFields()
 
+#: Fields available for extstorage provider queries
+EXTSTORAGE_FIELDS = _BuildExtStorageFields()
+
 #: Fields available for job queries
 JOB_FIELDS = _BuildJobFields()
 
@@ -2613,6 +2840,7 @@ ALL_FIELDS = {
   constants.QR_LOCK: LOCK_FIELDS,
   constants.QR_GROUP: GROUP_FIELDS,
   constants.QR_OS: OS_FIELDS,
+  constants.QR_EXTSTORAGE: EXTSTORAGE_FIELDS,
   constants.QR_JOB: JOB_FIELDS,
   constants.QR_EXPORT: EXPORT_FIELDS,
   constants.QR_NETWORK: NETWORK_FIELDS,