Add instance port support.
[ganeti-local] / lib / bdev.py
index c79e1c7..5069bb2 100644 (file)
@@ -220,17 +220,23 @@ class BlockDev(object):
     status of the mirror.
 
     Returns:
-     (sync_percent, estimated_time, is_degraded)
+     (sync_percent, estimated_time, is_degraded, ldisk)
+
+    If sync_percent is None, it means the device is not syncing.
 
-    If sync_percent is None, it means all is ok
     If estimated_time is None, it means we can't estimate
-    the time needed, otherwise it's the time left in seconds
+    the time needed, otherwise it's the time left in seconds.
+
     If is_degraded is True, it means the device is missing
     redundancy. This is usually a sign that something went wrong in
     the device setup, if sync_percent is None.
 
+    The ldisk parameter represents the degradation of the local
+    data. This is only valid for some devices, the rest will always
+    return False (not degraded).
+
     """
-    return None, None, False
+    return None, None, False, False
 
 
   def CombinedSyncStatus(self):
@@ -241,10 +247,10 @@ class BlockDev(object):
     children.
 
     """
-    min_percent, max_time, is_degraded = self.GetSyncStatus()
+    min_percent, max_time, is_degraded, ldisk = self.GetSyncStatus()
     if self._children:
       for child in self._children:
-        c_percent, c_time, c_degraded = child.GetSyncStatus()
+        c_percent, c_time, c_degraded, c_ldisk = child.GetSyncStatus()
         if min_percent is None:
           min_percent = c_percent
         elif c_percent is not None:
@@ -254,7 +260,8 @@ class BlockDev(object):
         elif c_time is not None:
           max_time = max(max_time, c_time)
         is_degraded = is_degraded or c_degraded
-    return min_percent, max_time, is_degraded
+        ldisk = ldisk or c_ldisk
+    return min_percent, max_time, is_degraded, ldisk
 
 
   def SetInfo(self, text):
@@ -290,7 +297,6 @@ class LogicalVolume(BlockDev):
     self.dev_path = "/dev/%s/%s" % (self._vg_name, self._lv_name)
     self.Attach()
 
-
   @classmethod
   def Create(cls, unique_id, children, size):
     """Create a new logical volume.
@@ -380,6 +386,9 @@ class LogicalVolume(BlockDev):
     if result.failed:
       raise errors.BlockDeviceError("Failed to rename the logical volume: %s" %
                                     result.output)
+    self._lv_name = new_name
+    self.dev_path = "/dev/%s/%s" % (self._vg_name, self._lv_name)
+
 
   def Attach(self):
     """Attach to an existing LV.
@@ -391,8 +400,8 @@ class LogicalVolume(BlockDev):
     """
     result = utils.RunCmd(["lvdisplay", self.dev_path])
     if result.failed:
-      logger.Error("Can't find LV %s: %s" %
-                   (self.dev_path, result.fail_reason))
+      logger.Error("Can't find LV %s: %s, %s" %
+                   (self.dev_path, result.fail_reason, result.output))
       return False
     match = re.compile("^ *Block device *([0-9]+):([0-9]+).*$")
     for line in result.stdout.splitlines():
@@ -449,6 +458,40 @@ class LogicalVolume(BlockDev):
 
     return retval
 
+  def GetSyncStatus(self):
+    """Returns the sync status of the device.
+
+    If this device is a mirroring device, this function returns the
+    status of the mirror.
+
+    Returns:
+     (sync_percent, estimated_time, is_degraded, ldisk)
+
+    For logical volumes, sync_percent and estimated_time are always
+    None (no recovery in progress, as we don't handle the mirrored LV
+    case). The is_degraded parameter is the inverse of the ldisk
+    parameter.
+
+    For the ldisk parameter, we check if the logical volume has the
+    'virtual' type, which means it's not backed by existing storage
+    anymore (read from it return I/O error). This happens after a
+    physical disk failure and subsequent 'vgreduce --removemissing' on
+    the volume group.
+
+    """
+    result = utils.RunCmd(["lvs", "--noheadings", "-olv_attr", self.dev_path])
+    if result.failed:
+      logger.Error("Can't display lv: %s" % result.fail_reason)
+      return None, None, True, True
+    out = result.stdout.strip()
+    # format: type/permissions/alloc/fixed_minor/state/open
+    if len(out) != 6:
+      logger.Debug("Error in lvs output: attrs=%s, len != 6" % out)
+      return None, None, True, True
+    ldisk = out[0] == 'v' # virtual volume, i.e. doesn't have
+                          # backing storage
+    return None, None, ldisk, ldisk
+
   def Open(self, force=False):
     """Make the device ready for I/O.
 
@@ -742,9 +785,9 @@ class MDRaid1(BlockDev):
     args = ["mdadm", "-f", self.dev_path]
     orig_devs = []
     for dev in devices:
-      args.append(dev.dev_path)
+      args.append(dev)
       for c in self._children:
-        if c.dev_path == dev.dev_path:
+        if c.dev_path == dev:
           orig_devs.append(c)
           break
       else:
@@ -864,11 +907,13 @@ class MDRaid1(BlockDev):
     """Returns the sync status of the device.
 
     Returns:
-     (sync_percent, estimated_time)
+     (sync_percent, estimated_time, is_degraded, ldisk)
 
     If sync_percent is None, it means all is ok
     If estimated_time is None, it means we can't esimate
-    the time needed, otherwise it's the time left in seconds
+    the time needed, otherwise it's the time left in seconds.
+
+    The ldisk parameter is always true for MD devices.
 
     """
     if self.minor is None and not self.Attach():
@@ -882,12 +927,12 @@ class MDRaid1(BlockDev):
     sync_status = f.readline().strip()
     f.close()
     if sync_status == "idle":
-      return None, None, not is_clean
+      return None, None, not is_clean, False
     f = file(sys_path + "sync_completed")
     sync_completed = f.readline().strip().split(" / ")
     f.close()
     if len(sync_completed) != 2:
-      return 0, None, not is_clean
+      return 0, None, not is_clean, False
     sync_done, sync_total = [float(i) for i in sync_completed]
     sync_percent = 100.0*sync_done/sync_total
     f = file(sys_path + "sync_speed")
@@ -896,7 +941,7 @@ class MDRaid1(BlockDev):
       time_est = None
     else:
       time_est = (sync_total - sync_done) / 2 / sync_speed_k
-    return sync_percent, time_est, not is_clean
+    return sync_percent, time_est, not is_clean, False
 
   def Open(self, force=False):
     """Make the device ready for I/O.
@@ -1296,7 +1341,8 @@ class DRBDev(BaseDRBD):
 
     """
     result = utils.RunCmd(["drbdsetup", cls._DevPath(minor), "disconnect"])
-    logger.Error("Can't shutdown network: %s" % result.output)
+    if result.failed:
+      logger.Error("Can't shutdown network: %s" % result.output)
     return not result.failed
 
   def Assemble(self):
@@ -1442,11 +1488,14 @@ class DRBDev(BaseDRBD):
     """Returns the sync status of the device.
 
     Returns:
-     (sync_percent, estimated_time)
+     (sync_percent, estimated_time, is_degraded, ldisk)
 
     If sync_percent is None, it means all is ok
     If estimated_time is None, it means we can't esimate
-    the time needed, otherwise it's the time left in seconds
+    the time needed, otherwise it's the time left in seconds.
+
+    The ldisk parameter will be returned as True, since the DRBD7
+    devices have not been converted.
 
     """
     if self.minor is None and not self.Attach():
@@ -1473,7 +1522,7 @@ class DRBDev(BaseDRBD):
                                     self.minor)
     client_state = match.group(1)
     is_degraded = client_state != "Connected"
-    return sync_percent, est_time, is_degraded
+    return sync_percent, est_time, is_degraded, False
 
   def GetStatus(self):
     """Compute the status of the DRBD device
@@ -1560,11 +1609,12 @@ class DRBD8(BaseDRBD):
   valid size and is zeroed on create.
 
   """
-  _DRBD_MAJOR = 147
   _MAX_MINORS = 255
   _PARSE_SHOW = None
 
   def __init__(self, unique_id, children):
+    if children and children.count(None) > 0:
+      children = []
     super(DRBD8, self).__init__(unique_id, children)
     self.major = self._DRBD_MAJOR
     [kmaj, kmin, kfix, api, proto] = self._GetVersion()
@@ -1652,7 +1702,7 @@ class DRBD8(BaseDRBD):
     rbrace = pyp.Literal("}").suppress()
     semi = pyp.Literal(";").suppress()
     # this also converts the value to an int
-    number = pyp.Word(pyp.nums).setParseAction(lambda s, l, t:(l, [int(t[0])]))
+    number = pyp.Word(pyp.nums).setParseAction(lambda s, l, t: int(t[0]))
 
     comment = pyp.Literal ("#") + pyp.Optional(pyp.restOfLine)
     defa = pyp.Literal("_is_default").suppress()
@@ -1808,6 +1858,11 @@ class DRBD8(BaseDRBD):
 
     """
     lhost, lport, rhost, rport = net_info
+    if None in net_info:
+      # we don't want network connection and actually want to make
+      # sure its shutdown
+      return cls._ShutdownNet(minor)
+
     args = ["drbdsetup", cls._DevPath(minor), "net",
             "%s:%s" % (lhost, lport), "%s:%s" % (rhost, rport), protocol,
             "-A", "discard-zero-changes",
@@ -1847,10 +1902,10 @@ class DRBD8(BaseDRBD):
     """
     if self.minor is None:
       raise errors.BlockDeviceError("Can't attach to dbrd8 during AddChildren")
-
     if len(devices) != 2:
       raise errors.BlockDeviceError("Need two devices for AddChildren")
-    if self._children:
+    info = self._GetDevInfo(self.minor)
+    if "local_dev" in info:
       raise errors.BlockDeviceError("DRBD8 already attached to a local disk")
     backend, meta = devices
     if backend.dev_path is None or meta.dev_path is None:
@@ -1874,16 +1929,23 @@ class DRBD8(BaseDRBD):
     if self.minor is None:
       raise errors.BlockDeviceError("Can't attach to drbd8 during"
                                     " RemoveChildren")
+    # early return if we don't actually have backing storage
+    info = self._GetDevInfo(self.minor)
+    if "local_dev" not in info:
+      return
     if len(self._children) != 2:
       raise errors.BlockDeviceError("We don't have two children: %s" %
                                     self._children)
-
+    if self._children.count(None) == 2: # we don't actually have children :)
+      logger.Error("Requested detach while detached")
+      return
     if len(devices) != 2:
       raise errors.BlockDeviceError("We need two children in RemoveChildren")
-    for idx, dev in enumerate(devices):
-      if dev.dev_path != self._children[idx].dev_path:
-        raise errors.BlockDeviceError("Mismatch in local storage (%d) in"
-                                      " RemoveChildren" % idx)
+    for child, dev in zip(self._children, devices):
+      if dev != child.dev_path:
+        raise errors.BlockDeviceError("Mismatch in local storage"
+                                      " (%s != %s) in RemoveChildren" %
+                                      (dev, child.dev_path))
 
     if not self._ShutdownLocal(self.minor):
       raise errors.BlockDeviceError("Can't detach from local storage")
@@ -1907,11 +1969,18 @@ class DRBD8(BaseDRBD):
     """Returns the sync status of the device.
 
     Returns:
-     (sync_percent, estimated_time)
+     (sync_percent, estimated_time, is_degraded)
 
     If sync_percent is None, it means all is ok
     If estimated_time is None, it means we can't esimate
-    the time needed, otherwise it's the time left in seconds
+    the time needed, otherwise it's the time left in seconds.
+
+
+    We set the is_degraded parameter to True on two conditions:
+    network not connected or local disk missing.
+
+    We compute the ldisk parameter based on wheter we have a local
+    disk or not.
 
     """
     if self.minor is None and not self.Attach():
@@ -1932,13 +2001,15 @@ class DRBD8(BaseDRBD):
     else:
       sync_percent = None
       est_time = None
-    match = re.match("^ *[0-9]+: cs:([^ ]+).*$", line)
+    match = re.match("^ *\d+: cs:(\w+).*ds:(\w+)/(\w+).*$", line)
     if not match:
       raise errors.BlockDeviceError("Can't find my data in /proc (minor %d)" %
                                     self.minor)
     client_state = match.group(1)
+    local_disk_state = match.group(2)
+    ldisk = local_disk_state != "UpToDate"
     is_degraded = client_state != "Connected"
-    return sync_percent, est_time, is_degraded
+    return sync_percent, est_time, is_degraded or ldisk, ldisk
 
   def GetStatus(self):
     """Compute the status of the DRBD device
@@ -2024,6 +2095,28 @@ class DRBD8(BaseDRBD):
                                   "C")
         if res_r and self._MatchesNet(self._GetDevInfo(minor)):
           break
+      # the weakest case: we find something that is only net attached
+      # even though we were passed some children at init time
+      if match_r and "local_dev" not in info:
+        break
+      if match_l and not match_r and "local_addr" in info:
+        # strange case - the device network part points to somewhere
+        # else, even though its local storage is ours; as we own the
+        # drbd space, we try to disconnect from the remote peer and
+        # reconnect to our correct one
+        if not self._ShutdownNet(minor):
+          raise errors.BlockDeviceError("Device has correct local storage,"
+                                        " wrong remote peer and is unable to"
+                                        " disconnect in order to attach to"
+                                        " the correct peer")
+        # note: _AssembleNet also handles the case when we don't want
+        # local storage (i.e. one or more of the _[lr](host|port) is
+        # None)
+        if (self._AssembleNet(minor, (self._lhost, self._lport,
+                                      self._rhost, self._rport), "C") and
+            self._MatchesNet(self._GetDevInfo(minor))):
+          break
+
     else:
       minor = None
 
@@ -2060,7 +2153,7 @@ class DRBD8(BaseDRBD):
 
     minor = self._FindUnusedMinor()
     need_localdev_teardown = False
-    if self._children[0]:
+    if self._children and self._children[0] and self._children[1]:
       result = self._AssembleLocal(minor, self._children[0].dev_path,
                                    self._children[1].dev_path)
       if not result:
@@ -2101,7 +2194,8 @@ class DRBD8(BaseDRBD):
 
     """
     result = utils.RunCmd(["drbdsetup", cls._DevPath(minor), "disconnect"])
-    logger.Error("Can't shutdown network: %s" % result.output)
+    if result.failed:
+      logger.Error("Can't shutdown network: %s" % result.output)
     return not result.failed
 
   @classmethod
@@ -2129,27 +2223,6 @@ class DRBD8(BaseDRBD):
     self.dev_path = None
     return True
 
-  def Rename(self, new_uid):
-    """Re-connect this device to another peer.
-
-    """
-    if self.minor is None:
-      raise errors.BlockDeviceError("Device not attached during rename")
-    if self._rhost is not None:
-      # this means we did have a host when we attached, so we are connected
-      if not self._ShutdownNet(self.minor):
-        raise errors.BlockDeviceError("Can't disconnect from remote peer")
-      old_id = self.unique_id
-    else:
-      old_id = None
-    self.unique_id = new_uid
-    if not self._AssembleNet(self.minor, self.unique_id, "C"):
-      logger.Error("Can't attach to new peer!")
-      if self.old_id is not None:
-        self._AssembleNet(self.minor, old_id, "C")
-      self.unique_id = old_id
-      raise errors.BlockDeviceError("Can't attach to new peer")
-
   def Remove(self):
     """Stub remove for DRBD devices.