Output reading fix for backend.NodeVolumes()
[ganeti-local] / lib / backend.py
index d2c154a..65e8cce 100644 (file)
@@ -122,7 +122,6 @@ def LeaveCluster():
       if os.path.isfile(full_name) and not os.path.islink(full_name):
         utils.RemoveFile(full_name)
 
-
   try:
     priv_key, pub_key, auth_keys = ssh.GetUserFiles(constants.GANETI_RUNAS)
   except errors.OpExecError, err:
@@ -222,7 +221,7 @@ def GetVolumeList(vg_name):
                  result.output)
     return {}
 
-  lvlist = [line.split() for line in result.output.splitlines()]
+  lvlist = [line.split() for line in result.stdout.splitlines()]
   return dict(lvlist)
 
 
@@ -262,7 +261,7 @@ def NodeVolumes():
       'vg': line[3].strip(),
     }
 
-  return [map_line(line.split('|')) for line in result.output.splitlines()]
+  return [map_line(line.split('|')) for line in result.stdout.splitlines()]
 
 
 def BridgesExist(bridges_list):
@@ -620,7 +619,7 @@ def RebootInstance(instance, reboot_type, extra_args):
   return True
 
 
-def CreateBlockDevice(disk, size, on_primary, info):
+def CreateBlockDevice(disk, size, owner, on_primary, info):
   """Creates a block device for an instance.
 
   Args:
@@ -638,7 +637,7 @@ def CreateBlockDevice(disk, size, on_primary, info):
   clist = []
   if disk.children:
     for child in disk.children:
-      crdev = _RecursiveAssembleBD(child, on_primary)
+      crdev = _RecursiveAssembleBD(child, owner, on_primary)
       if on_primary or disk.AssembleOnSecondary():
         # we need the children open in case the device itself has to
         # be assembled
@@ -660,10 +659,16 @@ def CreateBlockDevice(disk, size, on_primary, info):
     raise ValueError("Can't create child device for %s, %s" %
                      (disk, size))
   if on_primary or disk.AssembleOnSecondary():
-    device.Assemble()
+    if not device.Assemble():
+      errorstring = "Can't assemble device after creation"
+      logger.Error(errorstring)
+      raise errors.BlockDeviceError("%s, very unusual event - check the node"
+                                    " daemon logs" % errorstring)
     device.SetSyncSpeed(constants.SYNC_SPEED)
     if on_primary or disk.OpenOnSecondary():
       device.Open(force=True)
+    DevCacheManager.UpdateCache(device.dev_path, owner,
+                                on_primary, disk.iv_name)
 
   device.SetInfo(info)
 
@@ -686,7 +691,10 @@ def RemoveBlockDevice(disk):
     logger.Info("Can't attach to device %s in remove" % disk)
     rdev = None
   if rdev is not None:
+    r_path = rdev.dev_path
     result = rdev.Remove()
+    if result:
+      DevCacheManager.RemoveCache(r_path)
   else:
     result = True
   if disk.children:
@@ -695,7 +703,7 @@ def RemoveBlockDevice(disk):
   return result
 
 
-def _RecursiveAssembleBD(disk, as_primary):
+def _RecursiveAssembleBD(disk, owner, as_primary):
   """Activate a block device for an instance.
 
   This is run on the primary and secondary nodes for an instance.
@@ -714,8 +722,20 @@ def _RecursiveAssembleBD(disk, as_primary):
   """
   children = []
   if disk.children:
+    mcn = disk.ChildrenNeeded()
+    if mcn == -1:
+      mcn = 0 # max number of Nones allowed
+    else:
+      mcn = len(disk.children) - mcn # max number of Nones
     for chld_disk in disk.children:
-      children.append(_RecursiveAssembleBD(chld_disk, as_primary))
+      try:
+        cdev = _RecursiveAssembleBD(chld_disk, owner, as_primary)
+      except errors.BlockDeviceError, err:
+        if children.count(None) >= mcn:
+          raise
+        cdev = None
+        logger.Debug("Error in child activation: %s" % str(err))
+      children.append(cdev)
 
   if as_primary or disk.AssembleOnSecondary():
     r_dev = bdev.AttachOrAssemble(disk.dev_type, disk.physical_id, children)
@@ -725,12 +745,15 @@ def _RecursiveAssembleBD(disk, as_primary):
       r_dev.Open()
     else:
       r_dev.Close()
+    DevCacheManager.UpdateCache(r_dev.dev_path, owner,
+                                as_primary, disk.iv_name)
+
   else:
     result = True
   return result
 
 
-def AssembleBlockDevice(disk, as_primary):
+def AssembleBlockDevice(disk, owner, as_primary):
   """Activate a block device for an instance.
 
   This is a wrapper over _RecursiveAssembleBD.
@@ -740,7 +763,7 @@ def AssembleBlockDevice(disk, as_primary):
     True for secondary nodes
 
   """
-  result = _RecursiveAssembleBD(disk, as_primary)
+  result = _RecursiveAssembleBD(disk, owner, as_primary)
   if isinstance(result, bdev.BlockDev):
     result = result.dev_path
   return result
@@ -759,7 +782,10 @@ def ShutdownBlockDevice(disk):
   """
   r_dev = _RecursiveFindBD(disk)
   if r_dev is not None:
+    r_path = r_dev.dev_path
     result = r_dev.Shutdown()
+    if result:
+      DevCacheManager.RemoveCache(r_path)
   else:
     result = True
   if disk.children:
@@ -768,35 +794,45 @@ def ShutdownBlockDevice(disk):
   return result
 
 
-def MirrorAddChild(md_cdev, new_cdev):
-  """Extend an MD raid1 array.
+def MirrorAddChildren(parent_cdev, new_cdevs):
+  """Extend a mirrored block device.
 
   """
-  md_bdev = _RecursiveFindBD(md_cdev, allow_partial=True)
-  if md_bdev is None:
-    logger.Error("Can't find md device")
+  parent_bdev = _RecursiveFindBD(parent_cdev, allow_partial=True)
+  if parent_bdev is None:
+    logger.Error("Can't find parent device")
     return False
-  new_bdev = _RecursiveFindBD(new_cdev)
-  if new_bdev is None:
-    logger.Error("Can't find new device to add")
+  new_bdevs = [_RecursiveFindBD(disk) for disk in new_cdevs]
+  if new_bdevs.count(None) > 0:
+    logger.Error("Can't find new device(s) to add: %s:%s" %
+                 (new_bdevs, new_cdevs))
     return False
-  new_bdev.Open()
-  md_bdev.AddChild(new_bdev)
+  parent_bdev.AddChildren(new_bdevs)
   return True
 
 
-def MirrorRemoveChild(md_cdev, new_cdev):
-  """Reduce an MD raid1 array.
+def MirrorRemoveChildren(parent_cdev, new_cdevs):
+  """Shrink a mirrored block device.
 
   """
-  md_bdev = _RecursiveFindBD(md_cdev)
-  if md_bdev is None:
+  parent_bdev = _RecursiveFindBD(parent_cdev)
+  if parent_bdev is None:
+    logger.Error("Can't find parent in remove children: %s" % parent_cdev)
     return False
-  new_bdev = _RecursiveFindBD(new_cdev)
-  if new_bdev is None:
-    return False
-  new_bdev.Open()
-  md_bdev.RemoveChild(new_bdev.dev_path)
+  devs = []
+  for disk in new_cdevs:
+    rpath = disk.StaticDevPath()
+    if rpath is None:
+      bd = _RecursiveFindBD(disk)
+      if bd is None:
+        logger.Error("Can't find dynamic device %s while removing children" %
+                     disk)
+        return False
+      else:
+        devs.append(bd.dev_path)
+    else:
+      devs.append(rpath)
+  parent_bdev.RemoveChildren(devs)
   return True
 
 
@@ -859,8 +895,7 @@ def FindBlockDevice(disk):
   rbd = _RecursiveFindBD(disk)
   if rbd is None:
     return rbd
-  sync_p, est_t, is_degr = rbd.GetSyncStatus()
-  return rbd.dev_path, rbd.major, rbd.minor, sync_p, est_t, is_degr
+  return (rbd.dev_path, rbd.major, rbd.minor) + rbd.GetSyncStatus()
 
 
 def UploadFile(file_name, data, mode, uid, gid, atime, mtime):
@@ -914,6 +949,7 @@ def _ErrnoOrStr(err):
     detail = str(err)
   return detail
 
+
 def _OSSearch(name, search_path=None):
   """Search for OSes with the given name in the search_path.
 
@@ -925,17 +961,17 @@ def _OSSearch(name, search_path=None):
     The base_dir the OS resides in
 
   """
-
   if search_path is None:
     search_path = constants.OS_SEARCH_PATH
 
-  for dir in search_path:
-    t_os_dir = os.path.sep.join([dir, name])
+  for dir_name in search_path:
+    t_os_dir = os.path.sep.join([dir_name, name])
     if os.path.isdir(t_os_dir):
-        return dir
+      return dir_name
 
   return None
 
+
 def _OSOndiskVersion(name, os_dir):
   """Compute and return the API version of a given OS.
 
@@ -946,7 +982,6 @@ def _OSOndiskVersion(name, os_dir):
   case when this is not a valid OS name.
 
   """
-
   api_file = os.path.sep.join([os_dir, "ganeti_api_version"])
 
   try:
@@ -982,33 +1017,31 @@ def _OSOndiskVersion(name, os_dir):
 def DiagnoseOS(top_dirs=None):
   """Compute the validity for all OSes.
 
-  For each name in all the given top directories (if not given defaults i
-  to constants.OS_SEARCH_PATH it will return an object. If this is a valid
-  os, the object will be an instance of the object.OS class. If not,
-  it will be an instance of errors.InvalidOS and this signifies that
-  this name does not correspond to a valid OS.
+  Returns an OS object for each name in all the given top directories
+  (if not given defaults to constants.OS_SEARCH_PATH)
 
   Returns:
-    list of objects
+    list of OS objects
 
   """
   if top_dirs is None:
     top_dirs = constants.OS_SEARCH_PATH
 
   result = []
-  for dir in top_dirs:
-    if os.path.isdir(dir):
+  for dir_name in top_dirs:
+    if os.path.isdir(dir_name):
       try:
-        f_names = utils.ListVisibleFiles(dir)
+        f_names = utils.ListVisibleFiles(dir_name)
       except EnvironmentError, err:
-        logger.Error("Can't list the OS directory %s: %s" % (dir,str(err)))
+        logger.Error("Can't list the OS directory %s: %s" %
+                     (dir_name, str(err)))
         break
       for name in f_names:
         try:
-          os_inst = OSFromDisk(name, base_dir=dir)
+          os_inst = OSFromDisk(name, base_dir=dir_name)
           result.append(os_inst)
         except errors.InvalidOS, err:
-          result.append(err)
+          result.append(objects.OS.FromInvalidOS(err))
 
   return result
 
@@ -1062,7 +1095,7 @@ def OSFromDisk(name, base_dir=None):
                              script)
 
 
-  return objects.OS(name=name, path=os_dir,
+  return objects.OS(name=name, path=os_dir, status=constants.OS_VALID_STATUS,
                     create_script=os_scripts['create'],
                     export_script=os_scripts['export'],
                     import_script=os_scripts['import'],
@@ -1093,7 +1126,7 @@ def SnapshotBlockDevice(disk):
         if child.size == disk.size:
           # return implies breaking the loop
           return SnapshotBlockDevice(child)
-  elif disk.dev_type == "lvm":
+  elif disk.dev_type == constants.LD_LV:
     r_dev = _RecursiveFindBD(disk)
     if r_dev is not None:
       # let's stay on the safe side and ask for the full size, for now
@@ -1102,7 +1135,7 @@ def SnapshotBlockDevice(disk):
       return None
   else:
     raise errors.ProgrammerError("Cannot snapshot non-lvm block device"
-                                 "'%s' of type '%s'" %
+                                 " '%s' of type '%s'" %
                                  (disk.unique_id, disk.dev_type))
 
 
@@ -1339,6 +1372,38 @@ def RemoveExport(export):
   return True
 
 
+def RenameBlockDevices(devlist):
+  """Rename a list of block devices.
+
+  The devlist argument is a list of tuples (disk, new_logical,
+  new_physical). The return value will be a combined boolean result
+  (True only if all renames succeeded).
+
+  """
+  result = True
+  for disk, unique_id in devlist:
+    dev = _RecursiveFindBD(disk)
+    if dev is None:
+      result = False
+      continue
+    try:
+      old_rpath = dev.dev_path
+      dev.Rename(unique_id)
+      new_rpath = dev.dev_path
+      if old_rpath != new_rpath:
+        DevCacheManager.RemoveCache(old_rpath)
+        # FIXME: we should add the new cache information here, like:
+        # DevCacheManager.UpdateCache(new_rpath, owner, ...)
+        # but we don't have the owner here - maybe parse from existing
+        # cache? for now, we only lose lvm data when we rename, which
+        # is less critical than DRBD or MD
+    except errors.BlockDeviceError, err:
+      logger.Error("Can't rename device '%s' to '%s': %s" %
+                   (dev, unique_id, err))
+      result = False
+  return result
+
+
 class HooksRunner(object):
   """Hook runner.
 
@@ -1448,3 +1513,62 @@ class HooksRunner(object):
       rr.append(("%s/%s" % (subdir, relname), rrval, output))
 
     return rr
+
+
+class DevCacheManager(object):
+  """Simple class for managing a chache of block device information.
+
+  """
+  _DEV_PREFIX = "/dev/"
+  _ROOT_DIR = constants.BDEV_CACHE_DIR
+
+  @classmethod
+  def _ConvertPath(cls, dev_path):
+    """Converts a /dev/name path to the cache file name.
+
+    This replaces slashes with underscores and strips the /dev
+    prefix. It then returns the full path to the cache file
+
+    """
+    if dev_path.startswith(cls._DEV_PREFIX):
+      dev_path = dev_path[len(cls._DEV_PREFIX):]
+    dev_path = dev_path.replace("/", "_")
+    fpath = "%s/bdev_%s" % (cls._ROOT_DIR, dev_path)
+    return fpath
+
+  @classmethod
+  def UpdateCache(cls, dev_path, owner, on_primary, iv_name):
+    """Updates the cache information for a given device.
+
+    """
+    if dev_path is None:
+      logger.Error("DevCacheManager.UpdateCache got a None dev_path")
+      return
+    fpath = cls._ConvertPath(dev_path)
+    if on_primary:
+      state = "primary"
+    else:
+      state = "secondary"
+    if iv_name is None:
+      iv_name = "not_visible"
+    fdata = "%s %s %s\n" % (str(owner), state, iv_name)
+    try:
+      utils.WriteFile(fpath, data=fdata)
+    except EnvironmentError, err:
+      logger.Error("Can't update bdev cache for %s, error %s" %
+                   (dev_path, str(err)))
+
+  @classmethod
+  def RemoveCache(cls, dev_path):
+    """Remove data for a dev_path.
+
+    """
+    if dev_path is None:
+      logger.Error("DevCacheManager.RemoveCache got a None dev_path")
+      return
+    fpath = cls._ConvertPath(dev_path)
+    try:
+      utils.RemoveFile(fpath)
+    except EnvironmentError, err:
+      logger.Error("Can't update bdev cache for %s, error %s" %
+                   (dev_path, str(err)))