Pass debug mode to noded for OS-related calls
[ganeti-local] / tools / cfgupgrade
index e7a2a15..e7be591 100755 (executable)
@@ -1,7 +1,7 @@
 #!/usr/bin/python
 #
 
-# Copyright (C) 2007 Google Inc.
+# Copyright (C) 2007, 2008, 2009 Google Inc.
 #
 # This program is free software; you can redistribute it and/or modify
 # it under the terms of the GNU General Public License as published by
@@ -21,9 +21,8 @@
 
 """Tool to upgrade the configuration file.
 
-This code handles only the types supported by simplejson. As an example, "set"
-is a "list". Old Pickle based configurations files are converted to JSON during
-the process.
+This code handles only the types supported by simplejson. As an
+example, 'set' is a 'list'.
 
 """
 
@@ -31,187 +30,179 @@ the process.
 import os
 import os.path
 import sys
-import re
 import optparse
-import tempfile
-import simplejson
+import logging
 
+from ganeti import constants
+from ganeti import serializer
 from ganeti import utils
-from ganeti.cli import AskUser, FORCE_OPT
+from ganeti import cli
+from ganeti import bootstrap
+from ganeti import config
 
 
 options = None
 args = None
 
+# Dictionary with instance old keys, and new hypervisor keys
+INST_HV_CHG = {
+  'hvm_pae': constants.HV_PAE,
+  'vnc_bind_address': constants.HV_VNC_BIND_ADDRESS,
+  'initrd_path': constants.HV_INITRD_PATH,
+  'hvm_nic_type': constants.HV_NIC_TYPE,
+  'kernel_path': constants.HV_KERNEL_PATH,
+  'hvm_acpi': constants.HV_ACPI,
+  'hvm_cdrom_image_path': constants.HV_CDROM_IMAGE_PATH,
+  'hvm_boot_order': constants.HV_BOOT_ORDER,
+  'hvm_disk_type': constants.HV_DISK_TYPE,
+  }
+
+# Instance beparams changes
+INST_BE_CHG = {
+  'vcpus': constants.BE_VCPUS,
+  'memory': constants.BE_MEMORY,
+  'auto_balance': constants.BE_AUTO_BALANCE,
+  }
+
+# Field names
+F_SERIAL = 'serial_no'
+
 
 class Error(Exception):
   """Generic exception"""
   pass
 
 
-# {{{ Support for old Pickle files
-class UpgradeDict(dict):
-  """Base class for internal config classes.
-
-  """
-  def __setstate__(self, state):
-    self.update(state)
-
-  def __getstate__(self):
-    return self.copy()
-
-
-def FindGlobal(module, name):
-  """Wraps Ganeti config classes to internal ones.
-
-  This function may only return types supported by simplejson.
-
-  """
-  if module == "ganeti.objects":
-    return UpgradeDict
-  elif module == "__builtin__" and name == "set":
-    return list
-
-  return getattr(sys.modules[module], name)
-
-
-def ReadPickleFile(f):
-  """Reads an old Pickle configuration.
-
-  """
-  import cPickle
-
-  loader = cPickle.Unpickler(f)
-  loader.find_global = FindGlobal
-  return loader.load()
-
-
-def IsPickleFile(f):
-  """Checks whether a file is using the Pickle format.
-
-  """
-  magic = f.read(128)
-  try:
-    return not re.match('^\s*\{', magic)
-  finally:
-    f.seek(-len(magic), 1)
-# }}}
-
-
-def ReadJsonFile(f):
-  """Reads a JSON file.
-
-  """
-  return simplejson.load(f)
-
-
-def ReadConfig(path):
-  """Reads configuration file.
+def SetupLogging():
+  """Configures the logging module.
 
   """
-  f = open(path, 'r')
-  try:
-    if IsPickleFile(f):
-      return ReadPickleFile(f)
-    else:
-      return ReadJsonFile(f)
-  finally:
-    f.close()
+  formatter = logging.Formatter("%(asctime)s: %(message)s")
+
+  stderr_handler = logging.StreamHandler()
+  stderr_handler.setFormatter(formatter)
+  if options.debug:
+    stderr_handler.setLevel(logging.NOTSET)
+  elif options.verbose:
+    stderr_handler.setLevel(logging.INFO)
+  else:
+    stderr_handler.setLevel(logging.CRITICAL)
 
+  root_logger = logging.getLogger("")
+  root_logger.setLevel(logging.NOTSET)
+  root_logger.addHandler(stderr_handler)
 
-def WriteConfig(path, data):
-  """Writes the configuration file.
 
-  """
-  if not options.dry_run:
-    utils.CreateBackup(path)
-
-  (fd, name) = tempfile.mkstemp(dir=os.path.dirname(path))
-  f = os.fdopen(fd, 'w')
-  try:
-    try:
-      simplejson.dump(data, f)
-      f.flush()
-      if options.dry_run:
-        os.unlink(name)
-      else:
-        os.rename(name, path)
-    except:
-      os.unlink(name)
-      raise
-  finally:
-    f.close()
-
-
-def UpdateFromVersion2To3(cfg):
-  """Updates the configuration from version 2 to 3.
+def main():
+  """Main program.
 
   """
-  if cfg['cluster']['config_version'] != 2:
-    return
+  global options, args # pylint: disable-msg=W0603
 
-  # Add port pool
-  if 'tcpudp_port_pool' not in cfg['cluster']:
-    cfg['cluster']['tcpudp_port_pool'] = []
-
-  # Add bridge settings
-  if 'default_bridge' not in cfg['cluster']:
-    cfg['cluster']['default_bridge'] = 'xen-br0'
-  for inst in cfg['instances'].values():
-    for nic in inst['nics']:
-      if 'bridge' not in nic:
-        nic['bridge'] = None
-
-  cfg['cluster']['config_version'] = 3
-
-
-# Main program
-if __name__ == "__main__":
   program = os.path.basename(sys.argv[0])
 
   # Option parsing
-  parser = optparse.OptionParser()
+  parser = optparse.OptionParser(usage="%prog [--debug|--verbose] [--force]")
   parser.add_option('--dry-run', dest='dry_run',
                     action="store_true",
                     help="Try to do the conversion, but don't write"
                          " output file")
-  parser.add_option(FORCE_OPT)
-  parser.add_option('--verbose', dest='verbose',
-                    action="store_true",
-                    help="Verbose output")
+  parser.add_option(cli.FORCE_OPT)
+  parser.add_option(cli.DEBUG_OPT)
+  parser.add_option(cli.VERBOSE_OPT)
+  parser.add_option('--path', help="Convert configuration in this"
+                    " directory instead of '%s'" % constants.DATA_DIR,
+                    default=constants.DATA_DIR, dest="data_dir")
   (options, args) = parser.parse_args()
 
+  # We need to keep filenames locally because they might be renamed between
+  # versions.
+  options.CONFIG_DATA_PATH = options.data_dir + "/config.data"
+  options.SERVER_PEM_PATH = options.data_dir + "/server.pem"
+  options.KNOWN_HOSTS_PATH = options.data_dir + "/known_hosts"
+  options.RAPI_CERT_FILE = options.data_dir + "/rapi.pem"
+  options.HMAC_CLUSTER_KEY = options.data_dir + "/hmac.key"
+
+  SetupLogging()
+
   # Option checking
   if args:
-    cfg_file = args[0]
-  else:
-    raise Error("Configuration file not specified")
+    raise Error("No arguments expected")
 
   if not options.force:
-    usertext = ("%s MUST run on the master node. Is this the master"
-                " node?" % program)
-    if not AskUser(usertext):
+    usertext = ("%s MUST be run on the master node. Is this the master"
+                " node and are ALL instances down?" % program)
+    if not cli.AskUser(usertext):
       sys.exit(1)
 
-  config = ReadConfig(cfg_file)
+  # Check whether it's a Ganeti configuration directory
+  if not (os.path.isfile(options.CONFIG_DATA_PATH) and
+          os.path.isfile(options.SERVER_PEM_PATH) or
+          os.path.isfile(options.KNOWN_HOSTS_PATH)):
+    raise Error(("%s does not seem to be a known Ganeti configuration"
+                 " directory") % options.data_dir)
+
+  config_data = serializer.LoadJson(utils.ReadFile(options.CONFIG_DATA_PATH))
+
+  try:
+    config_version = config_data["version"]
+  except KeyError:
+    raise Error("Unable to determine configuration version")
+
+  (config_major, config_minor, config_revision) = \
+    constants.SplitVersion(config_version)
+
+  logging.info("Found configuration version %s (%d.%d.%d)",
+               config_version, config_major, config_minor, config_revision)
+
+  if "config_version" in config_data["cluster"]:
+    raise Error("Inconsistent configuration: found config_version in"
+                " configuration file")
 
-  if options.verbose:
-    import pprint
-    print "Before upgrade:"
-    pprint.pprint(config)
-    print
+  if config_major == 2 and config_minor == 0:
+    if config_revision != 0:
+      logging.warning("Config revision is not 0")
 
-  UpdateFromVersion2To3(config)
+    config_data["version"] = constants.BuildVersion(2, 1, 0)
 
-  if options.verbose:
-    print "After upgrade:"
-    pprint.pprint(config)
-    print
+  try:
+    logging.info("Writing configuration file to %s", options.CONFIG_DATA_PATH)
+    utils.WriteFile(file_name=options.CONFIG_DATA_PATH,
+                    data=serializer.DumpJson(config_data),
+                    mode=0600,
+                    dry_run=options.dry_run,
+                    backup=True)
+
+    if not options.dry_run:
+      if not os.path.exists(options.RAPI_CERT_FILE):
+        logging.debug("Writing RAPI certificate to %s", options.RAPI_CERT_FILE)
+        bootstrap.GenerateSelfSignedSslCert(options.RAPI_CERT_FILE)
+
+      if not os.path.exists(options.HMAC_CLUSTER_KEY):
+        logging.debug("Writing HMAC key to %s", options.HMAC_CLUSTER_KEY)
+        bootstrap.GenerateHmacKey(options.HMAC_CLUSTER_KEY)
+
+  except:
+    logging.critical("Writing configuration failed. It is probably in an"
+                     " inconsistent state and needs manual intervention.")
+    raise
+
+  # test loading the config file
+  if not options.dry_run:
+    logging.info("Testing the new config file...")
+    cfg = config.ConfigWriter(cfg_file=options.CONFIG_DATA_PATH,
+                              offline=True)
+    # if we reached this, it's all fine
+    vrfy = cfg.VerifyConfig()
+    if vrfy:
+      logging.error("Errors after conversion:")
+      for item in vrfy:
+        logging.error(" - %s", item)
+    del cfg
+    logging.info("File loaded successfully")
 
-  WriteConfig(cfg_file, config)
 
-  print "The configuration file has been updated successfully. Please run"
-  print "  gnt-cluster copyfile %s" % cfg_file
-  print "now."
+if __name__ == "__main__":
+  main()
 
 # vim: set foldmethod=marker :