--select-instances hbal manpage update
[ganeti-local] / tools / cfgupgrade
index 9825cf6..0d341c3 100755 (executable)
@@ -1,7 +1,7 @@
 #!/usr/bin/python
 #
 
-# Copyright (C) 2007, 2008 Google Inc.
+# Copyright (C) 2007, 2008, 2009, 2010 Google Inc.
 #
 # This program is free software; you can redistribute it and/or modify
 # it under the terms of the GNU General Public License as published by
@@ -21,8 +21,8 @@
 
 """Tool to upgrade the configuration file.
 
-This code handles only the types supported by simplejson. As an example, "set"
-is a "list".
+This code handles only the types supported by simplejson. As an
+example, 'set' is a 'list'.
 
 """
 
@@ -31,63 +31,26 @@ import os
 import os.path
 import sys
 import optparse
-import tempfile
 import logging
-import errno
 
 from ganeti import constants
 from ganeti import serializer
 from ganeti import utils
 from ganeti import cli
+from ganeti import bootstrap
+from ganeti import config
+from ganeti import netutils
 
 
-# We need to keep filenames locally because they might be renamed between
-# versions.
-CONFIG_DATA_PATH = constants.DATA_DIR + "/config.data"
-SERVER_PEM_PATH = constants.DATA_DIR + "/server.pem"
-KNOWN_HOSTS_PATH = constants.DATA_DIR + "/known_hosts"
-SSCONF_CLUSTER_NAME_PATH = constants.DATA_DIR + "/ssconf_cluster_name"
-SSCONF_CONFIG_VERSION_PATH = constants.DATA_DIR + "/ssconf_config_version"
-
 options = None
 args = None
 
-# Unique object to identify calls without default value
-NoDefault = object()
-
 
 class Error(Exception):
   """Generic exception"""
   pass
 
 
-def ReadFile(file_name, default=NoDefault):
-  """Reads a file.
-
-  """
-  logging.debug("Reading %s", file_name)
-  try:
-    fh = open(file_name, 'r')
-  except IOError, err:
-    if default is not NoDefault and err.errno == errno.ENOENT:
-      return default
-    raise
-
-  try:
-    return fh.read()
-  finally:
-    fh.close()
-
-
-def WriteFile(file_name, data):
-  """Writes a configuration file.
-
-  """
-  logging.debug("Writing %s", file_name)
-  utils.WriteFile(file_name=file_name, data=data, mode=0600,
-                  dry_run=options.dry_run, backup=True)
-
-
 def SetupLogging():
   """Configures the logging module.
 
@@ -101,20 +64,36 @@ def SetupLogging():
   elif options.verbose:
     stderr_handler.setLevel(logging.INFO)
   else:
-    stderr_handler.setLevel(logging.CRITICAL)
+    stderr_handler.setLevel(logging.WARNING)
 
   root_logger = logging.getLogger("")
   root_logger.setLevel(logging.NOTSET)
   root_logger.addHandler(stderr_handler)
 
 
+def CheckHostname(path):
+  """Ensures hostname matches ssconf value.
+
+  @param path: Path to ssconf file
+
+  """
+  ssconf_master_node = utils.ReadOneLineFile(path)
+  hostname = netutils.GetHostname().name
+
+  if ssconf_master_node == hostname:
+    return True
+
+  logging.warning("Warning: ssconf says master node is '%s', but this"
+                  " machine's name is '%s'; this tool must be run on"
+                  " the master node", ssconf_master_node, hostname)
+  return False
+
+
 def main():
   """Main program.
 
   """
-  global options, args
-
-  program = os.path.basename(sys.argv[0])
+  global options, args # pylint: disable-msg=W0603
 
   # Option parsing
   parser = optparse.OptionParser(usage="%prog [--debug|--verbose] [--force]")
@@ -124,93 +103,144 @@ def main():
                          " output file")
   parser.add_option(cli.FORCE_OPT)
   parser.add_option(cli.DEBUG_OPT)
-  parser.add_option('--verbose', dest='verbose',
-                    action="store_true",
-                    help="Verbose output")
+  parser.add_option(cli.VERBOSE_OPT)
+  parser.add_option("--ignore-hostname", dest="ignore_hostname",
+                    action="store_true", default=False,
+                    help="Don't abort if hostname doesn't match")
+  parser.add_option('--path', help="Convert configuration in this"
+                    " directory instead of '%s'" % constants.DATA_DIR,
+                    default=constants.DATA_DIR, dest="data_dir")
+  parser.add_option("--no-verify",
+                    help="Do not verify configuration after upgrade",
+                    action="store_true", dest="no_verify", default=False)
   (options, args) = parser.parse_args()
 
+  # We need to keep filenames locally because they might be renamed between
+  # versions.
+  options.data_dir = os.path.abspath(options.data_dir)
+  options.CONFIG_DATA_PATH = options.data_dir + "/config.data"
+  options.SERVER_PEM_PATH = options.data_dir + "/server.pem"
+  options.KNOWN_HOSTS_PATH = options.data_dir + "/known_hosts"
+  options.RAPI_CERT_FILE = options.data_dir + "/rapi.pem"
+  options.RAPI_USERS_FILE = options.data_dir + "/rapi/users"
+  options.RAPI_USERS_FILE_PRE24 = options.data_dir + "/rapi_users"
+  options.CONFD_HMAC_KEY = options.data_dir + "/hmac.key"
+  options.CDS_FILE = options.data_dir + "/cluster-domain-secret"
+  options.SSCONF_MASTER_NODE = options.data_dir + "/ssconf_master_node"
+
   SetupLogging()
 
   # Option checking
   if args:
     raise Error("No arguments expected")
 
+  # Check master name
+  if not (CheckHostname(options.SSCONF_MASTER_NODE) or options.ignore_hostname):
+    logging.error("Aborting due to hostname mismatch")
+    sys.exit(constants.EXIT_FAILURE)
+
   if not options.force:
-    usertext = ("%s MUST run on the master node. Is this the master"
-                " node?" % program)
+    usertext = ("Please make sure you have read the upgrade notes for"
+                " Ganeti %s (available in the UPGRADE file and included"
+                " in other documentation formats). Continue with upgrading"
+                " configuration?" % constants.RELEASE_VERSION)
     if not cli.AskUser(usertext):
-      sys.exit(1)
+      sys.exit(constants.EXIT_FAILURE)
 
   # Check whether it's a Ganeti configuration directory
-  if not (os.path.isfile(CONFIG_DATA_PATH) and
-          os.path.isfile(SERVER_PEM_PATH) or
-          os.path.isfile(KNOWN_HOSTS_PATH)):
-    raise Error(("%s does not seem to be a known Ganeti configuration"
-                 " directory") % constants.DATA_DIR)
-
-  config_version = ReadFile(SSCONF_CONFIG_VERSION_PATH, "1.2").strip()
-  logging.info("Found configuration version %s", config_version)
-
-  config_data = serializer.LoadJson(ReadFile(CONFIG_DATA_PATH))
-
-  # Ganeti 1.2?
-  if config_version == "1.2":
-    logging.info("Found a Ganeti 1.2 configuration")
-
-    old_config_version = config_data["cluster"].get("config_version", None)
-    logging.info("Found old configuration version %s", old_config_version)
-    if old_config_version not in (3, ):
-      raise Error("Unsupported configuration version: %s" %
-                  old_config_version)
-
-    # Make sure no instance uses remote_raid1 anymore
-    remote_raid1_instances = []
-    for instance in config_data["instances"]:
-      if instance["disk_template"] == "remote_raid1":
-        remote_raid1_instances.append(instance["name"])
-    if remote_raid1_instances:
-      for name in remote_raid1_instances:
-        logging.error("Instance %s still using remote_raid1 disk template")
-      raise Error("Unable to convert configuration as long as there are"
-                  " instances using remote_raid1 disk template")
-
-    # The configuration version will be stored in a ssconf file
-    if 'config_version' in config_data['cluster']:
-      del config_data['cluster']['config_version']
-
-    # Build content of new known_hosts file
-    cluster_name = ReadFile(SSCONF_CLUSTER_NAME_PATH).rstrip()
-    cluster_key = config_data['cluster']['rsahostkeypub']
-    known_hosts = "%s ssh-rsa %s\n" % (cluster_name, cluster_key)
+  if not (os.path.isfile(options.CONFIG_DATA_PATH) and
+          os.path.isfile(options.SERVER_PEM_PATH) and
+          os.path.isfile(options.KNOWN_HOSTS_PATH)):
+    raise Error(("%s does not seem to be a Ganeti configuration"
+                 " directory") % options.data_dir)
 
-  else:
-    logging.info("Found a Ganeti 2.0 configuration")
+  config_data = serializer.LoadJson(utils.ReadFile(options.CONFIG_DATA_PATH))
+
+  try:
+    config_version = config_data["version"]
+  except KeyError:
+    raise Error("Unable to determine configuration version")
+
+  (config_major, config_minor, config_revision) = \
+    constants.SplitVersion(config_version)
+
+  logging.info("Found configuration version %s (%d.%d.%d)",
+               config_version, config_major, config_minor, config_revision)
+
+  if "config_version" in config_data["cluster"]:
+    raise Error("Inconsistent configuration: found config_version in"
+                " configuration file")
+
+  # Upgrade from 2.0/2.1/2.2/2.3 to 2.4
+  if config_major == 2 and config_minor in (0, 1, 2, 3):
+    if config_revision != 0:
+      logging.warning("Config revision is %s, not 0", config_revision)
 
-    if "config_version" in config_data["cluster"]:
-      raise Error("Inconsistent configuration: found config_data in"
-                  " configuration file")
+    config_data["version"] = constants.BuildVersion(2, 4, 0)
 
-    known_hosts = None
+  elif config_major == 2 and config_minor == 4:
+    logging.info("No changes necessary")
+
+  else:
+    raise Error("Configuration version %d.%d.%d not supported by this tool" %
+                (config_major, config_minor, config_revision))
+
+  if (os.path.isfile(options.RAPI_USERS_FILE_PRE24) and
+      not os.path.islink(options.RAPI_USERS_FILE_PRE24)):
+    if os.path.exists(options.RAPI_USERS_FILE):
+      raise Error("Found pre-2.4 RAPI users file at %s, but another file"
+                  " already exists at %s" %
+                  (options.RAPI_USERS_FILE_PRE24, options.RAPI_USERS_FILE))
+    logging.info("Found pre-2.4 RAPI users file at %s, renaming to %s",
+                 options.RAPI_USERS_FILE_PRE24, options.RAPI_USERS_FILE)
+    if not options.dry_run:
+      utils.RenameFile(options.RAPI_USERS_FILE_PRE24, options.RAPI_USERS_FILE,
+                       mkdir=True, mkdir_mode=0750)
+
+  # Create a symlink for RAPI users file
+  if (not (os.path.islink(options.RAPI_USERS_FILE_PRE24) or
+           os.path.isfile(options.RAPI_USERS_FILE_PRE24)) and
+      os.path.isfile(options.RAPI_USERS_FILE)):
+    logging.info("Creating symlink from %s to %s",
+                 options.RAPI_USERS_FILE_PRE24, options.RAPI_USERS_FILE)
+    if not options.dry_run:
+      os.symlink(options.RAPI_USERS_FILE, options.RAPI_USERS_FILE_PRE24)
 
-  config_version_str = "%s\n" % constants.BuildVersion(2, 0, 0)
   try:
-    logging.info("Writing configuration file")
-    WriteFile(CONFIG_DATA_PATH, serializer.DumpJson(config_data))
-
-    logging.info("Writing configuration version %s",
-                 config_version_str.strip())
-    WriteFile(SSCONF_CONFIG_VERSION_PATH, config_version_str)
-
-    if known_hosts is not None:
-      logging.info("Writing SSH known_hosts file (%s)", known_hosts.strip())
-      WriteFile(KNOWN_HOSTS_PATH, known_hosts)
-  except:
-    logging.critical("Writing configuration failed. It is proably in an"
+    logging.info("Writing configuration file to %s", options.CONFIG_DATA_PATH)
+    utils.WriteFile(file_name=options.CONFIG_DATA_PATH,
+                    data=serializer.DumpJson(config_data),
+                    mode=0600,
+                    dry_run=options.dry_run,
+                    backup=True)
+
+    if not options.dry_run:
+      bootstrap.GenerateClusterCrypto(False, False, False, False,
+                                      nodecert_file=options.SERVER_PEM_PATH,
+                                      rapicert_file=options.RAPI_CERT_FILE,
+                                      hmackey_file=options.CONFD_HMAC_KEY,
+                                      cds_file=options.CDS_FILE)
+
+  except Exception:
+    logging.critical("Writing configuration failed. It is probably in an"
                      " inconsistent state and needs manual intervention.")
     raise
 
+  # test loading the config file
+  if not (options.dry_run or options.no_verify):
+    logging.info("Testing the new config file...")
+    cfg = config.ConfigWriter(cfg_file=options.CONFIG_DATA_PATH,
+                              accept_foreign=options.ignore_hostname,
+                              offline=True)
+    # if we reached this, it's all fine
+    vrfy = cfg.VerifyConfig()
+    if vrfy:
+      logging.error("Errors after conversion:")
+      for item in vrfy:
+        logging.error(" - %s", item)
+    del cfg
+    logging.info("File loaded successfully")
+
 
 if __name__ == "__main__":
   main()
-
-# vim: set foldmethod=marker :