Add remove_swap_entry sysprep in linux
[snf-image-creator] / image_creator / main.py
old mode 100755 (executable)
new mode 100644 (file)
index 4c0deb8..a18d6c7
 # interpreted as representing official policies, either expressed
 # or implied, of GRNET S.A.
 
-from image_creator import get_os_class
 from image_creator import __version__ as version
-from image_creator.disk import Disk
-from image_creator.util import get_command, error, success, output, FatalError
 from image_creator import util
+from image_creator.disk import Disk
+from image_creator.util import get_command, error, success, output, \
+                                                    FatalError, progress, md5
+from image_creator.os_type import get_os_class
+from image_creator.kamaki_wrapper import Kamaki
 import sys
 import os
 import optparse
-
-dd = get_command('dd')
+import StringIO
 
 
 def check_writable_dir(option, opt_str, value, parser):
@@ -61,30 +62,17 @@ def parse_options(input_args):
     usage = "Usage: %prog [options] <input_media>"
     parser = optparse.OptionParser(version=version, usage=usage)
 
-    parser.add_option("-f", "--force", dest="force", default=False,
-        action="store_true", help="overwrite output files if they exist")
-
-    parser.add_option("--no-sysprep", dest="sysprep", default=True,
-        help="don't perform system preperation", action="store_false")
-
-    parser.add_option("--no-shrink", dest="shrink", default=True,
-        help="don't shrink any partition", action="store_false")
+    account = os.environ["OKEANOS_USER"] if "OKEANOS_USER" in os.environ \
+        else None
+    token = os.environ["OKEANOS_TOKEN"] if "OKEANOS_TOKEN" in os.environ \
+        else None
 
     parser.add_option("-o", "--outfile", type="string", dest="outfile",
         default=None, action="callback", callback=check_writable_dir,
         help="dump image to FILE", metavar="FILE")
 
-    parser.add_option("--enable-sysprep", dest="enabled_syspreps", default=[],
-        help="run SYSPREP operation on the input media",
-        action="append", metavar="SYSPREP")
-
-    parser.add_option("--disable-sysprep", dest="disabled_syspreps",
-        help="prevent SYSPREP operation from running on the input media",
-        default=[], action="append", metavar="SYSPREP")
-
-    parser.add_option("--print-sysprep", dest="print_sysprep", default=False,
-        help="print the enabled and disabled sysprep operations for this "
-        "input media", action="store_true")
+    parser.add_option("-f", "--force", dest="force", default=False,
+        action="store_true", help="overwrite output files if they exist")
 
     parser.add_option("-s", "--silent", dest="silent", default=False,
         help="silent mode, only output errors", action="store_true")
@@ -97,6 +85,34 @@ def parse_options(input_args):
         default=False, help="register the image to ~okeanos as IMAGENAME",
         metavar="IMAGENAME")
 
+    parser.add_option("-a", "--account", dest="account", type="string",
+        default=account,
+        help="Use this ACCOUNT when uploading/registring images [Default: %s]"\
+        % account)
+
+    parser.add_option("-t", "--token", dest="token", type="string",
+        default=token,
+        help="Use this token when uploading/registring images [Default: %s]"\
+        % token)
+
+    parser.add_option("--print-sysprep", dest="print_sysprep", default=False,
+        help="print the enabled and disabled system preparation operations "
+        "for this input media", action="store_true")
+
+    parser.add_option("--enable-sysprep", dest="enabled_syspreps", default=[],
+        help="run SYSPREP operation on the input media",
+        action="append", metavar="SYSPREP")
+
+    parser.add_option("--disable-sysprep", dest="disabled_syspreps",
+        help="prevent SYSPREP operation from running on the input media",
+        default=[], action="append", metavar="SYSPREP")
+
+    parser.add_option("--no-sysprep", dest="sysprep", default=True,
+        help="don't perform system preperation", action="store_false")
+
+    parser.add_option("--no-shrink", dest="shrink", default=True,
+        help="don't shrink any partition", action="store_false")
+
     options, args = parser.parse_args(input_args)
 
     if len(args) != 1:
@@ -105,9 +121,17 @@ def parse_options(input_args):
     if not os.path.exists(options.source):
         raise FatalError("Input media `%s' is not accessible" % options.source)
 
-    if options.register and options.upload == False: 
+    if options.register and options.upload == False:
         raise FatalError("You also need to set -u when -r option is set")
 
+    if options.upload and options.account is None:
+        raise FatalError("Image uploading cannot be performed. No ~okeanos "
+        "account name is specified. Use -a to set an account name.")
+
+    if options.upload and options.token is None:
+        raise FatalError("Image uploading cannot be performed. No ~okeanos "
+        "token is specified. User -t to set a token.")
+
     return options
 
 
@@ -119,17 +143,19 @@ def image_creator():
 
     if options.outfile is None and not options.upload \
                                             and not options.print_sysprep:
-        raise FatalError("At least one of `-o', `-u' or" \
-                            "`--print-sysprep' must be set")
+        raise FatalError("At least one of `-o', `-u' or `--print-sysprep' " \
+                                                                "must be set")
 
-    output('snf-image-creator %s\n' % version)
+    title = 'snf-image-creator %s' % version
+    output(title)
+    output('=' * len(title))
 
     if os.geteuid() != 0:
         raise FatalError("You must run %s as root" \
                         % os.path.basename(sys.argv[0]))
 
     if not options.force and options.outfile is not None:
-        for extension in ('', '.meta'):
+        for extension in ('', '.meta', '.md5sum'):
             filename = "%s%s" % (options.outfile, extension)
             if os.path.exists(filename):
                 raise FatalError("Output file %s exists "
@@ -137,13 +163,14 @@ def image_creator():
 
     disk = Disk(options.source)
     try:
-        dev = disk.get_device()
+        snapshot = disk.snapshot()
+
+        dev = disk.get_device(snapshot)
         dev.mount()
 
         osclass = get_os_class(dev.distro, dev.ostype)
         image_os = osclass(dev.root, dev.g)
         metadata = image_os.get_metadata()
-
         output()
 
         for sysprep in options.disabled_syspreps:
@@ -164,22 +191,67 @@ def image_creator():
 
         dev.umount()
 
-        size = options.shrink and dev.shrink() or dev.size()
-        metadata['SIZE'] = str(size // 2 ** 20)
+        size = options.shrink and dev.shrink() or dev.size
+        metadata.update(dev.meta)
 
-        if options.outfile is not None:
-            f = open('%s.%s' % (options.outfile, 'meta'), 'w')
-            try:
-                for key in metadata.keys():
-                    f.write("%s=%s\n" % (key, metadata[key]))
-            finally:
-                f.close()
+        checksum = md5(snapshot, size)
+
+        metastring = '\n'.join(
+                ['%s=%s' % (key, value) for (key, value) in metadata.items()])
+        metastring += '\n'
 
+        if options.outfile is not None:
             dev.dump(options.outfile)
+
+            output('Dumping metadata file...', False)
+            with open('%s.%s' % (options.outfile, 'meta'), 'w') as f:
+                f.write(metastring)
+            success('done')
+
+            output('Dumping md5sum file...', False)
+            with open('%s.%s' % (options.outfile, 'md5sum'), 'w') as f:
+                f.write('%s %s\n' % (checksum, \
+                                            os.path.basename(options.outfile)))
+            success('done')
+
+        # Destroy the device. We only need the snapshot from now on
+        disk.destroy_device(dev)
+
+        output()
+
+        uploaded_obj = ""
+        if options.upload:
+            output("Uploading image to pithos:")
+            kamaki = Kamaki(options.account, options.token)
+            with open(snapshot) as f:
+                uploaded_obj = kamaki.upload(f, size, options.upload,
+                                "(1/4)  Calculating block hashes",
+                                "(2/4)  Uploading missing blocks")
+
+            output("(3/4)  Uploading metadata file...", False)
+            kamaki.upload(StringIO.StringIO(metastring), size=len(metastring),
+                                remote_path="%s.%s" % (options.upload, 'meta'))
+            success('done')
+            output("(4/4)  Uploading md5sum file...", False)
+            md5sumstr = '%s %s\n' % (
+                checksum, os.path.basename(options.upload))
+            kamaki.upload(StringIO.StringIO(md5sumstr), size=len(md5sumstr),
+                            remote_path="%s.%s" % (options.upload, 'md5sum'))
+            success('done')
+            output()
+
+        if options.register:
+            output('Registring image to ~okeanos...', False)
+            kamaki.register(options.register, uploaded_obj, metadata)
+            success('done')
+            output()
+
     finally:
         output('cleaning up...')
         disk.cleanup()
 
+    success("snf-image-creator exited without errors")
+
     return 0