Seperate snapshoting from get_device in Disk class
[snf-image-creator] / image_creator / main.py
index 40bc880..d073946 100755 (executable)
 
 from image_creator import get_os_class
 from image_creator import __version__ as version
-from image_creator import FatalError
+from image_creator import util
 from image_creator.disk import Disk
-from image_creator.util import get_command, error, progress_generator, success
-from clint.textui import puts, indent
-from sendfile import sendfile
-
+from image_creator.util import get_command, error, success, output, FatalError
+from image_creator.kamaki_wrapper import Kamaki
 import sys
 import os
 import optparse
@@ -52,10 +50,10 @@ def check_writable_dir(option, opt_str, value, parser):
     dirname = os.path.dirname(value)
     name = os.path.basename(value)
     if dirname and not os.path.isdir(dirname):
-        parser.error("`%s' is not an existing directory" % dirname)
+        raise FatalError("`%s' is not an existing directory" % dirname)
 
     if not name:
-        parser.error("`%s' is not a valid file name" % dirname)
+        raise FatalError("`%s' is not a valid file name" % dirname)
 
     setattr(parser.values, option.dest, value)
 
@@ -64,32 +62,56 @@ def parse_options(input_args):
     usage = "Usage: %prog [options] <input_media>"
     parser = optparse.OptionParser(version=version, usage=usage)
 
+    account = os.environ["OKEANOS_USER"] if "OKEANOS_USER" in os.environ \
+        else None
+    token = os.environ["OKEANOS_TOKEN"] if "OKEANOS_TOKEN" in os.environ \
+        else None
+
+    parser.add_option("-o", "--outfile", type="string", dest="outfile",
+        default=None, action="callback", callback=check_writable_dir,
+        help="dump image to FILE", metavar="FILE")
+
     parser.add_option("-f", "--force", dest="force", default=False,
-        action="store_true", help="Overwrite output files if they exist")
+        action="store_true", help="overwrite output files if they exist")
 
-    parser.add_option("--no-cleanup", dest="cleanup", default=True,
-        help="Don't cleanup sensitive data before extracting the image",
-        action="store_false")
+    parser.add_option("-s", "--silent", dest="silent", default=False,
+        help="silent mode, only output errors", action="store_true")
 
-    parser.add_option("--no-sysprep", dest="sysprep", default=True,
-        help="Don't perform system preperation before extracting the image",
-        action="store_false")
+    parser.add_option("-u", "--upload", dest="upload", type="string",
+        default=False, help="upload the image to pithos with name FILENAME",
+        metavar="FILENAME")
 
-    parser.add_option("--no-shrink", dest="shrink", default=True,
-        help="Don't shrink any partition before extracting the image",
-        action="store_false")
+    parser.add_option("-r", "--register", dest="register", type="string",
+        default=False, help="register the image to ~okeanos as IMAGENAME",
+        metavar="IMAGENAME")
 
-    parser.add_option("-o", "--outfile", type="string", dest="outfile",
-        default=None, action="callback", callback=check_writable_dir,
-        help="Output image file",
-        metavar="FILE")
+    parser.add_option("-a", "--account", dest="account", type="string",
+        default=account,
+        help="Use this ACCOUNT when uploading/registring images [Default: %s]"\
+        % account)
+
+    parser.add_option("-t", "--token", dest="token", type="string",
+        default=token,
+        help="Use this token when uploading/registring images [Default: %s]"\
+        % token)
+
+    parser.add_option("--print-sysprep", dest="print_sysprep", default=False,
+        help="print the enabled and disabled system preparation operations "
+        "for this input media", action="store_true")
+
+    parser.add_option("--enable-sysprep", dest="enabled_syspreps", default=[],
+        help="run SYSPREP operation on the input media",
+        action="append", metavar="SYSPREP")
 
-    parser.add_option("-u", "--upload", dest="upload", default=False,
-        help="Upload image to a pithos repository using kamaki",
-        action="store_true")
+    parser.add_option("--disable-sysprep", dest="disabled_syspreps",
+        help="prevent SYSPREP operation from running on the input media",
+        default=[], action="append", metavar="SYSPREP")
 
-    parser.add_option("-r", "--register", dest="register", default=False,
-        help="Register image to okeanos using kamaki", action="store_true")
+    parser.add_option("--no-sysprep", dest="sysprep", default=True,
+        help="don't perform system preperation", action="store_false")
+
+    parser.add_option("--no-shrink", dest="shrink", default=True,
+        help="don't shrink any partition", action="store_false")
 
     options, args = parser.parse_args(input_args)
 
@@ -97,53 +119,40 @@ def parse_options(input_args):
         parser.error('Wrong number of arguments')
     options.source = args[0]
     if not os.path.exists(options.source):
-        parser.error('input media is not accessible')
+        raise FatalError("Input media `%s' is not accessible" % options.source)
+
+    if options.register and options.upload == False:
+        raise FatalError("You also need to set -u when -r option is set")
 
-    if options.register:
-        options.upload = True
+    if options.upload and options.account is None:
+        raise FatalError("Image uploading cannot be performed. No ~okeanos "
+        "account name is specified. Use -a to set an account name.")
 
-    if options.outfile is None and not options.upload:
-        parser.error('either outfile (-o) or upload (-u) must be set.')
+    if options.upload and options.token is None:
+        raise FatalError("Image uploading cannot be performed. No ~okeanos "
+        "token is specified. User -t to set a token.")
 
     return options
 
 
-def extract_image(device, outfile, size):
-    blocksize = 4194304  # 4MB
-    progress_size = (size + 1048575) // 1048576  # in MB
-    progressbar = progress_generator("Dumping image file: ",
-                                                    progress_size)
-    source = open(device, "r")
-    try:
-        dest = open(outfile, "w")
-        try:
-            left = size
-            offset = 0
-            progressbar.next()
-            while left > 0:
-                length = min(left, blocksize)
-                sent = sendfile(dest.fileno(), source.fileno(), offset, length)
-                offset += sent
-                left -= sent
-                for i in range(4):
-                    progressbar.next()
-        finally:
-            dest.close()
-    finally:
-        source.close()
+def image_creator():
+    options = parse_options(sys.argv[1:])
 
-    success('Image file %s was successfully created' % outfile)
+    if options.silent:
+        util.silent = True
 
+    if options.outfile is None and not options.upload \
+                                            and not options.print_sysprep:
+        raise FatalError("At least one of `-o', `-u' or" \
+                            "`--print-sysprep' must be set")
 
-def image_creator():
-    puts('snf-image-creator %s\n' % version)
-    options = parse_options(sys.argv[1:])
+    output('snf-image-creator %s\n' % version)
 
     if os.geteuid() != 0:
         raise FatalError("You must run %s as root" \
                         % os.path.basename(sys.argv[0]))
 
-    if not options.force:
+    if not options.force and options.outfile is not None:
         for extension in ('', '.meta'):
             filename = "%s%s" % (options.outfile, extension)
             if os.path.exists(filename):
@@ -152,25 +161,37 @@ def image_creator():
 
     disk = Disk(options.source)
     try:
-        dev = disk.get_device()
+        snapshot = disk.snapshot()
+
+        dev = disk.get_device(snapshot)
         dev.mount()
 
         osclass = get_os_class(dev.distro, dev.ostype)
         image_os = osclass(dev.root, dev.g)
         metadata = image_os.get_metadata()
 
-        puts()
+        output()
 
-        if options.sysprep:
-            image_os.sysprep()
+        for sysprep in options.disabled_syspreps:
+            image_os.disable_sysprep(sysprep)
 
-        if options.cleanup:
-            image_os.data_cleanup()
+        for sysprep in options.enabled_syspreps:
+            image_os.enable_sysprep(sysprep)
+
+        if options.print_sysprep:
+            image_os.print_syspreps()
+            output()
+
+        if options.outfile is None and not options.upload:
+            return 0
+
+        if options.sysprep:
+            image_os.do_sysprep()
 
         dev.umount()
 
         size = options.shrink and dev.shrink() or dev.size()
-        metadata['size'] = str(size // 2 ** 20)
+        metadata['SIZE'] = str(size // 2 ** 20)
 
         if options.outfile is not None:
             f = open('%s.%s' % (options.outfile, 'meta'), 'w')
@@ -180,9 +201,19 @@ def image_creator():
             finally:
                 f.close()
 
-            extract_image(dev.device, options.outfile, size)
+            dev.dump(options.outfile)
+
+        # Destroy the device. We only need the snapshot from now on
+        disk.destroy_device(dev)
+
+        if options.upload:
+            output("Uploading image to pithos...", False)
+            kamaki = Kamaki(options.account, options.token)
+            kamaki.upload(snapshot, size, options.upload)
+            output("done")
+
     finally:
-        puts('cleaning up...')
+        output('cleaning up...')
         disk.cleanup()
 
     return 0