Add kms_client_setup sysprep for windows images
[snf-image-creator] / image_creator / os_type / windows.py
index b41fea6..86de674 100644 (file)
@@ -46,20 +46,88 @@ import time
 import random
 import string
 import subprocess
+import struct
 
 kvm = get_command('kvm')
 
 BOOT_TIMEOUT = 300
 
+# For more info see: http://technet.microsoft.com/en-us/library/jj612867.aspx
+KMS_CLIENT_SETUP_KEYS = {
+    "Windows 8 Professional": "NG4HW-VH26C-733KW-K6F98-J8CK4",
+    "Windows 8 Professional N": "XCVCF-2NXM9-723PB-MHCB7-2RYQQ",
+    "Windows 8 Enterprise": "32JNW-9KQ84-P47T8-D8GGY-CWCK7",
+    "Windows 8 Enterprise N": "JMNMF-RHW7P-DMY6X-RF3DR-X2BQT",
+    "Windows Server 2012 Core": "BN3D2-R7TKB-3YPBD-8DRP2-27GG4",
+    "Windows Server 2012 Core N": "8N2M2-HWPGY-7PGT9-HGDD8-GVGGY",
+    "Windows Server 2012 Core Single Language":
+    "2WN2H-YGCQR-KFX6K-CD6TF-84YXQ",
+    "Windows Server 2012 Core Country Specific":
+    "4K36P-JN4VD-GDC6V-KDT89-DYFKP",
+    "Windows Server 2012 Server Standard": "XC9B7-NBPP2-83J2H-RHMBY-92BT4",
+    "Windows Server 2012 Standard Core": "XC9B7-NBPP2-83J2H-RHMBY-92BT4",
+    "Windows Server 2012 MultiPoint Standard": "HM7DN-YVMH3-46JC3-XYTG7-CYQJJ",
+    "Windows Server 2012 MultiPoint Premium": "XNH6W-2V9GX-RGJ4K-Y8X6F-QGJ2G",
+    "Windows Server 2012 Datacenter": "48HP8-DN98B-MYWDG-T2DCC-8W83P",
+    "Windows Server 2012 Datacenter Core": "48HP8-DN98B-MYWDG-T2DCC-8W83P",
+    "Windows 7 Professional": "FJ82H-XT6CR-J8D7P-XQJJ2-GPDD4",
+    "Windows 7 Professional N": "MRPKT-YTG23-K7D7T-X2JMM-QY7MG",
+    "Windows 7 Professional E": "W82YF-2Q76Y-63HXB-FGJG9-GF7QX",
+    "Windows 7 Enterprise": "33PXH-7Y6KF-2VJC9-XBBR8-HVTHH",
+    "Windows 7 Enterprise N": "YDRBP-3D83W-TY26F-D46B2-XCKRJ",
+    "Windows 7 Enterprise E": "C29WB-22CC8-VJ326-GHFJW-H9DH4",
+    "Windows Server 2008 R2 Web": "6TPJF-RBVHG-WBW2R-86QPH-6RTM4",
+    "Windows Server 2008 R2 HPC edition": "TT8MH-CG224-D3D7Q-498W2-9QCTX",
+    "Windows Server 2008 R2 Standard": "YC6KT-GKW9T-YTKYR-T4X34-R7VHC",
+    "Windows Server 2008 R2 Enterprise": "489J6-VHDMP-X63PK-3K798-CPX3Y",
+    "Windows Server 2008 R2 Datacenter": "74YFP-3QFB3-KQT8W-PMXWJ-7M648",
+    "Windows Server 2008 R2 for Itanium-based Systems":
+    "GT63C-RJFQ3-4GMB6-BRFB9-CB83V",
+    "Windows Vista Business": "YFKBB-PQJJV-G996G-VWGXY-2V3X8",
+    "Windows Vista Business N": "HMBQG-8H2RH-C77VX-27R82-VMQBT",
+    "Windows Vista Enterprise": "VKK3X-68KWM-X2YGT-QR4M6-4BWMV",
+    "Windows Vista Enterprise N": "VTC42-BM838-43QHV-84HX6-XJXKV",
+    "Windows Web Server 2008": "WYR28-R7TFJ-3X2YQ-YCY4H-M249D",
+    "Windows Server 2008 Standard": "TM24T-X9RMF-VWXK6-X8JC9-BFGM2",
+    "Windows Server 2008 Standard without Hyper-V":
+    "W7VD6-7JFBR-RX26B-YKQ3Y-6FFFJ",
+    "Windows Server 2008 Enterprise":
+    "YQGMW-MPWTJ-34KDK-48M3W-X4Q6V",
+    "Windows Server 2008 Enterprise without Hyper-V":
+    "39BXF-X8Q23-P2WWT-38T2F-G3FPG",
+    "Windows Server 2008 HPC": "RCTX3-KWVHP-BR6TB-RB6DM-6X7HP",
+    "Windows Server 2008 Datacenter": "7M67G-PC374-GR742-YH8V4-TCBY3",
+    "Windows Server 2008 Datacenter without Hyper-V":
+    "22XQ2-VRXRG-P8D42-K34TD-G3QQC",
+    "Windows Server 2008 for Itanium-Based Systems":
+    "4DWFP-JF3DJ-B7DTH-78FJB-PDRHK"}
+
 
 class Windows(OSBase):
     """OS class for Windows"""
+    def __init__(self, image, **kargs):
+        super(Windows, self).__init__(image, **kargs)
+
+        device = self.g.part_to_dev(self.root)
+
+        self.last_part_num = self.g.part_list(device)[-1]['part_num']
+        self.last_drive = None
+        self.system_drive = None
+
+        for drive, partition in self.g.inspect_get_drive_mappings(self.root):
+            if partition == "%s%d" % (device, self.last_part_num):
+                self.last_drive = drive
+            if partition == self.root:
+                self.system_drive = drive
+
+        assert self.system_drive
+
+        self.product_name = self.g.inspect_get_product_name(self.root)
 
     def needed_sysprep_params(self):
         """Returns a list of needed sysprep parameters. Each element in the
         list is a SysprepParam object.
         """
-
         password = self.SysprepParam(
             'password', 'Image Administrator Password', 20, lambda x: True)
 
@@ -72,17 +140,135 @@ class Windows(OSBase):
         self._guest_exec('netsh interface ipv6 set global '
                          'randomizeidentifiers=disabled store=persistent')
 
+    @sysprep('Disabling Teredo interface')
+    def disable_teredo(self):
+        """Disable Teredo interface"""
+
+        self._guest_exec('netsh interface teredo set state disabled')
+
+    @sysprep('Disabling ISATAP Adapters')
+    def disable_isatap(self):
+        """Disable ISATAP Adapters"""
+
+        self._guest_exec('netsh interface isa set state disabled')
+
+    @sysprep('Enabling ping responses')
+    def enable_pings(self):
+        """Enable ping responces"""
+
+        self._guest_exec('netsh firewall set icmpsetting 8')
+
+    @sysprep('Disabling hibernation support')
+    def disable_hibernation(self):
+        """Disable hibernation support and remove the hibernation file"""
+
+        self._guest_exec(r'powercfg.exe /hibernate off')
+
+    @sysprep('Setting the system clock to UTC')
+    def utc(self):
+        """Set the hardware clock to UTC"""
+
+        path = r'HKLM\SYSTEM\CurrentControlSet\Control\TimeZoneInformation'
+        self._guest_exec(
+            r'REG ADD %s /v RealTimeIsUniversal /t REG_DWORD /d 1 /f' % path)
+
+    @sysprep('Clearing the event logs')
+    def clear_logs(self):
+        """Clear all the event logs"""
+
+        self._guest_exec(
+            r"cmd /q /c for /f %l in ('wevtutil el') do wevtutil cl %l")
+
     @sysprep('Executing sysprep on the image (may take more that 10 minutes)')
     def microsoft_sysprep(self):
-        """Run the Microsoft System Preparation Tool on the Image. This will
-        remove system-specific data and will make the image ready to be
-        deployed. After this no other task may run.
+        """Run the Microsoft System Preparation Tool. This will remove
+        system-specific data and will make the image ready to be deployed.
+        After this no other task may run.
         """
 
         self._guest_exec(r'C:\Windows\system32\sysprep\sysprep '
                          r'/quiet /generalize /oobe /shutdown')
         self.syspreped = True
 
+    @sysprep('Converting the image into a KMS client', enabled=False)
+    def kms_client_setup(self):
+        """Install the appropriate KMS client setup key to the image to convert
+        it to a KMS client. Computers that are running volume licensing
+        editions of Windows 8, Windows Server 2012, Windows 7, Windows Server
+        2008 R2, Windows Vista, and Windows Server 2008 are, by default, KMS
+        clients with no additional configuration needed.
+        """
+        try:
+            setup_key = KMS_CLIENT_SETUP_KEYS[self.product_name]
+        except KeyError:
+            self.out.warn(
+                "Don't know the KMS client setup key for product: `%s'" %
+                self.product_name)
+            return
+
+        self._guest_exec(
+            "cscript \Windows\system32\slmgr.vbs /ipk %s" % setup_key)
+
+    @sysprep('Shrinking the last filesystem')
+    def shrink(self):
+        """Shrink the last filesystem. Make sure the filesystem is defragged"""
+
+        # Query for the maximum number of reclaimable bytes
+        cmd = (
+            r'cmd /Q /C "SET SCRIPT=%TEMP%\QUERYMAX_%RANDOM%.TXT & ' +
+            r'ECHO SELECT DISK 0 > %SCRIPT% & ' +
+            'ECHO SELECT PARTITION %d >> %%SCRIPT%% & ' % self.last_part_num +
+            r'ECHO SHRINK QUERYMAX >> %SCRIPT% & ' +
+            r'ECHO EXIT >> %SCRIPT% & ' +
+            r'DISKPART /S %SCRIPT% & ' +
+            r'IF ERRORLEVEL 1 EXIT /B 1 & ' +
+            r'DEL /Q %SCRIPT%"')
+
+        stdout, stderr, rc = self._guest_exec(cmd)
+
+        querymax = None
+        for line in stdout.splitlines():
+            # diskpart will return something like this:
+            #
+            #   The maximum number of reclaimable bytes is: xxxx MB
+            #
+            if line.find('reclaimable') >= 0:
+                querymax = line.split(':')[1].split()[0].strip()
+                assert querymax.isdigit(), \
+                    "Number of reclaimable bytes not a number"
+
+        if querymax is None:
+            FatalError("Error in shrinking! "
+                       "Couldn't find the max number of reclaimable bytes!")
+
+        querymax = int(querymax)
+        # From ntfsresize:
+        # Practically the smallest shrunken size generally is at around
+        # "used space" + (20-200 MB). Please also take into account that
+        # Windows might need about 50-100 MB free space left to boot safely.
+        # I'll give 100MB extra space just to be sure
+        querymax -= 100
+
+        if querymax < 0:
+            self.out.warn("Not enought available space to shrink the image!")
+            return
+
+        cmd = (
+            r'cmd /Q /C "SET SCRIPT=%TEMP%\QUERYMAX_%RANDOM%.TXT & ' +
+            r'ECHO SELECT DISK 0 > %SCRIPT% & ' +
+            'ECHO SELECT PARTITION %d >> %%SCRIPT%% & ' % self.last_part_num +
+            'ECHO SHRINK DESIRED=%d >> %%SCRIPT%% & ' % querymax +
+            r'ECHO EXIT >> %SCRIPT% & ' +
+            r'DISKPART /S %SCRIPT% & ' +
+            r'IF ERRORLEVEL 1 EXIT /B 1 & ' +
+            r'DEL /Q %SCRIPT%"')
+
+        stdout, stderr, rc = self._guest_exec(cmd)
+
+        for line in stdout.splitlines():
+            if line.find('shrunk') >= 0:
+                self.out.output(line)
+
     def do_sysprep(self):
         """Prepare system for image creation."""
 
@@ -98,6 +284,15 @@ class Windows(OSBase):
         try:
             disabled_uac = self._update_uac_remote_setting(1)
             token = self._enable_os_monitor()
+
+            # disable the firewalls
+            firewall_states = self._update_firewalls(0, 0, 0)
+
+            # Delete the pagefile. It will be recreated when the system boots
+            systemroot = self.g.inspect_get_windows_systemroot(self.root)
+            pagefile = "%s/pagefile.sys" % systemroot
+            self.g.rm_rf(self.g.case_sensitive_path(pagefile))
+
         finally:
             self.umount()
 
@@ -125,6 +320,7 @@ class Windows(OSBase):
             if not self._wait_on_file(monitor, token):
                 raise FatalError("Windows booting timed out.")
             else:
+                time.sleep(10)  # Just to be sure everything is up
                 self.out.success('done')
 
             self.out.output("Disabling automatic logon ...", False)
@@ -135,16 +331,25 @@ class Windows(OSBase):
 
             tasks = self.list_syspreps()
             enabled = filter(lambda x: x.enabled, tasks)
-
             size = len(enabled)
 
+            # Make sure shrink runs in the end, before ms sysprep
+            enabled = filter(lambda x: self.sysprep_info(x).name != 'shrink',
+                             enabled)
+
+            shrink_enabled = False
+            if len(enabled) != size:
+                enabled.append(self.shrink)
+                shrink_enabled = True
+
             # Make sure the ms sysprep is the last task to run if it is enabled
             enabled = filter(
-                lambda x: x.im_func.func_name != 'microsoft_sysprep', enabled)
+                lambda x: self.sysprep_info(x).name != 'microsoft-sysprep',
+                enabled)
 
             ms_sysprep_enabled = False
             if len(enabled) != size:
-                enabled.append(self.ms_sysprep)
+                enabled.append(self.microsoft_sysprep)
                 ms_sysprep_enabled = True
 
             cnt = 0
@@ -154,12 +359,14 @@ class Windows(OSBase):
                 task()
                 setattr(task.im_func, 'executed', True)
 
-            self.out.output("Shutting down windows VM ...", False)
+            self.out.output("Sending shut down command ...", False)
             if not ms_sysprep_enabled:
                 self._shutdown()
             self.out.success("done")
 
+            self.out.output("Waiting for windows to shut down ...", False)
             vm.wait()
+            self.out.success("done")
         finally:
             if monitor is not None:
                 os.unlink(monitor)
@@ -172,8 +379,14 @@ class Windows(OSBase):
             self.g.launch()
             self.out.success('done')
 
-        if disabled_uac:
-            self._update_uac_remote_setting(0)
+            self.mount(readonly=False)
+            try:
+                if disabled_uac:
+                    self._update_uac_remote_setting(0)
+
+                self._update_firewalls(*firewall_states)
+            finally:
+                self.umount()
 
     def _create_vm(self, monitor):
         """Create a VM with the image attached as the disk
@@ -193,12 +406,12 @@ class Windows(OSBase):
         vnc_port = random.randint(11000, 14999)
         display = vnc_port - 5900
 
-        vm = kvm('-smp', '1', '-m', '1024', '-drive',
-                 'file=%s,format=raw,cache=none,if=virtio' % self.image.device,
-                 '-netdev', 'type=user,hostfwd=tcp::445-:445,id=netdev0',
-                 '-device', 'virtio-net-pci,mac=%s,netdev=netdev0' %
-                 random_mac(), '-vnc', ':%d' % display, '-serial',
-                 'file:%s' % monitor, _bg=True)
+        vm = kvm(
+            '-smp', '1', '-m', '1024', '-drive',
+            'file=%s,format=raw,cache=unsafe,if=virtio' % self.image.device,
+            '-netdev', 'type=user,hostfwd=tcp::445-:445,id=netdev0',
+            '-device', 'virtio-net-pci,mac=%s,netdev=netdev0' % random_mac(),
+            '-vnc', ':%d' % display, '-serial', 'file:%s' % monitor, _bg=True)
 
         return vm, display
 
@@ -310,6 +523,14 @@ class Windows(OSBase):
             h.node_set_value(runonce,
                              {'key': "BootMonitor", 't': 1, 'value': value})
 
+            value = (
+                r'REG ADD HKLM\SOFTWARE\Microsoft\Windows\CurrentVersion'
+                r'\policies\system /v LocalAccountTokenFilterPolicy'
+                r' /t REG_DWORD /d 1 /f').encode('utf-16le')
+
+            h.node_set_value(runonce,
+                             {'key': "UpdateRegistry", 't': 1, 'value': value})
+
             h.commit(None)
 
             self.g.upload(software, path)
@@ -318,6 +539,65 @@ class Windows(OSBase):
 
         return token
 
+    def _update_firewalls(self, domain, public, standard):
+        """Enables or disables the firewall for the Domain, the Public and the
+        Standard profile. Returns a triplete with the old values.
+
+        1 will enable a firewall and 0 will disable it
+        """
+
+        if domain not in (0, 1):
+            raise ValueError("Valid values for domain parameter are 0 and 1")
+
+        if public not in (0, 1):
+            raise ValueError("Valid values for public parameter are 0 and 1")
+
+        if standard not in (0, 1):
+            raise ValueError("Valid values for standard parameter are 0 and 1")
+
+        path = self._registry_file_path("SYSTEM")
+        systemfd, system = tempfile.mkstemp()
+        try:
+            os.close(systemfd)
+            self.g.download(path, system)
+
+            h = hivex.Hivex(system, write=True)
+
+            select = h.node_get_child(h.root(), 'Select')
+            current_value = h.node_get_value(select, 'Current')
+
+            # expecting a little endian dword
+            assert h.value_type(current_value)[1] == 4
+            current = "%03d" % h.value_dword(current_value)
+
+            firewall_policy = h.root()
+            for child in ('ControlSet%s' % current, 'services', 'SharedAccess',
+                          'Parameters', 'FirewallPolicy'):
+                firewall_policy = h.node_get_child(firewall_policy, child)
+
+            old_values = []
+            new_values = [domain, public, standard]
+            for profile in ('Domain', 'Public', 'Standard'):
+                node = h.node_get_child(firewall_policy, '%sProfile' % profile)
+
+                old_value = h.node_get_value(node, 'EnableFirewall')
+
+                # expecting a little endian dword
+                assert h.value_type(old_value)[1] == 4
+                old_values.append(h.value_dword(old_value))
+
+                h.node_set_value(
+                    node, {'key': 'EnableFirewall', 't': 4L,
+                           'value': struct.pack("<I", new_values.pop(0))})
+
+            h.commit(None)
+            self.g.upload(system, path)
+
+        finally:
+            os.unlink(system)
+
+        return old_values
+
     def _update_uac_remote_setting(self, value):
         """Updates the registry key value:
         [HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies
@@ -361,9 +641,8 @@ class Windows(OSBase):
             elif value == 0:
                 return False
 
-            new_value = {
-                'key': "LocalAccountTokenFilterPolicy", 't': 4L,
-                'value': '%s\x00\x00\x00' % '\x00' if value == 0 else '\x01'}
+            new_value = {'key': "LocalAccountTokenFilterPolicy", 't': 4L,
+                         'value': struct.pack("<I", value)}
 
             h.node_set_value(key, new_value)
             h.commit(None)
@@ -410,7 +689,7 @@ class Windows(OSBase):
         addr = 'localhost'
         runas = '--runas=%s' % user
         winexe = subprocess.Popen(
-            ['winexe', '-U', user, "//%s" % addr, runas, command],
+            ['winexe', '-U', user, runas, "//%s" % addr, command],
             stdout=subprocess.PIPE, stderr=subprocess.PIPE)
 
         stdout, stderr = winexe.communicate()
@@ -418,6 +697,8 @@ class Windows(OSBase):
 
         if rc != 0 and fatal:
             reason = stderr if len(stderr) else stdout
+            self.out.output("Command: `%s' failed. Reason: %s" %
+                            (command, reason))
             raise FatalError("Command: `%s' failed. Reason: %s" %
                              (command, reason))