Update ChangeLog and configure.ac for ver. 0.7

Credit psomas@grnet.gr for the helper VM shutdown

Stratos Psomadakis suggested to shutdoen the helper VM using the `o'
Magic SsysRq key

Code cleanup

Make sure local variables are defined as local before they get assigned.
Having variables get defined and assigned in one line like this:

local var=foo

can sometimes cause problems. For example, this line:

local var=$(false)

will return 0 and the script will not fail if set -x is defined.

Make snf-image fail if config_url isn't accessible

Fix a wrong entry in version_pinning.pref

Fix repo url in multistrap.conf

Do not install a local helper package by default

snf-image-update-helper will only install a pkg retrieved from the
apt unless -p option is specified.

Add rule for version pinning for snf-image-helper

Exit if the version check fails

Remove old do_debootstrap function from common.sh

Add new version_consistency_check in configure

This can be used to enable or disable the version check between
snf-image-host and snf-image-helper at the end of the update-helper
script.

Remove caching

Using package caches to create the helper image is dangerous now that
snf-image-helper is automatically retrieved.

Hardcode arch and suit in multistrap.conf

Use squeeze instead of stable

Add apt preferences dir for multistrap

The files hosted in this directory will be added in the
/etc/apt/preferences.d directory of the helper image before multistrap
runs.

Update ChangeLog and configure.ac for ver. 0.6.5

Fix a bug introduced in 9fca5245a2eae67af86719bb0f

AssignHostname task did not search for Unattend.xml in a case
insensitive way.

Update ChangeLog and configure.ac for ver. 0.6.4

Fix a bug introduced in f012a7dd3f0ed634f1a2215936

Update ChangeLog and configure.ac for ver. 0.6.3

Fix a bug in helper's error monitoring system

Make sure that if log_error is executed like this:

log_error "text" "text"

The 2 arguments get merged before being fed to the monitoring system.

Check if the img_properties are decoded correct

In image helper, check if decode-properties.py returned 0 and log
the error if this is not the case.

Fix minor typo in ChangePassword task

Don't overwrite C:\Unattend.xml in the windows

If unattend.xml is present in the windows image, use this one unless
USE_DEFAULT_UNATTEND is specified as an image property.

Fix the error messages in helper

In update-helper remove the tmp image on errors

If an error occurs, the temporary helper image under
/var/lib/snf-image-helper should be removed.

Conflicts:

snf-image-host/snf-image-update-helper.in

Fix a bug in the helper's monitoring system

Fix a bug where the helper will not send a image-helper-error msg
if an error occures when running snf-image-helper main script and
not one of the configuration tasks.

Conflicts:

snf-image-helper/common.sh

Update ChangeLog and configure.ac for ver. 0.6.2

Update ChangeLog and configure.ac for version 0.6.1

Change default error msg in monitoring

Fix an obsolete trap line

It should have been changed in commit 696deeec2b28dacc75e93544835497982df2af50

Fix error and info messages

Seperate error messages from monitoring messages

Do not send through the monitor pipe the error messages. They may
contain internal sensitive information. Create a new report_error
function for sending errors through the monitoring pipe.

Conflicts:
snf-image-host/create
snf-image-host/snf-image-update-helper.in

In ChangePassword task check if the users exist

Check if the users stated in the USERS image property do actually
exist.

Support installing snf-image-helper from apt repos

snf-image-update-helper should check when creating a helper VM if
an snf-image-helper package was installed from an apt repository
through multistrap. If this is the case, snf-image-update-helper
should not complain about not finding the HELPER_PKG.

Use a seperated dir for update-helper cache files

By default this directory is $(LOCALSTATEDIR)/cache/snf-image/helper

Use env. variables to pass options to pithcat

This is done for security reasons. The options may contain sensitive
data like the Pithos DB password and while the program (pithcat) is
running the whole command line is exposed to everyone through ps.

Suppress a reglookup warning

Hundred of warnings like this: `WARN: While quoting value for
'<registry_key>', warning returned: Data could not be interpreted,
quoting raw buffer.' are outputed when reglookup reads the registry
of a Windows 2012 system.

Don't move the kernel out of the helper VM image

When snf-image-update-helper runned, it moved the kernel and the
initrd file out of the helper VM image. With this patch,
snf-image-update-helper will copy the kernel to the host without
removing it from the image.

Disable fsyncs in helper's VM resize operation

You can disable this behaviour by defining the DO_SYNC image property.

Delete helper img if errors occure during creation

If snf-image-update-helper exits with errors, delete the temporary
image file from /var/lib/snf-image/helper.

Replace debootstrap with multistrap

multistrap is more flexible allows as to define more that one
repository to retrieve packages from.

Fix a bug in snf-image-update-helper

the kernel and init paths computed by snf-image-update-helper script
were incorrect.

Add back the snf_image_activate_helper check

Remove the boot and shutdown process in helper VM

Make snf-image-helper ran as init process when calling the helper
VM. Also make the helper VM shut down quickly by using the shut off
SysRq.

Use UTC when calling date command

Add IMAGE_DEBUG variable

if this is set, then snf-image will run in debug mode.

Drop the `user' password reset rule

Drop the rule that resets the password for user with username `user'
if the USERS image property is missing and the system is detected
to be a Fedora or a Ubuntu Linux system.

Update ChangeLog and configure for version 0.6

Remove enable-network-backend flag from configure

The curl dependency is not optional any more.

Add new config_url os parameter

This url points to a json file that contains the value for other
OS parameters. Using this file we can pass parameters to snf-image
without writting them in Ganeti's config.data. This is
useful, for 2 reasons:
* Privacy: We don't want the password to appear in the Ganeti config
* Speed: Some parameters like IMG_PERSONALITY can be quite large (a few
KB) and since ganeti shares the instance configuration among different
nodes, the overall system will start getting slower if many instances
with IMG_PERSONALITY exist.

Add working import and export scripts

Fix an identation error in common.sh.in

Make sure EnforcePersonality runs last

When a users inject a file in an image that already exists,
we want to make sure that this file is not altered by any other task.
So, the EnforcePersonality task, is the last task that should run
before the image is unmounted.

Update ChangeLog and configure for version 0.5

Update ChangeLog and configure.ac for v0.4.2

Update ChangeLog and configure.ac for v0.4.1

Add support for null image backend type

This backend type can be used if we want snf-image to configure the
VM disk without first copying an image to it. This is useful for
cases were the VM disk is already populated before snf-image runs.

Fix minor typo

In archlinux make use of /etc/hostname if present

Newer arch linux systems use this file to assign a hostname. If the
file is present and not empty, then use it.

Add support for archlinux

 * Fix distro detection code to detect arch linux systems
 * Fix AssighHostname hook to successfully assign the host name on
   arch linux systems

Fix some monitoring messages.

Don't strip stderr lines in image-error msgs

Create a dedicated host monitoring program

This program is used to output info and error messages from the host.

Add stderr-monitor.py for monitoring stderr

This programm will get the stderr file as input and it will create a
json image-error msg

Add new image-info monitoring msg type

snf-image-host can output info messages using the log_info function.

Minor changes in monitoring protocol

Change msg field to messages in monitoring messages with type
image-helper and subtype error or warning. The new field is a list
of strings.

Get unbuffered input in helper-monitor.py

Change sys.stdin.readline with os.read

Remove redundant location field in error messages

Run ganeti_os_main before monitor_pipe utilization

Progress monitor program needs to know the instance name, which is
provided by ganeti_os_main.

Prefix all monitoring message types with image-

Fix some error messages

Fix a bug in error reporting json string

A `{' was missing in the beginning of the json string of the message
with type `error'.

Add helper-monitor.py program

This program transforms raw helper monitor messages into json strings
under very strict rules. This reduces security concerns since the
helper VM output cannot be trusted.

Add copyright info in verify

Initial verification of OS parameters

 * Make sure `img_format', `img_passwd' and `img_id' are passed
 * If format is `diskdump', require the `img_properties` parameter

Make the name of image properties case-insensitive

Defining EXCLUDE_TASK_DeleteSSHKeys is the same as defining
EXCLUDE_TASK_DELETESSHKEYS

cleanup! cleanup! cleanup! cleanup!

 * Change the monitor message type names once again (hope this is
   the final version)
 * Pass -u (unbuffered) to sed to retain the actual output order in
   the log file
 * Fix a bug in helper code where the starting `{' was missing from
   the monitoring messages

Fix a bash bug introduced in 7836baffa680fe294f542

Abandon timelimit program in favor of timeout

The latter is part of gnu coreutils.

Cleanup monitoring code pt2

 * Remove id field in the notifications (what was left)
 * Make copy-monitor.py use the already opened pipe file descriptor
   instead of reopening the file
 * Let bash choose the file descriptor instead of specifying one when
   opening the pipe file

Cleanup monitoring code

 * Add nanoseconds field in timestamp
 * Remove id field in the notifications
 * Fix cleanup code

Add start-task and finish-task events

This commit extendes the monitoring mechanism to include events from
snf-image-helper.

Add monitoring event for errors in create

Remove dead code in common.sh

Fix a bug in FixPartitionTable task

Trying to add a logical swap partition after an already existing logical
partition triggered an error in parted, because between logical partitions
a gap of at least 1 sector needs to be present.

Add mechanism for monitoring snf-image events

Add a utility initially written by vkoukis for monitoring the image
copy. This utility outputs notifications to a named pipe. An external
program can get informed for the image deployment progress by reading
the notifications from this named pipe. The monitoring mechanism
will be extended in the future to have other snf-image subparts
output notification to this named pipe too.

Fix version typo in ChangeLog

Update ChangeLog and configure for v0.4

Remove enable-pithos-support option

snf-image will detect at runtime if pithos backend is installed

Add mechanism for using a custom unattend.xml

snf-image-helper by default uses it's own version of unattend.xml file,
but if UNATTEND variable is specified then it will use the one provided
by snf-image-host.

Add support for GUID partition tables

Fix a bug introduced in 01da0f7d58e0bf30f06755d802

Fix a bug where the partition that should be resized in some cases
was computed in a wrong way

Add AddSwap task

This task is used to set up the swap partition previously created by
FixPartitionTable task and to add a swap entry in the instances fstab
file.

Remove the progress-monitor-support flag

snf-image-host will make use the external progress monitor program
if the PROGRESS_MONITOR variable is not empty. This way progress
monitor can be enable or disabled by just overwriting the aforementioned
variable in the defaults file.

Remove redundant normalize_unit function

Add swap partition if SWAP property is defined

Create a package list file after every debootstrap

This file is used to check if the cache file contains every package
defined in HELPER_EXTRA_PKGS.

Fix a bug introduced in b126203ef9946d23a176fc3583

The interface in get_last_partition function in the helpers common.sh
has changed but not all needed tasks where updated.

Add support for logical partitions

Now FixPartitionTable task can enlarge logical partitions

Update ChangeLog and configure for version 0.3.6