Fix error and info messages

Seperate error messages from monitoring messages

Do not send through the monitor pipe the error messages. They may
contain internal sensitive information. Create a new report_error
function for sending errors through the monitoring pipe.

Conflicts:
snf-image-host/create
snf-image-host/snf-image-update-helper.in

In ChangePassword task check if the users exist

Check if the users stated in the USERS image property do actually
exist.

Support installing snf-image-helper from apt repos

snf-image-update-helper should check when creating a helper VM if
an snf-image-helper package was installed from an apt repository
through multistrap. If this is the case, snf-image-update-helper
should not complain about not finding the HELPER_PKG.

Use a seperated dir for update-helper cache files

By default this directory is $(LOCALSTATEDIR)/cache/snf-image/helper

Use env. variables to pass options to pithcat

This is done for security reasons. The options may contain sensitive
data like the Pithos DB password and while the program (pithcat) is
running the whole command line is exposed to everyone through ps.

Suppress a reglookup warning

Hundred of warnings like this: `WARN: While quoting value for
'<registry_key>', warning returned: Data could not be interpreted,
quoting raw buffer.' are outputed when reglookup reads the registry
of a Windows 2012 system.

Don't move the kernel out of the helper VM image

When snf-image-update-helper runned, it moved the kernel and the
initrd file out of the helper VM image. With this patch,
snf-image-update-helper will copy the kernel to the host without
removing it from the image.

Disable fsyncs in helper's VM resize operation

You can disable this behaviour by defining the DO_SYNC image property.

Delete helper img if errors occure during creation

If snf-image-update-helper exits with errors, delete the temporary
image file from /var/lib/snf-image/helper.

Replace debootstrap with multistrap

multistrap is more flexible allows as to define more that one
repository to retrieve packages from.

Fix a bug in snf-image-update-helper

the kernel and init paths computed by snf-image-update-helper script
were incorrect.

Add back the snf_image_activate_helper check

Remove the boot and shutdown process in helper VM

Make snf-image-helper ran as init process when calling the helper
VM. Also make the helper VM shut down quickly by using the shut off
SysRq.

Use UTC when calling date command

Add IMAGE_DEBUG variable

if this is set, then snf-image will run in debug mode.

Drop the `user' password reset rule

Drop the rule that resets the password for user with username `user'
if the USERS image property is missing and the system is detected
to be a Fedora or a Ubuntu Linux system.

Update ChangeLog and configure for version 0.6

Remove enable-network-backend flag from configure

The curl dependency is not optional any more.

Add new config_url os parameter

This url points to a json file that contains the value for other
OS parameters. Using this file we can pass parameters to snf-image
without writting them in Ganeti's config.data. This is
useful, for 2 reasons:
* Privacy: We don't want the password to appear in the Ganeti config
* Speed: Some parameters like IMG_PERSONALITY can be quite large (a few
KB) and since ganeti shares the instance configuration among different
nodes, the overall system will start getting slower if many instances
with IMG_PERSONALITY exist.

Add working import and export scripts

Fix an identation error in common.sh.in

Make sure EnforcePersonality runs last

When a users inject a file in an image that already exists,
we want to make sure that this file is not altered by any other task.
So, the EnforcePersonality task, is the last task that should run
before the image is unmounted.

Update ChangeLog and configure for version 0.5

Update ChangeLog and configure.ac for v0.4.2

Update ChangeLog and configure.ac for v0.4.1

Add support for null image backend type

This backend type can be used if we want snf-image to configure the
VM disk without first copying an image to it. This is useful for
cases were the VM disk is already populated before snf-image runs.

Fix minor typo

In archlinux make use of /etc/hostname if present

Newer arch linux systems use this file to assign a hostname. If the
file is present and not empty, then use it.

Add support for archlinux

 * Fix distro detection code to detect arch linux systems
 * Fix AssighHostname hook to successfully assign the host name on
   arch linux systems

Fix some monitoring messages.

Don't strip stderr lines in image-error msgs

Create a dedicated host monitoring program

This program is used to output info and error messages from the host.

Add stderr-monitor.py for monitoring stderr

This programm will get the stderr file as input and it will create a
json image-error msg

Add new image-info monitoring msg type

snf-image-host can output info messages using the log_info function.

Minor changes in monitoring protocol

Change msg field to messages in monitoring messages with type
image-helper and subtype error or warning. The new field is a list
of strings.

Get unbuffered input in helper-monitor.py

Change sys.stdin.readline with os.read

Remove redundant location field in error messages

Run ganeti_os_main before monitor_pipe utilization

Progress monitor program needs to know the instance name, which is
provided by ganeti_os_main.

Prefix all monitoring message types with image-

Fix some error messages

Fix a bug in error reporting json string

A `{' was missing in the beginning of the json string of the message
with type `error'.

Add helper-monitor.py program

This program transforms raw helper monitor messages into json strings
under very strict rules. This reduces security concerns since the
helper VM output cannot be trusted.

Add copyright info in verify

Initial verification of OS parameters

 * Make sure `img_format', `img_passwd' and `img_id' are passed
 * If format is `diskdump', require the `img_properties` parameter

Make the name of image properties case-insensitive

Defining EXCLUDE_TASK_DeleteSSHKeys is the same as defining
EXCLUDE_TASK_DELETESSHKEYS

cleanup! cleanup! cleanup! cleanup!

 * Change the monitor message type names once again (hope this is
   the final version)
 * Pass -u (unbuffered) to sed to retain the actual output order in
   the log file
 * Fix a bug in helper code where the starting `{' was missing from
   the monitoring messages

Fix a bash bug introduced in 7836baffa680fe294f542

Abandon timelimit program in favor of timeout

The latter is part of gnu coreutils.

Cleanup monitoring code pt2

 * Remove id field in the notifications (what was left)
 * Make copy-monitor.py use the already opened pipe file descriptor
   instead of reopening the file
 * Let bash choose the file descriptor instead of specifying one when
   opening the pipe file

Cleanup monitoring code

 * Add nanoseconds field in timestamp
 * Remove id field in the notifications
 * Fix cleanup code

Add start-task and finish-task events

This commit extendes the monitoring mechanism to include events from
snf-image-helper.

Add monitoring event for errors in create

Remove dead code in common.sh

Fix a bug in FixPartitionTable task

Trying to add a logical swap partition after an already existing logical
partition triggered an error in parted, because between logical partitions
a gap of at least 1 sector needs to be present.

Add mechanism for monitoring snf-image events

Add a utility initially written by vkoukis for monitoring the image
copy. This utility outputs notifications to a named pipe. An external
program can get informed for the image deployment progress by reading
the notifications from this named pipe. The monitoring mechanism
will be extended in the future to have other snf-image subparts
output notification to this named pipe too.

Fix version typo in ChangeLog

Update ChangeLog and configure for v0.4

Remove enable-pithos-support option

snf-image will detect at runtime if pithos backend is installed

Add mechanism for using a custom unattend.xml

snf-image-helper by default uses it's own version of unattend.xml file,
but if UNATTEND variable is specified then it will use the one provided
by snf-image-host.

Add support for GUID partition tables

Fix a bug introduced in 01da0f7d58e0bf30f06755d802

Fix a bug where the partition that should be resized in some cases
was computed in a wrong way

Add AddSwap task

This task is used to set up the swap partition previously created by
FixPartitionTable task and to add a swap entry in the instances fstab
file.

Remove the progress-monitor-support flag

snf-image-host will make use the external progress monitor program
if the PROGRESS_MONITOR variable is not empty. This way progress
monitor can be enable or disabled by just overwriting the aforementioned
variable in the defaults file.

Remove redundant normalize_unit function

Add swap partition if SWAP property is defined

Create a package list file after every debootstrap

This file is used to check if the cache file contains every package
defined in HELPER_EXTRA_PKGS.

Fix a bug introduced in b126203ef9946d23a176fc3583

The interface in get_last_partition function in the helpers common.sh
has changed but not all needed tasks where updated.

Add support for logical partitions

Now FixPartitionTable task can enlarge logical partitions

Update ChangeLog and configure for version 0.3.6

In update-helper ask before using a cache file

* If -y is not specified and a cache file is found, ask the user before
using it.
* "Fix" the -c option's behaviour. With this commit, if -c is applied,
the system will use the provided cache file if present and will do a
debootstrap if the file does not exist. The result of debootstrap will
be saved in the default cache file provided by the HELPER_CACHE_FILE
variable. This way, we do not need to provide an extra "disable cache
file option". One can run the program with -c "" to get this behaviour.

Update configure.ac and ChangeLogs for v0.3.5

Force automatic updates in windows

Update the windows registry in Unattend.xml to force an automatic
Windows Update

Update configure.ac and ChangeLogs for v0.3.4

Fix a bug in DeleteSSHKeys task.

This bug was introduced in commit 88262dba that added pipefail bash
option to all configuration tasks

Update configure.ac and ChangeLogs for v0.3.3

Bugfix, truncate to size

Add a partition table check in FixPartitionTable

Output the error helper VM returns

Add pipefail option in helpers common.sh library

This is needed because common.sh contains functions that use pipes,
and the script should fail if any command fails.

Make update-helper detect the systems's arch

The system's architecture is needed by debootstrap.

Update configure.ac and ChangeLogs for v0.3.2

get_object_meta now requires a domain

Update ChangeLogs for v0.3.1

Fix OS detection for SuSE and gentoo

Update date in ChangeLog for v0.3

Handle unknown linux distro situations

When get_distro and get_base_distro do not detect the linux distribution
a warning is triggered.

AssignHostname fails if the distribution is not known.

Correct an error msg in FixPartitionTable

Fix Short-Description in FixPartitionTable task

Fix a small typo in an error message.

Update PACKAGE_VERSION in configure.ac to 0.3

Update ChangeLog for 0.3

Explain why helper uses -f (force) in resize2fs

Fix a bash bug in create

The bug had to do with the presence of a space character right after =
in a variable assignment.

Fix default PITHOS_DATA value

Host helper's COW and result file in a tmpfs jail

This way we can restrict the size of the files created by the helper.

Fix an error introduced in commit b97ada713646ab29

The device argument in tunefs command was erroneously ommited.

Remove fs check before resizing a partition.

Check if the filesystem is clean, and fail if not.

Really minor cleanup

Remove a redundant echo.

Move the task exclusion check away from common.sh

Not all tasks, should be able to be excluded. If MountImage,
UnmountImage and InstallUnattanded are never excluded, then the system
deployment can't break. If you don't want to mount the image or install
Unattend.xml then you probably want to use EXCLUDE_ALL_TASKS, since all
other tasks depend on the aforementioned ones.