Two small style fixes

This is a merge from the 1.2 branch

Reviewed-by: imsnah

Make instance start/stop skippable at burnin time

Even though burnin was born just to do that test it now contains a lot more
things one might try, so it makes sense to make instance start/stop optional
too.

This creates a burnin that at the bare minimum tests instance create and
remove, if all the --no options are specified, but usually does a lot more.

Reviewed-by: iustinp

Do instance export and import during burnin

Instances get exported to a remote node, then removed and imported back to
their original nodes. This should be an idempotent option from the instance
point of view, and help making sure ImportExport is kept up to date.

It will also help making burnin take a lot longer, which is nice to take a nap.
"...but I'm doing a cluster burnin...". Unfortunately this subfeature is a bit
jeopardized by the fact that the new code can be skipped with the
--no-importexport option, but nobody needs to know that, do they?

Reviewed-by: iustinp

Allow burnin to take "-t plain" as an option

The burnin code deals with "-t plain", but the command line parser
doesn't allow that as an option. This patch fixes this issue.

Reviewed-by: ultrotter

Fix some misspellings

This patch fixes two name typos and a style issue (which makes pylint
complain).

Reviewed-by: ultrotter

Fix CreateInstance new optional parameters

Some new paramenters of the CreateInstance opcode are optional (namely
kernel_path, initrd_path and hvm_boot_order) but their absence makes the code
crash. Fix this by initializing them to a default value if they're not present.

Reviewed-by: iustinp

Add mac="auto" at import time

Mac is now a mandatory option for OpCreateInstance. Add it when we call this
opcode at import time too. This is a quick fix for the code, but probably more
work needs to be done to integrate mac addresses with the import/export
functionality in a nice way.

Reviewed-by: iustinp

Support selecting the boot device order for HVM.

This patch adds support for specifying and changing the boot device order for
HVM instances. The boot device order specification is ignored for non HVM
instances.

Reviewed-by: iustinp

Complete --node description for gnt-backup(8)

The second paramenter of --node was not described in gnt-backup. Add
information about it.

Reviewed-by: imsnah

Update gnt-backup(8) -m option explanation

Copy it from gnt-instance(8) for uniformity

Reviewed-by: imsnah

Add the --swap-size option gnt-backup(8)

Reviewed-by: imsnah

gnt-backup import doesn't allow to chose the os

Since it's an import the os is implied to be the one which performed the
export. No -o option is accepted. Reflect this in the manpage.

Reviewed-by: imsnah

Fix gnt-backup import -s option

Update gnt-backup import to be in line with gnt-instance add about the os disk
size option. Thanks to Gunnar Wagenknecht for spotting the issue.

Reviewed-by: imsnah

Add boot_order entry to Instance object.

First step to support custom boot device order for HVM instances, add a
location to actually store that information for the instance.

Reviewed-by: iustinp

Add the new OpCreateInstance parameters to burnin

Reviewed-by: schreiberal

Fix gnt-instance modify breakage introduced in r462

Reviewed-by: schreiberal

Update manpages with the kernel/initrd options

This patch modifes the ‘gnt-instance’ instance manpage with the new
‘--kernel’ and ‘--initrd’ options.

Reviewed-by: imsnah

Change the Xen PVM to use the new kernel options

This patch changes the hypervisor to use the new kernel and initrd
instance attributes. They kernel is handled as expected (use the custom
or the default one), but the initrd is treated a little bit special, in
order to keep compatibility with previous behaviour:
  - if customized and not found, raise an error
  - if default and not found, do not use one

Reviewed-by: imsnah

Make ‘gnt-instance info’ show kernel/initrd paths

This patch changes the info subcommand to nicely show the kernel and
initrd paths.

Reviewed-by: imsnah

Allow defining the kernel/initrd at creation time

This patch adds support for defining the kernel/initrd at instance
creation time, using the same interface as in instance modify.

Reviewed-by: imsnah

Add support for modifying the kernel/initrd path

This patch adds support in ‘gnt-instance modify’ to set the kernel and
initrd paths. The user can pass either 'default' or 'none' (none is not
valid for kernel).

Reviewed-by: imsnah

Add kernel/initrd paths to the instance object

This patch adds two new attributes to the instance object:
  - kernel_path
  - object_path

The code ignores them and the configuration handling is not broken by
this addition.

Reviewed-by: imsnah

Fix a typo in the ‘gnt-instance’ manpage

Reviewed-by: schreiberal

Fix ‘make distcheck’ breakage introduced in r455

This patch fixes the ‘make distcheck’ breakage caused by missing test data in
the archive and missing handling of builddir!=srcdir case.

Reviewed-by: schreiberal

Improve verify-disks: broken/missing LV detection

This patch improves the ‘gnt-cluster verify-disks’ command by adding
support for detecting broken volume groups and missing logical volume
names.

As such, we don't try anymore to activate disks for instances that are
not likely to succeed anyway, and instead report them.

Reviewed-by: schreiberal

Activate logical volumes at Assemble() time

This patch changes the Assemble() method for logical volumes from a noop
to do a `lvchange -ay` on the logical volume; this ensures that if the
logical volume is not active, we are able to activate and use it.

Reviewed-by: imsnah

Improve speed of activating block devs

This patch fixes the double attach operation in bdev.AttachOrAssemble,
which was an indentation mistake in the first place.

Reviewed-by: imsnah

Add unittest for DRBD8 drdbsetup show parser

This patch changes the bdev.DRBD8._GetDevInfo to take a string instead
of a minor, separates the `drbdsetup show` invocation into a new
separate method (bdev.DRBD8._GetShowData) and modifies the rest of the
DRBD8 class to make the appropriate calls.

It also adds a unittest script and data files for testing various cases
of device output.

Reviewed-by: imsnah

Document variable MAC support to gnt-instance.

Document the ability to set and change the MAC address for instances.

Reviewed-by: iustinp

Allow instance MAC address to be set.

Allow the MAC address of an instance to be specified optionally during
instance creation and later to be changed via instance modify.

Reviewed-by: iustinp

HVM proof-of-concept documentation

Update documentation to document the HVM proof-of-concept.

Reviewed-by: iustinp

Proof-of-Concept HVM support for Ganeti.

This patch implements a first proof-of-concept for HVM support in Ganeti.
Due to the nature of this patch, it is intended for test environments
only.

Reviewed-by: iustinp

Error handling for instance config file creation

Wrap error handling around creating the instance config file.

Reviewed-by: iustinp

Use a generic Xen hypervisor interface.

Abstract the parts of the Xen hypervisor interface shared by both PVM and
HVM into a generic interface, subclass the special case PVM from that.

Prepatch for adding HVM support.

Reviewed-by: iustinp

Make utils.RunCmd() deal with interleaved stdout/stderr

Currently, RunCmd is written with the assumption that programs will have
a small stderr output, therefore we read the child's stdout (which can
be big, so we don't want to block the child) and then the stderr (which
is small, so it shouldn't block).

However, with the ‘gnt-cluster verify-disks’ command, we ourselves
generate heavy stderr, therefore we break the ganeti-watcher which runs
the verify-disks via utils.RunCmd.

This patch turns the RunCmd command into an poll-based one, which means
any kind of interleaved output by a child on stdout/stderr will be
handled correctly. Of course, since the output is buffered in memory,
there are other ways to break RunCmd(). But at least this should fix the
common case.

Reviewed-by: hansmi

Internal API change for instance console access.

Change the internal hypervisor API for GetShellCommandForConsole, we
now call it with the instance instead of just the instance name.

This is a prep patch for HVM, since HVM needs more than just the instance
name to determine a way of console access.

(this is a resend due to mail adress tyop)

Reviewed-by: iustinp

cleanup for hypervisor constants

Move constant definitions for hypervisor into constants.py

Reviewed-by: ultrotter

Specify hint as a named argument

hint is declared as a named argument for the LogWarning function. Make its
caller pass it naming it.

Reviewed-by: iustinp

Add instance port support.

Extends the instance object by adding a port item, also adds changes
to print this port via gnt-instance info.

Reviewed-by: iustinp

Make note about minimum version of drbd 8 required

Since 8.0.6 and lower have issues that break Ganeti's usage of drbd,
this patch notes the required version of DRBD.

Reviewed-by: ultrotter

Handle ^C while trying to acquire the lock

When waiting for the lock and pressing ^C, the user will get a backtrace
as the KeyboardInterrupt exception is not handled. The patch adds a
simple method of handling it.

Note that this is not about ^C in any other place.

Reviewed-by: schreiberal,imsnah

Update the man page for ‘gnt-cluster’

This adds some information about the new ‘verify-disks’ command.

Reviewed-by: imsnah

Modify ‘ganeti-watcher’ to run verify-disks

This patch modifies the watcher to run the ‘gnt-cluster verify-disks’
command and to log its output (if any).

Reviewed-by: imsnah

Add the ‘gnt-cluster verify-disks’ command

This patch adds the OpVerifyDisks handling in mcpu.py and the
verify-disks command in the gnt-cluster script, which for every instance
computed by LUVerifyDisks submits a new OpActivateInstanceDisks request.

Reviewed-by: imsnah

Add LUVerifyDisks

This patch adds a new LUVerifyDisks that implements the OpVerifyDisks.
The algorithm is that by determining not-used logical volumes for
instances that are supposed to be running, we presume from there that
the DRBD devices are not online and therefore one should
‘activate-disks’ for those instances.

Reviewed-by: imsnah

Add a new OpVerifyDisks opcode

This patch adds the definition of a new opcode that will be used to
compute the list of instances with not-online disks.

Reviewed-by: imsnah

Return more data in rpc.call_volume_list

Currently, the volume_list call returns only the volume size. However,
it is useful to also have two other things: the 'inactive' state of the
volume (which might trigger a ‘vgchange -a y’ on the volume group) and
the online state (which shows if the volume is in use or not).

Since this modifies an RPC call, we also bump the protocol version,
although the single user of the call didn't care about the dictionary
values, only about the keys.

Reviewed-by: imsnah

Bump version numbers for 1.2.0 release

Reviewed-by: imsnah

On OS creation errors, write logfile path to ganeti-noded's logfile.

Reviewed-by: schreiberal

Output reading fix for backend.NodeVolumes()

Use result.stdout instead of result.output to avoid potential confusion
by merged in error messages from stderr.

Reviewed-by: iustinp

Log instance startup errors correctly

Currently, the Hypervisor error raised on ‘xm create’ failure doesn't
contain the actual output from the command, thus what we log to the node
daemon log is not helpful enough. This patch fixes that.

Reviewed-by: schreiberal

Modify GetVolumeList so output on stderr from lvs doesn't break it.

Reviewed-by: imsnah

Fix the unittest for locking.

Reviewed-by: imsnah

Various code style fixes for strings.

- When line wrapping is needed, move spaces to the next line.
- Remove embedded line breaks from error messages.

Reviewed-by: schreiberal

Add comment about PEP 318 to qa_utils.py.

Reviewed-by: iustinp

Remove DRBD version from SECURITY document.

Reviewed-by: schreiberal

Remove orphaned closing tag.

Reviewed-by: iustinp

Fix parsing of drbdsetup show output

This fixes the parsing of integers in the drbdsetup show output with
newer pyparsing versions.

Basically, the convert-to-int action that we use was taken from the
example documentation of an older pyparsing version that automatically
uses only the second element if the result is returned as a tuple, but
this was deprecated for a while and removed in 1.4.3.

Based on a nice report by Jorge Cabello <jorge@aspl.es>, and
confirmation about pyparsing behaviour from its author. Thanks!

Reviewed-by: imsnah

Replace hardcoded lock dir

This patch replaces the hardcoded ‘/var/lock/’ directory with one based on
LOCALSTATEDIR.

Reviewed-by: imsnah

Make utils.RunCmd log failures when using debug

This patch adds logging of command failures to the debug log in case the
user either started the command (gnt-*) or the node daemon with the
debug flag.

Reviewed-by: imsnah

Fix the ganeti-os-interface manpage

lexgrog cannot parse the current ganeti-os-interface.7 manpage, which in turn
leads to a lintian warning. In order to fix this the NAME section must have the
standard format which doesn't allow multiple words in the first field.

Reviewed-by: iustinp

Update version numbers for release 1.2b3

Reviewed-by: imsnah

Fix logging of some checks in LUClusterVerify

Currently, the results of ConfigWriter.VerifyConfig() are lost. Make
sure we log them too in cluster verify.

Reviewed-by: ultrotter

Update install.sgml with the name of the example OS

We want the name of the example OS to be nicer for packagers, so update
the install documentation accordingly.

Also, put in a notice about using the latest release OS version, so if
we forget to update this doc, we are not completely wrong.

Reviewed-by: schreiberal

Revert "Remove extra docdir variable from Makefile.am"

This reverts commit 397, as the support in autoconf for docdir is
present since 2.59c, and this is too new for some distributions.

Reviewed-by: imsnah

Add checking of python modules at ./configure time

This patch adds checking for our external python modules at the
./configure stage, as it's better to check than rely on documentation.

The patch adds one autoconf macro from the autoconf macro archive
(http://autoconf-archive.cryp.to)

Reviewed-by: imsnah

Drop the Rename method of DRBD8 devices

Since we now do changes of remote peers in two steps (Attach with no
network information and then Attach with the new peer's data), we don't
need this operation anymore.

Reviewed-by: imsnah

Split the change of peer in secondary replace in two operations

This patch splits the single operation of replace peer into two distinct
phases, in order to make a single change to the instance configuration:
  - detach from network
  - if at least one drbd device succeeded, make one change to the
    instance, pointing all disks to the new peer
  - attach to the new peer

This should eliminate the case when a failure in the second reattach can
leave the instance with two secondaries.

Reviewed-by: imsnah

Relax even more the identification of DRBD8 devices

This patch adds a new success condition for identifying DRBD8 devices:
if the local device is correct, but the network peer is not, we shutdown
the network and attach to the correct one (this also handles going to
standalone mode).

This new check (and its actions) is based on the fact that we don't pass
incorrect data from the master to the node (otherwise we could start
syncing with an incorrect peer.

Reviewed-by: imsnah

Add support for DRBD8 devices to work standalone

This patch adds a check in _AssembleNet so that if we are passed None
value in the unique_id, we instead switch to standalone mode.

Reviewed-by: imsnah

Call more hooks during QA tests.

Reviewed-by: schreiberal

Sort list returned by ListVisibleFiles.

If we didn't sort this list, files would be in arbitrary order.

Reviewed-by: iustinp

Add man page for the ganeti-master script

This patch adds a simple man page for the master startup script and
modifies the footer.sgml fragment to include it.

Reviewed-by: imsnah

Create /var/run/ganeti before noded startup

The /var/run directory can be a tmpfs mount, so even if we make it at
install time (or include it in the package) it can go away. Therefore,
test for its existence and create it in the startup script.

Reviewed-by: imsnah

Remove extra docdir variable from Makefile.am

The docdir variable is defined by autoconf, so we don't need to define
it ourselves. This way, the target documentation directory can
be changed via ./configure instead of patching Makefile.am.

In truth, we should install the pdf and html files using the pdf and
html targets, since configure defines pdfdir=htmldir=docdir; but
installing them in docdir is good enough.

Reviewed-by: imsnah

List loading hooks in QA.

Reviewed-by: schreiberal

Add hook for logging.

This may help to debug problems in QA tests.

Reviewed-by: schreiberal

Abort if tests for disk templates remote_raid1 and drbd are enabled.

Reviewed-by: iustinp

Flush stdout after printing a message during burnin.

Reviewed-by: iustinp

Implement disk templates for burnin from QA.

Reviewed-by: iustinp

Replace disk template drbd8 with drbd where missing.

Reviewed-by: iustinp

Code style fixes for burnin.

Reviewed-by: iustinp

Add two comments to qa-sample.yaml.

Reviewed-by: iustinp

Fix logging in drbd _ShutdownNet method

We didn't test for failure, just always logged the output.

Reviewed-by: imsnah

Correct the -s parameter in gnt-node output

This fixed the previous commit (-s => -s ip).

Reviewed-by: ultrotter

Add the -s option in the output of 'gnt-node'

Since on dual-homed clusters one always needs to add '-s' to the
gnt-node add command, make this appear in the output of 'gnt-node' (when
run without arguments).

Reviewed-by: imsnah

Add description of “gnt-instance startup --force” to manpage.

This was reported by Henning Sprang in issue #14. Also add a missing word
in the description of “gnt-instance reboot”.

Reviewed-by: iustinp

Make sure aliases written to /etc/hosts are unique.

Reviewed-by: iustinp

Add function to return list with unique elements.

Reviewed-by: ultrotter

Add basic QA tests for DRBD 8.

Reviewed-by: schreiberal

Fix a typo in a warning message

Reviewed-by: schreiberal

Don't remove master's hostname from /etc/hosts on cluster destroy.

This fixes issue #13.

Reviewed-by: schreiberal

Use spaces to indent and fix typo in tag.

Reviewed-by: schreiberal

Fix typo in function name.

Reviewed-by: schreiberal

Suggest disabling of automatic xen domain save

By default xen tries to save running virtual machines at system shutdown and
restore them at reboot. Make sure we suggest to disable this feature in the
installation manual.

Reviewed-by: iustinp

Complete the apt-get list in the install manual

The install manual was missing python-pyparsing and python-simplejson from the
apt-get install list. Adding them.

Thanks to Henning Sprang for spotting this issue.

Reviewed-by: iustinp

When an assembly error occurs log it too

Right now an assembly error produces an exception but not a log message. This
is bad because the exception suggests looking at the log, but the log itself
has a lot of errors which are not really a problem and only some which really
is. In order to make it clear where in the log the problem occurred we log a
message too, before raising the exception.

Reviewed-by: iustinp

Use setUp/tearDown for tests using temporary files.

Reviewed-by: schreiberal

Wrap line longer than 80 characters.

Reviewed-by: ultrotter

Compare file contents directly in unittests.

Reviewed-by: schreiberal, ultrotter