Fix ‘make distcheck’ breakage introduced in r455

This patch fixes the ‘make distcheck’ breakage caused by missing test data in
the archive and missing handling of builddir!=srcdir case.

Reviewed-by: schreiberal

Improve verify-disks: broken/missing LV detection

This patch improves the ‘gnt-cluster verify-disks’ command by adding
support for detecting broken volume groups and missing logical volume
names.

As such, we don't try anymore to activate disks for instances that are
not likely to succeed anyway, and instead report them.

Reviewed-by: schreiberal

Activate logical volumes at Assemble() time

This patch changes the Assemble() method for logical volumes from a noop
to do a `lvchange -ay` on the logical volume; this ensures that if the
logical volume is not active, we are able to activate and use it.

Reviewed-by: imsnah

Improve speed of activating block devs

This patch fixes the double attach operation in bdev.AttachOrAssemble,
which was an indentation mistake in the first place.

Reviewed-by: imsnah

Add unittest for DRBD8 drdbsetup show parser

This patch changes the bdev.DRBD8._GetDevInfo to take a string instead
of a minor, separates the `drbdsetup show` invocation into a new
separate method (bdev.DRBD8._GetShowData) and modifies the rest of the
DRBD8 class to make the appropriate calls.

It also adds a unittest script and data files for testing various cases
of device output.

Reviewed-by: imsnah

Document variable MAC support to gnt-instance.

Document the ability to set and change the MAC address for instances.

Reviewed-by: iustinp

Allow instance MAC address to be set.

Allow the MAC address of an instance to be specified optionally during
instance creation and later to be changed via instance modify.

Reviewed-by: iustinp

HVM proof-of-concept documentation

Update documentation to document the HVM proof-of-concept.

Reviewed-by: iustinp

Proof-of-Concept HVM support for Ganeti.

This patch implements a first proof-of-concept for HVM support in Ganeti.
Due to the nature of this patch, it is intended for test environments
only.

Reviewed-by: iustinp

Error handling for instance config file creation

Wrap error handling around creating the instance config file.

Reviewed-by: iustinp

Use a generic Xen hypervisor interface.

Abstract the parts of the Xen hypervisor interface shared by both PVM and
HVM into a generic interface, subclass the special case PVM from that.

Prepatch for adding HVM support.

Reviewed-by: iustinp

Make utils.RunCmd() deal with interleaved stdout/stderr

Currently, RunCmd is written with the assumption that programs will have
a small stderr output, therefore we read the child's stdout (which can
be big, so we don't want to block the child) and then the stderr (which
is small, so it shouldn't block).

However, with the ‘gnt-cluster verify-disks’ command, we ourselves
generate heavy stderr, therefore we break the ganeti-watcher which runs
the verify-disks via utils.RunCmd.

This patch turns the RunCmd command into an poll-based one, which means
any kind of interleaved output by a child on stdout/stderr will be
handled correctly. Of course, since the output is buffered in memory,
there are other ways to break RunCmd(). But at least this should fix the
common case.

Reviewed-by: hansmi

Internal API change for instance console access.

Change the internal hypervisor API for GetShellCommandForConsole, we
now call it with the instance instead of just the instance name.

This is a prep patch for HVM, since HVM needs more than just the instance
name to determine a way of console access.

(this is a resend due to mail adress tyop)

Reviewed-by: iustinp

cleanup for hypervisor constants

Move constant definitions for hypervisor into constants.py

Reviewed-by: ultrotter

Specify hint as a named argument

hint is declared as a named argument for the LogWarning function. Make its
caller pass it naming it.

Reviewed-by: iustinp

Add instance port support.

Extends the instance object by adding a port item, also adds changes
to print this port via gnt-instance info.

Reviewed-by: iustinp

Make note about minimum version of drbd 8 required

Since 8.0.6 and lower have issues that break Ganeti's usage of drbd,
this patch notes the required version of DRBD.

Reviewed-by: ultrotter

Handle ^C while trying to acquire the lock

When waiting for the lock and pressing ^C, the user will get a backtrace
as the KeyboardInterrupt exception is not handled. The patch adds a
simple method of handling it.

Note that this is not about ^C in any other place.

Reviewed-by: schreiberal,imsnah

Update the man page for ‘gnt-cluster’

This adds some information about the new ‘verify-disks’ command.

Reviewed-by: imsnah

Modify ‘ganeti-watcher’ to run verify-disks

This patch modifies the watcher to run the ‘gnt-cluster verify-disks’
command and to log its output (if any).

Reviewed-by: imsnah

Add the ‘gnt-cluster verify-disks’ command

This patch adds the OpVerifyDisks handling in mcpu.py and the
verify-disks command in the gnt-cluster script, which for every instance
computed by LUVerifyDisks submits a new OpActivateInstanceDisks request.

Reviewed-by: imsnah

Add LUVerifyDisks

This patch adds a new LUVerifyDisks that implements the OpVerifyDisks.
The algorithm is that by determining not-used logical volumes for
instances that are supposed to be running, we presume from there that
the DRBD devices are not online and therefore one should
‘activate-disks’ for those instances.

Reviewed-by: imsnah

Add a new OpVerifyDisks opcode

This patch adds the definition of a new opcode that will be used to
compute the list of instances with not-online disks.

Reviewed-by: imsnah

Return more data in rpc.call_volume_list

Currently, the volume_list call returns only the volume size. However,
it is useful to also have two other things: the 'inactive' state of the
volume (which might trigger a ‘vgchange -a y’ on the volume group) and
the online state (which shows if the volume is in use or not).

Since this modifies an RPC call, we also bump the protocol version,
although the single user of the call didn't care about the dictionary
values, only about the keys.

Reviewed-by: imsnah

Bump version numbers for 1.2.0 release

Reviewed-by: imsnah

On OS creation errors, write logfile path to ganeti-noded's logfile.

Reviewed-by: schreiberal

Output reading fix for backend.NodeVolumes()

Use result.stdout instead of result.output to avoid potential confusion
by merged in error messages from stderr.

Reviewed-by: iustinp

Log instance startup errors correctly

Currently, the Hypervisor error raised on ‘xm create’ failure doesn't
contain the actual output from the command, thus what we log to the node
daemon log is not helpful enough. This patch fixes that.

Reviewed-by: schreiberal

Modify GetVolumeList so output on stderr from lvs doesn't break it.

Reviewed-by: imsnah

Fix the unittest for locking.

Reviewed-by: imsnah

Various code style fixes for strings.

- When line wrapping is needed, move spaces to the next line.
- Remove embedded line breaks from error messages.

Reviewed-by: schreiberal

Add comment about PEP 318 to qa_utils.py.

Reviewed-by: iustinp

Remove DRBD version from SECURITY document.

Reviewed-by: schreiberal

Remove orphaned closing tag.

Reviewed-by: iustinp

Fix parsing of drbdsetup show output

This fixes the parsing of integers in the drbdsetup show output with
newer pyparsing versions.

Basically, the convert-to-int action that we use was taken from the
example documentation of an older pyparsing version that automatically
uses only the second element if the result is returned as a tuple, but
this was deprecated for a while and removed in 1.4.3.

Based on a nice report by Jorge Cabello <jorge@aspl.es>, and
confirmation about pyparsing behaviour from its author. Thanks!

Reviewed-by: imsnah

Replace hardcoded lock dir

This patch replaces the hardcoded ‘/var/lock/’ directory with one based on
LOCALSTATEDIR.

Reviewed-by: imsnah

Make utils.RunCmd log failures when using debug

This patch adds logging of command failures to the debug log in case the
user either started the command (gnt-*) or the node daemon with the
debug flag.

Reviewed-by: imsnah

Fix the ganeti-os-interface manpage

lexgrog cannot parse the current ganeti-os-interface.7 manpage, which in turn
leads to a lintian warning. In order to fix this the NAME section must have the
standard format which doesn't allow multiple words in the first field.

Reviewed-by: iustinp

Update version numbers for release 1.2b3

Reviewed-by: imsnah

Fix logging of some checks in LUClusterVerify

Currently, the results of ConfigWriter.VerifyConfig() are lost. Make
sure we log them too in cluster verify.

Reviewed-by: ultrotter

Update install.sgml with the name of the example OS

We want the name of the example OS to be nicer for packagers, so update
the install documentation accordingly.

Also, put in a notice about using the latest release OS version, so if
we forget to update this doc, we are not completely wrong.

Reviewed-by: schreiberal

Revert "Remove extra docdir variable from Makefile.am"

This reverts commit 397, as the support in autoconf for docdir is
present since 2.59c, and this is too new for some distributions.

Reviewed-by: imsnah

Add checking of python modules at ./configure time

This patch adds checking for our external python modules at the
./configure stage, as it's better to check than rely on documentation.

The patch adds one autoconf macro from the autoconf macro archive
(http://autoconf-archive.cryp.to)

Reviewed-by: imsnah

Drop the Rename method of DRBD8 devices

Since we now do changes of remote peers in two steps (Attach with no
network information and then Attach with the new peer's data), we don't
need this operation anymore.

Reviewed-by: imsnah

Split the change of peer in secondary replace in two operations

This patch splits the single operation of replace peer into two distinct
phases, in order to make a single change to the instance configuration:
  - detach from network
  - if at least one drbd device succeeded, make one change to the
    instance, pointing all disks to the new peer
  - attach to the new peer

This should eliminate the case when a failure in the second reattach can
leave the instance with two secondaries.

Reviewed-by: imsnah

Relax even more the identification of DRBD8 devices

This patch adds a new success condition for identifying DRBD8 devices:
if the local device is correct, but the network peer is not, we shutdown
the network and attach to the correct one (this also handles going to
standalone mode).

This new check (and its actions) is based on the fact that we don't pass
incorrect data from the master to the node (otherwise we could start
syncing with an incorrect peer.

Reviewed-by: imsnah

Add support for DRBD8 devices to work standalone

This patch adds a check in _AssembleNet so that if we are passed None
value in the unique_id, we instead switch to standalone mode.

Reviewed-by: imsnah

Call more hooks during QA tests.

Reviewed-by: schreiberal

Sort list returned by ListVisibleFiles.

If we didn't sort this list, files would be in arbitrary order.

Reviewed-by: iustinp

Add man page for the ganeti-master script

This patch adds a simple man page for the master startup script and
modifies the footer.sgml fragment to include it.

Reviewed-by: imsnah

Create /var/run/ganeti before noded startup

The /var/run directory can be a tmpfs mount, so even if we make it at
install time (or include it in the package) it can go away. Therefore,
test for its existence and create it in the startup script.

Reviewed-by: imsnah

Remove extra docdir variable from Makefile.am

The docdir variable is defined by autoconf, so we don't need to define
it ourselves. This way, the target documentation directory can
be changed via ./configure instead of patching Makefile.am.

In truth, we should install the pdf and html files using the pdf and
html targets, since configure defines pdfdir=htmldir=docdir; but
installing them in docdir is good enough.

Reviewed-by: imsnah

List loading hooks in QA.

Reviewed-by: schreiberal

Add hook for logging.

This may help to debug problems in QA tests.

Reviewed-by: schreiberal

Abort if tests for disk templates remote_raid1 and drbd are enabled.

Reviewed-by: iustinp

Flush stdout after printing a message during burnin.

Reviewed-by: iustinp

Implement disk templates for burnin from QA.

Reviewed-by: iustinp

Replace disk template drbd8 with drbd where missing.

Reviewed-by: iustinp

Code style fixes for burnin.

Reviewed-by: iustinp

Add two comments to qa-sample.yaml.

Reviewed-by: iustinp

Fix logging in drbd _ShutdownNet method

We didn't test for failure, just always logged the output.

Reviewed-by: imsnah

Correct the -s parameter in gnt-node output

This fixed the previous commit (-s => -s ip).

Reviewed-by: ultrotter

Add the -s option in the output of 'gnt-node'

Since on dual-homed clusters one always needs to add '-s' to the
gnt-node add command, make this appear in the output of 'gnt-node' (when
run without arguments).

Reviewed-by: imsnah

Add description of “gnt-instance startup --force” to manpage.

This was reported by Henning Sprang in issue #14. Also add a missing word
in the description of “gnt-instance reboot”.

Reviewed-by: iustinp

Make sure aliases written to /etc/hosts are unique.

Reviewed-by: iustinp

Add function to return list with unique elements.

Reviewed-by: ultrotter

Add basic QA tests for DRBD 8.

Reviewed-by: schreiberal

Fix a typo in a warning message

Reviewed-by: schreiberal

Don't remove master's hostname from /etc/hosts on cluster destroy.

This fixes issue #13.

Reviewed-by: schreiberal

Use spaces to indent and fix typo in tag.

Reviewed-by: schreiberal

Fix typo in function name.

Reviewed-by: schreiberal

Suggest disabling of automatic xen domain save

By default xen tries to save running virtual machines at system shutdown and
restore them at reboot. Make sure we suggest to disable this feature in the
installation manual.

Reviewed-by: iustinp

Complete the apt-get list in the install manual

The install manual was missing python-pyparsing and python-simplejson from the
apt-get install list. Adding them.

Thanks to Henning Sprang for spotting this issue.

Reviewed-by: iustinp

When an assembly error occurs log it too

Right now an assembly error produces an exception but not a log message. This
is bad because the exception suggests looking at the log, but the log itself
has a lot of errors which are not really a problem and only some which really
is. In order to make it clear where in the log the problem occurred we log a
message too, before raising the exception.

Reviewed-by: iustinp

Use setUp/tearDown for tests using temporary files.

Reviewed-by: schreiberal

Wrap line longer than 80 characters.

Reviewed-by: ultrotter

Compare file contents directly in unittests.

Reviewed-by: schreiberal, ultrotter

Give more details on errors when trying to run “lvdisplay”.

Reviewed-by: schreiberal

Create /var/run/ganeti directory on “make install”.

Reviewed-by: schreiberal

Bump version numbers.

Reviewed-by: iustinp

Run ganeti-watcher script from QA code instead of cron.

This makes the tests much more reliably because it avoids race conditions.
It also helps to speed them up a lot.

Reviewed-by: iustinp

Small changes and fixes in ganeti-watcher.

- Use constants for keys.
- Fix bug through which automatic instance restarts wouldn't be limited

Reviewed-by: iustinp

Fix call to TestInstanceConsecutiveFailures.

Reviewed-by: iustinp

Fix unittests broken by revision 360.

Reviewed-by: schreiberal

Fix --node option for “gnt-backup list”.

Reviewed-by: iustinp

Fix a wrong comparison in _RecursiveAssembleBD

We want to prevent sending too many 'None' children to a device.
However, the test as it is today is wrong, as we want to test the
situation after adding a new child, and not before. This patch fixes
this by testing greater-or-equal instead of just greater.

Reviewed-by: imsnah

Fix another breakage in SetEtcHostsEntry

The code assumes all lines have at least two elements which are
whitespace separated - i.e. it does not deal with empty lines or comment
lines with no spaces. This patch fixes this.

Also, the patch replaces the blank between IP and the canonical name
with a tab (restoring previous behaviour).

Reviewed-by: imsnah

Call fsync() after modifying /etc/hosts.

This is a critical file. Breaking it would be very bad. Thus, if the system
crashes before the data is synched to the disk, it should have the complete
file afterwards.

Reviewed-by: iustinp

Fix functions for /etc/hosts.

- Combine hostname and aliases on one line
- Fix bug with wrongfully removed newline characters
- Use wrapper for SetEtcHostsEntry in cmdlib

Reviewed-by: iustin

Rollback commit 356.

Add functions for known_hosts files.

Reviewed-by: TODO

Add missing descriptions to {Add,Remove}EtcHostsEntry.

Reviewed-by: schreiberal

Relax replace_disks_all meaning for drbd8

In order to make the replace secondary action to be done via the same
opcode parameters for both remote_raid1 and drbd, we must allow the
LUReplaceDisks to change replace_disks_all for drbd with non-empty
remote_node into replace_disks_sec.

This fixes gnt-node evacuate and also allows gnt-instace replace-disks
to have the same syntax for both remote_raid1 and drbd (when replacing
the secondary).

Reviewed-by: ultrotter

Change --nodes to --node

The --nodes option in gnt-backup really accepts only one node at a time.
Change it to --node, for added clarity and consistency with a similar
option in gnt-cluster. This patch also updates the relevant man page.

Reviewed-By: iustinp

Update documentation for drbd8 and beta2 release

This patch does:
  - add drbd8 information to the docs (the new disk template, examples,
    etc.)
  - fixes a section header to make it more clear
  - update the NEWS file by changing format (format taken by looking at
    /usr/sharea/doc/*/NEWS.gz) and adding more information on changes
    since beta1

Reviewed-by: ultrotter

Fix gnt-instance man page for replace-disks

This patch documents the new syntax for disk changes with the drbd disk
template.

Reviewed-by: ultrotter

Improve the man pages

This patch does some small fixes to the man pages and adds descriptions
for a few missing options.

Reviewed-by: ultrotter

Soften the requirements for hooks execution

Currently, an unreachable node (or one that return undetermined failure)
in the hooks pre-phase will abort the curren operation. This is not
good, as a down node could prevent many operation on the cluster.

This patch changes a RPC-level failure (and not a hook execution
failure) into a warning. It also modifies the related test cases.

This fixes issue 11.

Reviewed-by: ultrotter

Use new functions to modify /etc/hosts.

Reviewed-by: schreiberal

Add functions to modify /etc/hosts.

Reviewed-by: schreiberal