Add a custom str() method for objects.Disk

This is done in order to easy debugging of disk-related issues.

Reviewed-by: imsnah

Modify two mirror-device related rpc calls

The two calls mirror_addchild and mirror_removechild take only one child
for addition/removal. While this is enough for our md usage, for local
disk replacement in drbd8, we need to be able to specify both the data
and metadata device. This patch modifies these two rpc calls (and their
backend implementation and their usage in cmdlib) to take a list of
children to add/remove.

Reviewed-by: imsnah

Initial implementation of drbd8 template type

This is a partially working drbd8 template type. It does:
  - add/remove
  - startup/failover/shutdown

Not working is replace disks, which needs custom code for this template.

Reviewed-by: imsnah

Allow DRBD8 to sync after sb1-pri with no changes

Currently the way we shutdown or startup disks seems to make DRBD8
unhappy. Until we rewrite the sequence of (de)activation, allow DRBD to
connect after a sb1-pri condition with no changes to the data.

Reviewed-by: imsnah

Fix a disk handling bug triggered by failover

This leaves an instance's disks configured for the primary node as after
disk activation we want to start the instance anyway. As such,
_GatherBlockDevs in backend.py will need the disks configured for the
primary.

Reviewed-by: imsnah

Add DRBD8 class for handling drbd version 8.x

This duplicates some code from the DRBDev class, but not very much, and
it will be expanded with the new functionality available for the 8.x
version. Currently the code is not accessible outside the module.

This patch introduces a dependency on the pyparsing module.

Reviewed-by: imsnah

Move/rename _IsValidMeta to base drbd class

The DRBDev._IsValidMeta only checks for the metadata device size. Since
this is a useful check (but not complete) for DRBD8, move it to the base
class and name it _CheckMetaSize.

Reviewed-by: imsnah

More abstractions from DRBD7 to base class

This moves the _SetFromMinor and _MassageProcData to the base class.

Reviewed-by: imsnah

Improve out-of-minors handling

Currently, the out-of-minors handling is not very good: though both MD
and DRBD functions for finding an unused minor can return None, only the
DRBD code checks for this case.

This patch improves this by making the functions _FindUnusedMinor raise
an error instead of None, and gets rid of the one manual check for the
return value.

Reviewed-by: imsnah

Move some methods from DRBDev to BaseDRBD

Since some of the methods and constants are valid for both 0.7 and 8.x
versions, we move them to the base class.

Reviewed-by: imsnah

Some tiny style fixes

Reviewed-by: imsnah

Split some DRBD functionality based on versions

This is a small split of some functionality from the DRBDev class into a
base drbd class that holds just a few things, in order to make migration
to drbd 8.x easier.

Reviewed-by: imsnah

Abstract more strings values into constants

Currently, the disk types are defined using constants in the code.
Convert those into constants so that we can easily find them and check
their usage.

Note that we don't rename the values of the constants as they are used
in the configuration file, and as such it's best to leave them as they
are.

Reviewed-by: imsnah

Implement disk failure QA test.

Testing failure on the primary node is currently disabled due to drbd problems.

Reviewed-by: iustinp

Patch series for reboot feature, part 3

This patch series implements the reboot command for gnt-instance. It
supports three types of reboot: soft (hypervisor reboot), hard (instance
config rebuild and reboot) and full (full instance shutdown and startup
again).

This patch contains the gnt-instance script and the man page for it.

Reviewed-by: iustinp

Patch series for reboot feature, part 2

This patch series implements the reboot command for gnt-instance. It
supports three types of reboot: soft (hypervisor reboot), hard (instance
config rebuild and reboot) and full (full instance shutdown and startup
again).

This patch contains the opcode and lu part.

Reviewed-by: iustinp

Patch series for reboot feature, part 1

This patch series implements the reboot command for gnt-instance. It
supports three types of reboot: soft (hypervisor reboot), hard (instance
config rebuild and reboot) and full (full instance shutdown and startup
again).

This patch contains the backend and rpc part of the patch.

Reviewed-by: iustinp

Fix unit tests for hooks.

Reviewed-by: imsnah

Make “gnt-cluster verify” exit 0 if there's no problem with instances.

Reviewed-by: schreiberal

tiny typing fixup

Reviewed-by: imsnah

Add the number of VCPUs in gnt-instance info

Reviewed-by: imsnah

Allow force removal of instances

This patch adds a new option to the instance removal command
"--ignore-failures" that forces the removal of the instance from the
configuration even if the removal process encounters errors.

In order to be able to do this when the remote node(s) is(are) down, we
need to restrict the execution of the instance removal hook to the
master only. I think this is a reasonable trade-off (but I'm not sure).

Reviewed-by: imsnah

Replace more ssh paths with proper constants

The node's ssh keys filenames are now provided as constants; this should
allow easier customization.

Also, the user's ssh key computing has been abstracted into ssh.py

Reviewed-by: imsnah

Trivial typing fixups.

Reviewed-by: iustinp

Fix node daemon log file permissions

The creation of the log file for the node daemon lacks the mode
parameter, so after applying the current umask, the file got 0700
permissions. Restrict this to the correct 0600.

Reviewed-by: schreiberal

Do QA tests on “gnt-os“, including partially valid OSes.

Reviewed-by: iustinp

Don't take unused parameter in qa_utils.py:Print{Info,Error}.

Reviewed-by: iustinp

Make “gnt-os diagnose” exit 1 if not all OSes are valid.

Reviewed-by: iustinp

Small wording changes and fix checks.

Reviewed-by: iustinp

Remove some hardcoded names/paths from backend.py

This patch does the following:
  - add constants.GANETI_RUNAS = "root", which is used to compute
    the homedir (and thus the .ssh directory) instead of hardcoding
    "/root/.ssh" in backend.AddNode and backend.LeaveCluster
  - add constants.SSH_CONFIG_DIR (currently hardcoded to /etc/ssh) that
    is used in backend instead of hardcoding it (preparation for
    selecting that at ./configure time)
  - some more internal cleanup in backend.AddNode

Reviewed-by: imsnah

Test “gnt-node evacuate” and “gnt-node failover” in QA.

Reviewed-by: schreiberal

Add a generic write file function

Currently there are a few version of "write a file safely" in the code.
This patch adds a generic function that should be able to replace all
the other versions.

The "take attributes from the target file" option, while useful, is not
implemented by this patch.

Reviewed-by: imsnah,ultrotter

Do not walk the whole DATA_DIR on node leave

Since we remove only files from DATA_DIR and not from subdirectories,
let's not walk the entire tree, a simple listdir suffices. Also switch
to utils.RemoveFile from simple os.unlink.

Reviewed-by: imsnah

Enhance GetHomeDir to accept either names or UIDs

Currently GetHomeDir accepts UIDs only. Enhance it to accept either a
user name or a user id, to allow for nicer usage.

Reviewed-by: imsnah

Reorder gnt-os simplify _GetAllOS and call it _DiagnoseByOS

Put some order in gnt-os putting helper functions above and command functions
below. Also add a new _DiagnoseOSName() function and use it to make _GetAllOS
simplier to understand. Change its name to _DiagnoseByOS which makes more clear
what it does.

Reviewed-by: iustinp

Fix ListOS which was broken

To do this we abstract the creation of the all_os dictionary, which was
produced in DiagnoseOS and use it both for listing and diagnosing.

Reviewed-by: iustinp

Some small improvements to the hooks environment

For the configuration update hook, it's useful to have a consistent name
for the target of the operation. As such, the LU code is modified to
include an GANETI_OP_TARGET that points either to the cluster (name),
node name or instance name depending on the opcode.

Also, the NoHooksLU is modified such that its build env method returns
an empty (but conformant) result. This should improve things in case by
mistake this class' BuildHooksEnv is called.

Reviewed-by: imsnah

Implement post-configuration-update hook

This patch adds a special hook: the post-configuration update hook. This
hook has only a post phase that runs after a top-level LU that modified
the configuration.

Since the hook is a post-phase one, no error checking is done on the
results. The hook runs only on the master.

Reviewed-by: imsnah

Split the hooks env building in two parts

This patch moves some of the environment processing from _BuildEnv to a
new _RunWrapper command which does the stringification and adds the
sstore variables.

The reasoning is that the sstore can be fresher than before the
execution (e.g.  in case of cluster init).

In order to support thise, we also need to modify cmdlib.LUInitCluster:
  - memorize the sstore and cfgw newly created in the Exec function
  - no need to build the custom environment in the BuildHooks

Move hook execution decision to HooksMaster

Currently, the HooksMaster creation and execution decision is in the
Processor class. This is not optimal, so we change to always create a
hooks master and instead make the decision inside that class, by
creating empty node lists for both pre and post if the lu doesn't
support hooks. This way, hooks decisions are moved to HooksMaster (where
they belong).

Reviewed-by: imsnah

Remove cfg and sstore parameters to HooksMaster

The HooksMaster class doesn't use the cfg parameter, and it's better to
use it from the LU anyway (if needed). Let's remove it.

Also, the sstore of the LU can be fresher than the sstore we got at init
time, so use that instead and remove our own.

Reviewed-by: imsnah

Enable the ConfigWriter to keep track of updates

This allows external callers to determine if the configuration has been
changed.

Reviewed-by: imsnah

Docstring correction

Reviewed-by: iustinp

Infrastructure for detailed instance restarts, part one

The beginning of the infrastructure for detailed instance restarts. Does
not affect behaviour if code yet.

Reviewed-by: iustinp

Use the kernel's ability to generate UUIDs.

This removes the dependency on either the uuid module or e2fsprogs' uuidgen.

Reviewed-by: iustinp

Add small function to read the homedir of a user

This can be used to replace hardcoded "/root/" paths.

Reviewed-by: imsnah

Remove fping as a dependency for Ganeti.

This patch completely  gets rid of fping
 - replace all fping invocations with TcpPing calls
 - update documentation accordingly.
 - associated cleanups (use constant for localhost IP, use more sensible
   defaults for TcpPing and _use_ those)

Reviewed-by: iustinp

Colours and warnings.

- Implement colours in qa_utils.
- Print warning for cron script.

Reviewed-by: iustinp

Some small fixes to utils.GenerateTable

This adds:
  - fix the case when a dumb caller didn't stringify its values
  - explicitly raise a ProgrammerError in case a field is missing from
    the headers dictionary

Reviewed-by: imsnah

Fix AskUser to not die on extra input

Currently, AskUser dies with -ESPIPE if the user gives more than one
character plus newline. This is because the python library, while
returning only two chars from the readline(2) call, will cache the rest
of the input, and when we do a write, it will try to seek back to just
after the last returned char. This fails on /dev/tty, so an exception is
raised. However, then opening the file descriptor in O_APPEND mode,
python will not issue such seeks, thereby fixing this problem.

The other alternative, opening in unbuffered mode, is not as good, since
then python will issue one-byte reads at a time, but the tty will read
the entire line, so at the next readline call, whatever remained in the
descriptor buffer is returned from the kernel to python, and the user
doesn't get a chance to enter something at all.

Reviewed-by: imsnah

Exit ganeti-watcher cleanly when there's no configuration.

Reviewed-by: iustinp

Implement gnt-node evacuate

This patch adds a new 'evacuate' subcommand to gnt-node. The command
will do a replace disks for all instances having that node as secondary
with the new target being the new node given.

The syntax is:
  gnt-node evacuate src_node target_node

The command by itself doesn't do any resource checks, and instead relies
on the LUFailoverInstance code to do that.

Reviewed-by: imsnah

Make Xen DomU kernel and initrd configurable at build time.

Reviewed-by: iustinp

Add preliminary developer notes.

Reviewed-by: iustinp

Remove the shebang from modules

Since modules are not directly executables, remove the shebang from
them. This helps with lintian warnings.

Also make the autogenerated _autoconf.py contain two comment lines at
the beginning, like the other modules.

Reviewed-by: ultrotter

Detect node restarts and reactivate disks.

- Change format of watcher state file to JSON.
- Move log path for watcher script to constants.py.

Reviewed-by: iustinp

Implement node failover

This patch implements a simple failover command for failing over all
primary instances. This is just a batched form of gnt-instance failover.

Reviewed-by: imsnah

Do not install init script in PREFIX/bin.

Reviewed-by: ultrotter

Refactor DiagnoseOS

The new version debugs Hidden OSes as well.

Reviewed-by: iustinp

Fix a wrong exception name

This was introduced in rev 208.

Reviewed-by: imsnah

Separate error formatting out of cli.GenericMain

This patch moves the error formatting into a separate function that will
be exported so that scripts that execute multiple opcodes can create the
same output as for GenericMain. Also, GenericMain becomes more readable.

Reviewed-by: imsnah

Revert a debugging 'raise' from rev 195

As far as I understand, this was just a debugging aid. Remove it so that
configuration errors are nicely handled.

Reviewed-by: imsnah

Enhance cli.SubmitOpcode to use custom parameters

This patch allows the SubmitOpcode function to take a pre-created
Processor instance and a different feedback function. This is helpful
when submitting more than one opcode from a shell script.

Reviewed-by: imsnah

Add boot id to “gnt-node list”.

Reviewed-by: iustinp

Add handler for errors.TagError

This patch adds a simple handler for TagError that prints the error
(better than having a stack dump).

Reviewed-by: imsnah

Add source file option for {add,remove}-tags

This patch adds a '--from' option to the {add,remove}-tags commands that
allows the command to read from a file or from stdin (when passing a
dash for the filename).

Reviewed-by: imsnah

Update man pages for the tags operations

This adds documentation on the {list,add,remove}-tags commands to the
gnt-{cluster,node,instance} man pages.

Reviewed-by: imsnah

Change gnt-cluster.sgml to use refsect2

This brings this man page in conformity to gnt-node and (partially) to
gnt-instance.

Reviewed-by: imsnah

Implement command-line tags support

This patch adds generic functions for tag manipulations to cli.py and
modifies gnt-{cluster,node,instance} to export {list,add,remove}-tags
commands that use those.

Reviewed-by: imsnah

Change tags add/remove to process multiple tags

This patch changes the tags opcodes to work with multiple tags at once
instead of only one. As such, the opcodes and some parameters are
renamed.

Reviewed-by: imsnah

Fix super() calls for objects.Cluster

Reviewed-by: imsnah

Fix tags operations for instances

Reviewed-by: imsnah

Extend GenericMain with a way to override options

This allows scripts to pass options to generic functions (options that
are not visible in the command line).

Reviewed-by: imsnah

Don't remove Makefile.in when doing maintainer-clean.

Reviewed-by: iustinp

Use indenting if supported by simplejson.

Reviewed-by: iustinp

Fix “make distcheck”.

- Move symlink to “ganeti” to top dir
- Add ganeti.config_unittest.py to tests to be run
- Make sure everything is built before tests are run

Reviewed-by: iustinp

Add function to list files in a directory, excluding those beginning with a
dot.

Reviewed-by: iustinp

Remove redundant check.

This isdir() check leads to a broken error message. Even fixing it creates some
cases in which the error message is nebulous and unclear while removing it
makes this situation be dealt with a lot better by the _OSOndiskVersion checks.

Reviewed-by: iustinp

Forgotten files from last commit, NEWS and Makefile.am.

Reviewed-by: iustinp, ultrotter

Ship (and display) path for InvalidOS errors too.

- Document the expected change to errors.InvalidOS
- Always pass the additional argument
- Modify DiagnoseOS output to show the path

Reviewed-by: iustinp, imsnah

Change configuration storage format from Pickle to JSON.

- Add NEWS file with major changes between versions.
- Bump RPC version number
- No longer serialize in RPC, but just convert to dict

Old Pickle based configuration files can be converted using the cfgupgrade
utility.

Reviewed-by: iustinp, ultrotter

Fix OS Diagnose in light of the new OS Search path (Part One).

As of now only the last OS was taken into consideration by diagnose, fix by
storing them all and displaying for now only the first. Also display the source
path for valid OSes.

Reviewed-by: imsnah

Second part of the OS search path cleanup

Abstract the _OSSearch function, to look for an OS in the search path
Make OSFromDisk accept an optional base_dir, rather than the os_dir itself

Reviewed-by: iustinp

Make parameter os_dir mandatory for _OSOndiskversion.

First part of the OS search path cleanup. _OSOndiskversion is only ever called
once, and with that argument set, so let's make it mandatory.

Reviewed-by: iustinp

Add warning on gnt-node add operation.

People might not have read all the documentation and might not expect their ssh configuration
and specially keys to be changed. Adding this warning will inform them before it happens.

Reviewed-by: iustinp

Print automake warnings.

Reviewed-by: ultrotter

Import utils into unittest.

Reviewed-by: schreiberal

Change constants.OS_DIR with constants.OS_SEARCH_PATH which includes all the
directories which can contain OS scripts.

The list defaults to the current one but can be changed at configure time.

Reviewed-by: imsnah

Make the default export path configurable.

This is needed to improve FHS compliance for distribution integration.
The need was discussed on the alioth pkg-ganeti project.

Reviewed-by: imsnah

Prevent race condition in CreateBackup().

Reviewed-by: ultrotter

Add more QA tests.

Added tests:
- “gnt-cluster getmaster”
- “gnt-cluster version”
- “gnt-instance list”
- “gnt-instance reinstall”

Reviewed-by: schreiberal

Specify in the helpstring that --with-ssh-initscripts expects an argument

Reviewed-by: imsnah

Pass required ip_check parameter to OpCreateInstance in gnt-backup.

Reviewed-by: ultrotter

Enhance QA.

- Test “gnt-backup export” and “gnt-backup import”.
- Move “ResolveInstanceName” to qa_utils.py.
- Fix tests for “ganeti-watcher”.
- Make instance shutdown and startup configurable.

Reviewed-by: schreiberal

Integrate Leonardo's LSB init script patch

Reviewed-By: imsnah

Rename constants for SSH init script by Iustin's request.

Reviewed-by: iustinp

Ignore man/*.in.

Reviewed-by: ultrotter

Add configure option for init.d/ssh script. This is useful for distributions
with the script named differently than Debian.

Reviewed-by: ultrotter

Remove mkdir from man/Makefile.am because mktemp creates the directory before.

Thanks to Christoph Rauch for reporting the problem.

Reviewed-By: iustinp

Replace paths in ganeti-watcher.sgml.

Reviewed-by: iustinp