- Don't build .tar.bz2, we only distribute .tar.gz anyway.
- Clean generated files on “make maintainer-clean”.
- Build _autoconf.py and ganeti.initd on “make all”.

Reviewed-by: iustinp

Make import/export use the auxiliary ssh library to build the remote commands.

This avoids forgetting some parameters, as it's happening right now
(the correct known host file is not being passed)

In order to do so we split SSHCall into an auxiliary BuildSSHCmd which builds
the command but doesn't actually call it, and SSHCall itself which runs RunCmd
on top of BuildSSHCmd's result. BuildSSHCmd is then explicitely called by
import/export who has to build a more complex command to be run later.

Fix two errors in man page

Add function to get all local IP addresses, will be used in cmdlib.py.

Reviewed-by: schreiberal

Use configure's paths in the init script example.

Reviewed-by: schreiberal

Now that we use configure's variables, add --sysconfdir to configure.

Reviewed-by: ultrotter

Use _autoconf.py instead of version.py, generated by Makefile with more
variables. The underline is there to mark it as a private module.

Reviewed-by: iustinp

Combine rules for manpages.

Reviewed-by: iustinp

Use DESTDIR when creating additional directories.

Reviewed-by: iustinp

- Generic automake cleanup
- Bump version number to 1.2b2
- Add version.py file generated from version.py.in by autoconf

Reviewed-by: schreiberal

- Add Makefile in doc/examples/

- Rename docs/ to doc/
- Add Makefile in doc/examples/

Reviewed-by: schreiberal

Switch utils.RunCmd from popen2 to subprocess

This changes the implementation of RunCmd from using the popen2 module
to using the (new in 2.4) subprocess module.

This is helpful because the subprocess module has more advanced features
than popen2, the most important ones being the ability to run code in the
child process before the exec and ability to launch with modified
environment.

Reviewed-by: imsnah

Add a small unittext extension for utils.RunCmd

Reviewed-by: imsnah

Test “gnt-node volumes”.

Reviewed-by: iustinp

Add note about Debian default dbrd.conf

Debian's default drbd configuration has some enabled directives, which make the
init script throw errors. Document how to disable the defaults and thus get rid
of the errors.

Reviewed-by: imsnah

Bump up version to beta1

Fix capitalization.

Reviewed-by: iustinp

Fix some spelling mistakes

Add note about lvm.conf tuning

Reviewed-by: imsnah

Pass --os-size and --swap-size to burnin during QA.

Reviewed-by: iustinp

Fix the path in the example cron file

Reviewed-by: imsnah

Fix a typo in install.sgml

Reviewed-By: iustinp

Add information about the recommended Xen settings

Reviewed-by: imsnah

Fix mdadm -D output compatibility issues.

Also add some debugging output.

- Check for secondary node before doing a failover.
- Replace magic values by constants.

Reviewed-by: iustinp

Add a safety check to the backend.AddOSToInstance

This changes a ';' to '&&' to make sure we run the create script from
the correct directory.

Reviewed-by: imsnah

Add one more check on cluster init.

This adds a check that the initial node's IP name doesn't resolve to a
loopback address (127.x.y.z).

Also remove an unused variable.

Reviewed-by: imsnah

More updates to the installation tutorial.

Changes:
  - add note about installing the cron job
  - add an example cron job file and modify top-level Makefile.am to put
    it into the archive
  - modify the tutorial with information about setting a reasonable
    number of minors for DRBD
  - add note about installing on 32-bit the xen libc

Reviewed-by: imsnah

Add note about manually loading the drbd module

Add note about running the Xen kernel before compiling DRBD

Add mdadm to the debian example

Reviewed-by: roman.marxer

Add more details about hostname issues

Fix the manpage gnt-instance w.r.t. units

The manpage wrongly states that the default unit for disk sizes is
gibibytes, whereas currently it's mebibytes. Fix that and also update
the '--help' output to display the default unit.

Reviewed-by: roman.marxer

Document kernel selection method

This changelist add:
  - documentation on how to select the kernel and initrd (if needed) for
    instances
  - support in hypervisor.py for the initrd
  - adds note about internet-connectivity and debootstrap requirements
    for the minimal etch os
  - documentation on the miminum xenvg size

Reviewed-by: roman.marxer,ultrotter

New version of install.sgml

This adds more examples and clarifies the existing ones.

Reviewed-by: roman.marxer

Refuse nodes with non-FQDN hostnames.

This changes the cluster init and node join to refuse a node that has a
different hostname than what the resolver returns.

Reviewed-by: imsnah

Docbook-relate changes on admin.sgml

This changes a lot of docbook-related stuff and addresses a few consistency
issues.

Reviewed-by: vylavera

Cleanup of the installation tutorial.

This fixes some consistency issues.

Reviewed-by: vylavera

Fix compatibility problems with mdadm-2.5.6

This fixes a compatibility problem with recent mdadm (2.x?) by
reimplementing the zero-ing of the superblocks in ganeti itself.

Reviewed-by: imsnah

Changed INSTALL to point to the tutorial and admin guide.

Implement argument for known_hosts file.

Reviewed-by: iustinp

Set SSH's ClearAllForwardings and ForwardAgent options.

Reviewed-by: iustinp

- Test “gnt-cluster copyfile”
- Run “gnt-cluster verify” and “gnt-cluster info” after adding all nodes
- Remove unused --cleanup option
- Remove --verbose option and always print executed SSH commands

Reviewed-by: iustinp

Rework ssh known-hosts handling.

This changes:
  - cluster setup, we no longer edit /etc/ssh/ssh_known_hosts but our
    own file
  - node add, we no longer remove root's known_hosts (twice)
  - gnt-instance console, both the LU and the script: since now the ssh
    setup is not standard, we need to build the ssh cmdline in the LU
    (instead of manually building it in the script) with the correct
    parameters and use the command line as returned in the script
  - ssh.py, many changes, split options in module-level constants so
    that building the command line in different places is easier/more
    logical
  - backend.py, we no longer remove root's known_hosts in Add node, and
    we allow our own known_hosts file to be uploaded

Reviewed-by: imsnah

Improve LURunClusterCommand

This function used a hand-coded ssh call to remote nodes. Fix it to use the
ssh.SSHCall function, and in the process drop the command field from the
results, as it's too verbose and we can use (in gnt-cluster) what we passed in.

Reviewed-by: schreiberal

Fix one wrong usage of _GetWantedNodes

_GetWantedNodes is used wrongly by the LUClusterCopyFile. This fixes that.

Reviewed-by: imsnah

Fix typo.

Reviewed-by: iustin

Rename installing.sgml to install.sgml

This is more in line with the other document names.

Also, change the title to simply "Ganeti installation tutorial".

Reviewed-by: ultrotter

Add information about installing from source.

In case one installs from source, make, tar and gzip are also needed. tar and
gzip are almost always installed, but make not, so let's add a note about that.

Also remove a '>' in the apt-get install example so copy-paste works.

Reviewed-by: imsnah

Disable hashing of the ssh keys.

In case we use StrictHostKeyChecking=ask, also add HashKnownHosts=no so that
debugging is easier. The nodes to which we are connecting are anyway visible in
/etc/ssh/ssh_known_hosts.

Add support for listing instance disk sizes.

Reviewed-by: imsnah

A CheckPrereq method had one unconverted "return 1" statement. Change it to the
appropriate raise.

Reviewed-by: imsnah

Add ganeti-master to sbin_SCRIPTS

This was forgotten when the init script was changed.

Reviewed-by: imsnah

Change cli.OutputTable to cli.GenerateTable

Since the table generation might be useful elsewhere, let's change it to
return the data instead of directly printing it.

Its callers have also been updated.

Reviewed-by: imsnah

Another documentation update.

This removes the section on packages from installing.sgml (until we have
packages) and adds/corrects informations about using the startup script.

It also adds notes about the ``--master-netdev`` option, which one needs
to use if the node doesn't have an interface named xen-br0 (or if it's
not the interface wanted for external access).

Some small fixes.

It fixes the main Makefile.am to create $localstatedir/{lib,log}/ganeti.
It fixes the testing Makefile.am after the rename fake_config.py ->
mocks.py.  It strips the output of "ip link show" to have a nicer output
if the master netdev does not exist.

Documentation updates.

This changes installing.sgml, adding details about required software and
OS instances. It also updates INSTALL and README to correspond with the
sgml manual.

Reviewed-by: ultrotter

Some changes to the installation manual.

The biggest change is that at configure time one must specify
--localstatedir=/var since the directories for ganeti (/var/log/ganeti,
/var/lib/ganeti) must be located here.

Reviewed-by: ultrotter

Style changes for pep-8 and python-3000 compliance.

This changes the raising of exceptions from:
  raise Exception, value
to
  raise Exception(value)

as the first form will be removed in python-3000 and the second form is
preferred now.

The changes also involve a few cases of changing from raising standard
exceptions and use our own ones.

The new version also fixes many pylint-generated warnings, especially in
ganeti-noded where I changed many methods to @staticmethod.

There is no functionality changed (barring any bugs).

Implement tag support for cluster, nodes and instances.

This is only the backend part, from the command line the tags can't be
read/modified yet.

Reviewed-by: imsnah

Don't bail out if node isn't there on “gnt-node volumes”.

Reviewed-by: iustinp

Prepare for the tags implementation:
  - add an Update method on the ConfigWriter class;
  - make the AddInstance method not log disks for diskless types (helps with testing)
  - implement limited testing for the ConfigWriter with focus on the new Update method

Import constants into gnt-cluster.

Reviewed-by: iustinp

Re-stat the config file when we write it so that the next _OpenConfig()
won't reread it if not modified by someone else.

Add instance name to LVM volume as a tag.

Reviewed-by: iustinp

Implement a standard way of getting the cluster object from the
configuration.

Reviewed-by: imsnah

Change logival volume names to not be based on the instance's name, but
instead use an UUID prefix and a suffix denoting the disk iv_name
(sda/sdb) and possibly it's type (data/meta).

Reviewed-by: imsnah

Put synchronization speed into constant.

Reviewed-by: iustinp

- Check for docbook2man and print warning if it's not there
- Cleanup

Reviewed-by: iustinp

Update svn:ignore.

Reviewed-by: iustinp

Add disk template information to the admin manual
Add warning about avoiding xm commands for instance creation
Also fix a man page reference in installing.sgml to use the docbook format

Reviewed-By: iustinp

Implement --dry-run for cfgupgrade.

Reviewed-by: iustinp

Put default bridge into constant.

Reviewed-by: iustinp

Add configuration upgrade utility.

Reviewed-by: iustinp

Implement __setitem__ for ConfigObject to add container protocol compatibility.

Add the ganeti admin manual
Refer to the glossary from the installing guide

Reviewed-By: iustinp

Fix a function's doc string

Reviewed-By: iustinp

Ganeti installation tutorial

Reviewed-By: iustinp, imsnah

Fix issues reported by pylint.

Reviewed-by: iustinp

Use OutputTable for “gnt-os list”.

Reviewed-by: iustinp

Unify environment variables for instance related hooks.

Reviewed-by: iustinp

Check for instances on “gnt-cluster destroy”.

Reviewed-by: iustinp

Remove defectiv comma.

Reviewed-by: iustinp

- Implement “gnt-instance reinstall --os-type=…”
- Add the command to gnt-instance.sgml

Reviewed-by: iustinp

Fix the "gnt-cluster getmaster" command by making the LuQueryClusterInfo
runnable on non-master nodes (and remove the list of instances and nodes
returned by it, that information can be retrieved by other opcodes).

Also, remove the node/instance list from "gnt-cluster info" as it
doesn't make sense to duplicate this information.

Reviewed-by: imsnah

Move the cluster name from ConfigWriter to SimpleStore.

Reason: if left ConfigWriter, nodes don't know to which cluster they belong.
This will bite us later when we'll revisit node join operation.

Cons: we lose the cluster name from the config file, which means a
standalone "cluster.data" is a little bit harder to analyze. But I have
a plan for this which will follow shortly.

Implementing this will also allow us to cleanly fix "gnt-cluster
getmaster".

Reviewed-by: imsnah

- Move --force option to cli.py
- Implement “gnt-instance reinstall”
- Fix two typos

Reviewed-by: iustinp

Don't pass master_node

Reviewed-by: iustinp

Comment formatting updates.

Reviewed-by: iustinp

The master_node is no longer stored in the config file (but in sstore)
and all users have been converted, let's remove it from the slots of the
cluster object.

Also let's move the tcpudp_port_pool to the cluster object.

Reviewed-by: imsnah

Get ports from configuration if there are some.

Reviewed-by: iustinp

It seems the _CheckNodesDirs function is no longer used. Let's remove it.

Since the watcher can run on all nodes, let's get rid of the cron file
handling, as it can be static and outside of ganeti.

This also means we can get rid of a lot of infrastructure too:
  - the master/node config files checkers
  - one rpc function

Update for the new tests.

- Use new --master-netdev parameter on gnt-cluster init
- Split up info tests and add more of them
- Replace map() by [x for x in y]

Reviewed-by: iustinp

Implement “cd /” and “cd” to get to the root directory.

Reviewed-by: iustinp

Make the ganeti-watcher exit gracefully if it's not run on the 

Reviewed-by: imsnah

Add description, fix indentation.

Reviewed-by: iustinp

Fix parameter formatting.

Reviewed-by: iustinp