mapper: Check create_map return during snapshot

mapper: Do not drop cache on close explicitly.

Do not drop on cache on close operation explicitly. Instead, when closing a map,
wait all pending I/O operations and then close map. If this succceeds, the map
is marked as non-Exclusive. The map action codepath will always drop the cache
when a map is marked as non Exclusive.

Merge branch 'feature-new-configfile-rebased' into develop

mapper: Change order when writing map.

When writing a map, change the order in which the map metadata and map data are
written. The map metadata is a small block of bytes while the map data can
consist of larger blocks. By doing so, and by always reading the map in the
reverse order (that is first the metadata and then the data), we can create the
illusion of atomic map creation. A map where the metadata have not been written
yet, it can not be loaded and thus cannot get partial data.

Fix bug in ganeti pre migrate hooks

Check if ganeti node is the primary before attempting to open the volumes.

Fix bug in archipelago premigrate hook

Return 0 if template is not ext, to allow migration of other templates.

Add ganeti pre-migrate hook

Add ganeti pre-migrate hook to ensure that the volume is opened by the current
node, before proceeding with the migration.

Conflicts:
xseg/base.mk

archipelago: Fix typo in lock, open, close vlmc ops

ext_scripts: Fix bug in detach

Fix bug in detach when checking whether volume is already mapped.

ext_scripts: Fix bug in attach

Fix bug in attach when checking whether volume is already mapped.

mapper: Fix bug in reading map version

ci: Fix private network ip retrieval

Archipelago: Fix typo in new conffile

Archipelago: Adjust new conffile

Remove old configuration file parsing functions

Use createDict function to parse the configuration file

Change configuration file format

New configuration file format respects the parsing language provided by
the ConfigParser module

Add posixfd signaling

Merge branch 'feature-fdsignals-dynalloc-rebased' into develop

ci: Change default flavor to cached disk

qa: Adjust tests for dynamic port allocation

tests: Remove test BINDIR

xseg-tool: Adjust it to signal descs

xseg: Fix bug in bind_dynport

When allocating a port which already has a signal descriptor attached to it,
check if is is of the right type. If not, allocate a new one.

vlmc tool: Dynamically allocate xseg port

xseg: Add support for "dynamic" port allocation

Add support to xseg for dynamic port allocation. Arrange for xseg to use a range
of ports as reusable by those who wish to get a random port. Peers do not
actually bind to the port they get, through the normal bind process (except when
a port is first used). Instead they claim a port, another peer has left and
reuse the same structures, signal descriptors, etc.

Remove XSEGLOG when mmap()'ing XSEG segment

XSEGLOG writes messages in stdout resulting in corrupted partition
tables when XSEG is used by snf-image and pithcat

Add posixfd signaling

Merge branch 'feature-cinetwork-rebased' into develop

ci: Add support to attach specific network

Merge branch 'feature-nfsdirect-rebased' into develop

Set directIO in default archipelago conf

filed: Initial dummy approach to directio

segdev: Fix segment mapping to user.

Do not use remap_pfn_range anymore. This causes problems when a peer performs
direct IO with buffer on the segment. Use tha fault vm operation to dynamically
map a page to the userspace peer address space when it tries to access a
specific part of the segment for the first time.

Merge branch 'feature-peer-improvements-rebased' into develop

peer: Add core dumping and backtrace in segfaults

peer: Add support for CPU pinning

Add the "--cpus" CLI option that is a comma-separated list of CPUs on
which threads or a process can be pinned.

archipelago: Add threshold option for peers

peers: Add threshold option on cli.

ext_scripts: Fix cont-addr flag during create

Fix bug, introduced by wrongly merging commits from another branch.

Merge branch 'feature-flush-rebased' into develop

tests: Add tests for vlmcd flush

Archipelago: Add flags on write request

tests: Put requests on multi-request tests

archipelago: Put request on vlmc remove

vlmcd: Complete pending requests after "flushing"

vlmc: Honor flush req by stall until all reqs done

ext_storage: Update Makefile and symlinks

Update Makefile and add new symlinks for new 'snapshot' and 'setinfo'
actions.

ext_storage: Add 'snapshot' and 'setinfo' actions

Extend supported actions with the 'snapshot' action, which is used
to snapshot an existing image. Also add 'setinfo' action as NOP.
Finally, refactor 'ReadEnv' function to return a dictionary instead of a
tuple.

Conflicts:
xseg/tools/ext_scripts/vlmc_wrapper.py

Merge branch 'feature-sosd-fix' into develop

sosd: Remove unnecessary overwrite of objname

In dispatch, we would always overwrite the objname field of rio with the
request's target. Given that the dispatch is always called by the
callback function, this is potentially dangerous behavior.

This commit fixes the above issue.

Add COPYRIGHT file.

Add COPYRIGHT file in the root directory. Also add NEWS and Changelog
placeholders.

Merge branch 'feature-docs-add-apt' into develop

docs: update installation section to include apt

* add section for adding the apt repository
* comment the 'list' command since it's not working yet
* minor fixes

Merge branch 'feature-docs-update' into develop

docs: Update Archipelago images

docs: Update index.rst and archipelago.rst

ci: Change ipv4 for nat VMs to synnefo.org

ci: Adjust "synnefo" url

archipelago: Fix wait request in common.py

ci: Change demo synnefo infrastructure.

docs: Add showmapped vlmc command

docs: Insert synnefo integration image + missing vlmc snapshot

tests: Add extra test in test_copy for filed

filed: Respect req->size for copy requests

Merge branch 'feature-docs' into develop

docs: Add archipelago-{overview, apis} images

docs: Fix some typos

docs: Add initial docs.

Add initial sphinx docs of archipelago. Also add ci script for automatic doc
compiling.

Merge branch 'feature-powerof2' into develop

archipelago: Update conf documentation about nr_ops.

Upate config documentation that a peer nr_ops must be a power of 2.

archipelago: Catch exceptions in argument parsing

archipelago: Set nr_ops = nr_threads for filed

archipelago: Enforce nr_ops as a power of 2 for all peers

filed: Check fd limit against the real cache size

peer: Respect the nr of ops enforced by xq size.

xq: Respect size when allocating and initializing

When allocating and initializing a new xq, respect the xq size limit that the
initialization sets, and do not initialize past that.

filed: Fix custom usage

archipelago conf: Add comments on settings

Install archipelago.conf.rados_example

ci: Insert licence headers

Merge branch 'feature-testingrados' into develop

ci: Add connection to a RADOS cluster

Merge branch 'feature-ci' into develop

archipelago: Fix wrong identation and typos

ci: Do not ping servers on okeanos io

ci: Transfer VM creation to okeanos.io

ci: Add basic functionality test on commit.

Also split unittests to execute each component sepereatly

ci: Reduce logging level to info to cluster.py

ci: Add simple tests.sh

ci: Add cluster management files

Change archipelago default settings

Change archipelago default settings to file blocker. Also provide a working
example for rados blocker

Change location of settings file to /etc/archipelago

Adjust tests to the new Segment class

archipelago: Remove duplicate get_hash_request method

archipelago: Add wrapper function to get segment object

ext_storage: Check for 'pithos:' on create.

vlmc: Add X_HASH operation

archipelago: Declare segment as Class and modify settings

Declare xseg segment as class, and make use of its methods. Also modify config
file check to expect segment parameters instead of one segment spec.

vlmc: Fix get_vlmc_port for all operations

archipelago: Add spec config when creating segment