peer: Add core dumping and backtrace in segfaults

peer: Add support for CPU pinning

Add the "--cpus" CLI option that is a comma-separated list of CPUs on
which threads or a process can be pinned.

archipelago: Add threshold option for peers

peers: Add threshold option on cli.

ext_scripts: Fix cont-addr flag during create

Fix bug, introduced by wrongly merging commits from another branch.

Merge branch 'feature-flush-rebased' into develop

tests: Add tests for vlmcd flush

Archipelago: Add flags on write request

tests: Put requests on multi-request tests

archipelago: Put request on vlmc remove

vlmcd: Complete pending requests after "flushing"

vlmc: Honor flush req by stall until all reqs done

ext_storage: Update Makefile and symlinks

Update Makefile and add new symlinks for new 'snapshot' and 'setinfo'
actions.

ext_storage: Add 'snapshot' and 'setinfo' actions

Extend supported actions with the 'snapshot' action, which is used
to snapshot an existing image. Also add 'setinfo' action as NOP.
Finally, refactor 'ReadEnv' function to return a dictionary instead of a
tuple.

Conflicts:
xseg/tools/ext_scripts/vlmc_wrapper.py

Merge branch 'feature-sosd-fix' into develop

sosd: Remove unnecessary overwrite of objname

In dispatch, we would always overwrite the objname field of rio with the
request's target. Given that the dispatch is always called by the
callback function, this is potentially dangerous behavior.

This commit fixes the above issue.

Add COPYRIGHT file.

Add COPYRIGHT file in the root directory. Also add NEWS and Changelog
placeholders.

Merge branch 'feature-docs-add-apt' into develop

docs: update installation section to include apt

* add section for adding the apt repository
* comment the 'list' command since it's not working yet
* minor fixes

Merge branch 'feature-docs-update' into develop

docs: Update Archipelago images

docs: Update index.rst and archipelago.rst

ci: Change ipv4 for nat VMs to synnefo.org

ci: Adjust "synnefo" url

archipelago: Fix wait request in common.py

ci: Change demo synnefo infrastructure.

docs: Add showmapped vlmc command

docs: Insert synnefo integration image + missing vlmc snapshot

tests: Add extra test in test_copy for filed

filed: Respect req->size for copy requests

Merge branch 'feature-docs' into develop

docs: Add archipelago-{overview, apis} images

docs: Fix some typos

docs: Add initial docs.

Add initial sphinx docs of archipelago. Also add ci script for automatic doc
compiling.

Merge branch 'feature-powerof2' into develop

archipelago: Update conf documentation about nr_ops.

Upate config documentation that a peer nr_ops must be a power of 2.

archipelago: Catch exceptions in argument parsing

archipelago: Set nr_ops = nr_threads for filed

archipelago: Enforce nr_ops as a power of 2 for all peers

filed: Check fd limit against the real cache size

peer: Respect the nr of ops enforced by xq size.

xq: Respect size when allocating and initializing

When allocating and initializing a new xq, respect the xq size limit that the
initialization sets, and do not initialize past that.

filed: Fix custom usage

archipelago conf: Add comments on settings

Install archipelago.conf.rados_example

ci: Insert licence headers

Merge branch 'feature-testingrados' into develop

ci: Add connection to a RADOS cluster

Merge branch 'feature-ci' into develop

archipelago: Fix wrong identation and typos

ci: Do not ping servers on okeanos io

ci: Transfer VM creation to okeanos.io

ci: Add basic functionality test on commit.

Also split unittests to execute each component sepereatly

ci: Reduce logging level to info to cluster.py

ci: Add simple tests.sh

ci: Add cluster management files

Change archipelago default settings

Change archipelago default settings to file blocker. Also provide a working
example for rados blocker

Change location of settings file to /etc/archipelago

Adjust tests to the new Segment class

archipelago: Remove duplicate get_hash_request method

archipelago: Add wrapper function to get segment object

ext_storage: Check for 'pithos:' on create.

vlmc: Add X_HASH operation

archipelago: Declare segment as Class and modify settings

Declare xseg segment as class, and make use of its methods. Also modify config
file check to expect segment parameters instead of one segment spec.

vlmc: Fix get_vlmc_port for all operations

archipelago: Add spec config when creating segment

archipelago: Fix tabs in python modules

Merge branch 'feature-bench-improvements-rebased2' into develop

bench: Create separate option for progress type

Progress type option is now decoupled from the progress option. This
paves the way for silent progress reports.

bench: Break usage message in sections

bench: Turn ping off by default

bench: Break large source file into smaller files

The bench-utils.c file started to have utilities that could stand
semantically under a separate category. Namely, verification is now at
bench-verify.c and progress report under bench-report.c.

Merge branch 'feature-vlmcmap' into develop

vlmc: Do not map an already mounted volume

Merge branch 'feature-vlmcmultipleports' into develop

archipelago: Fix concurrent vlmc ops

archipelago: Add support for nested locking

archipelago: Add support for concurrent vlmc ops

Merge branch 'feature-bench-improvements-rebased2' into develop

bench: Introduce new progress report and intervals

This commit renews the progress report that bench has by allowing to
report bandwidth results during benchmark.

Also, an additional functionality is that of report intervals. Report
intervals allow the user to choose exactly when progress report will be
printed.

Both of these features are documented extensively in the usage section.

bench: Track elapsed time for each timer

Also, create two functions timespecsub() and timespecadd() that can
subtract and add two timespec structs.

bench: Handle progress report better

Pave the way to include bandwidth/IOPS results during progress report

bench: Add --objname option

The --objname option allows the user to define the name of the target.
This implies that for the duration of the benchmark, a sole object will
be used. This also comes along with a set of restrictions, that are
throughly explained in the help message

bench: Fix segfault while freeing resources

bench: Add --prefix option

The --prefix option allows the user to choose whatever prefix he/she
wants for the object names that will be generated.

This commit also cleans code that has to do with seeding and creating
object names. It also paves the way for the --objname option.

bench: Fix minor validation issue

bench: Ping target peer before starting timers

In some cases, the target peer may take some time before it finishes
with its initializations. Since we don't want to measure this idle time,
we send a ping request first and can start start the benchmark after we
receive an ACK.

NOTE: This behaviour can be switched off with the "--ping no" option.

bench: Remove dead code

bench: Improve benchmark results

Changes include:

* Show the average request latency when run with insanity "eccentric"
* Don't show bandwidth results for info/delete requests

bench: Remove dead code

bench: Fix an LFSR init issue and minor comments

If bench is requested to issue only one request, the LFSR initialization
fails. Since LFSR is not needed in this case, we simply switch to
sequential pattern for this request.

bench: Remove unnecessary malloc

bench: Improve benchmark results

Changes include:

* Show the average request latency when run with insanity "eccentric"
* Don't show bandwidth results for info/delete requests

bench: Minor correction on seed validation

bench: Fix data verification

Current situation: In full verification mode, each number written across
a data chunk has 64 bits length, yet, due to a wrong LFSR
initialization, only 31 bits are utilized.

Implement a 63/64 bits utilization.

Merge branch 'feature-snapshot' into develop

vlmc: add cont_addr option in snapshot command

python Makefile: replace zero-length array with pointer

Replace zero-length array with pointer for the xseg_reply_map flexible array
member.

Peers Makefile: Reenable sosd

tests: Add SosdTest