bench: Ping target peer before starting timers

In some cases, the target peer may take some time before it finishes
with its initializations. Since we don't want to measure this idle time,
we send a ping request first and can start start the benchmark after we
receive an ACK.

NOTE: This behaviour can be switched off with the "--ping no" option.

bench: Remove dead code

bench: Improve benchmark results

Changes include:

* Show the average request latency when run with insanity "eccentric"
* Don't show bandwidth results for info/delete requests

bench: Remove dead code

bench: Fix an LFSR init issue and minor comments

If bench is requested to issue only one request, the LFSR initialization
fails. Since LFSR is not needed in this case, we simply switch to
sequential pattern for this request.

bench: Remove unnecessary malloc

bench: Improve benchmark results

Changes include:

* Show the average request latency when run with insanity "eccentric"
* Don't show bandwidth results for info/delete requests

bench: Minor correction on seed validation

bench: Fix data verification

Current situation: In full verification mode, each number written across
a data chunk has 64 bits length, yet, due to a wrong LFSR
initialization, only 31 bits are utilized.

Implement a 63/64 bits utilization.

Merge branch 'feature-snapshot' into develop

vlmc: add cont_addr option in snapshot command

python Makefile: replace zero-length array with pointer

Replace zero-length array with pointer for the xseg_reply_map flexible array
member.

Peers Makefile: Reenable sosd

tests: Add SosdTest

sosd: Fix compilation error and hashing bug.

* Fix compilation error
* Correctly return the hased value in hash reply
* Resize X_INFO request when necessary

mapper: Use correct size for epoch when loading v2 metadata

mapper: Fix calculation of copy up target.

When hexlifing epoch and index, use the correct size of the source.

peers: Fix bug in hexlify.

Ditch strncpy which alwayes NULL terminates when hexlifing and use a custom
hexlify function.

tests: Add extra tests for hashing.

python: Extend request interface with X_HASH

sosd: Add X_HASH support with precomputed values

xseg: Add X_HASH to xseg protocol.

Add X_HASH operator to xseg, and the appopriate X_HASH reply structure. Remove
obsolete snapshot reply structure.

vlmc: Remove obsolete snapshot handling functionality

mapper: Add hash support for snapshots.

Add the ability to hash snapshots and create pithos compatible images.

Also, as a minor improvement add object_to_map representation to map functions.

filed: Support X_HASH with precomputed hashes.

Support X_HASH with precomputed hash values, if the same block was hashed
before.

tests: Add testing for cloning archipelago snapshots

mapper: Add XF_CONTADDR flag and improve cloning

Support cloning from both pithos images and archipelago snapshots.

mapper: Fix get_mapnode boundary.

Return NULL, when requesting object index == nr_obs

mapper: Fail when issuing a map object load fails

mapper: Always use datalen buffers when loading v2

mapper: Set correct map object when copying up

Merge branch 'feature-functionaltest' into feature-snapshot

testing: Add tests for concurrent operations

python xseg: Enrich request/xseg python api.

Add more constructors for the Request class.
Add xseg_wait_requests to wait on multiple requests.
Modify vlmc script to use the new constructors.

filed: Add debug logging while reading/writing

tests: Add basic functionality testing for peers

Improve python archipelago common infrastructure.

The changes include:
 * Convert pfiled to filed and add the extra arguments
 * Check if arguments are not None instead of simply checking for arguments
 * Move request to seperate method and remove __del__ method
 * Add get_serviced and get_datalen to request
 * Add support to set string add data request
 * Make all peer executables relative to a BIN_DIR
 * Create/destroy segment takes spec as arguments
 * Parsing spec on Xsegctx __init__ does not modify spec parameter

peer: Create pidfile with read/write permissions

mapper: Fail loading of deleted volumes

mapper: Fail request when range is not valid

Set zero sized clone to inherit the size of the parent

Uniformly set that when the requested size is zero, then either inherit the size
of the parent map, or fail if there is no parent.

vlmcd: resize request on X_INFO

mapper: Add resize request on X_INF

filed: Add resize request on X_INFO

mapper: add debug messages while handling objects in v2

xseg: remove some unused logging

mapperd: Modify version2 map IO functions.

Modify version2 map IO functions to support load/write map data for a specified
object range.

mapperd: Add counter on map to count used objects

Add map counter to count used objects, so we can quickly calculate whether all
objects are in READY state, and there are no pending actions on them.

mapperd: Fail load if map upgrade fails

filed: Change req->datalen with req->size.

Do not use req->datalen to fullfill requests, but req->size, which was the
requested size.

Sosd: Change req->datalen with req->size.

Do not use req->datalen to fullfill requests, but req->size, which was the
requested size.

mt-sosd: Use common hash.c for hashing

xhash: Add XHASHS_ENOENT return value on remove

mapper: Split loading/writing map metadata from map data

mapper: Make callbacks state threads

mapper: Fix v2 map loading/writing.

When changing chunks, make sure that each chunks ends at object border, so we
can safely load/store multiple chunks of map data.

mapper: Add support to wait for a request when applicable

Rename archip-pfiled to archip-filed

xseg-tool: Add size options to clone command

mapper: Increase epoch when creating volume.

Increase epoch during volume creation, to avoid name conflicting when deleting
and creating a new volume with the same name.
Also enforce limits on max epoch.

mapper: Set the right map node on copyup_cb_copy

mapper: Do not write in read only volumes

Rename dummy to archip-dummy. Add it to peers.

Clean up userspace peers makefile

Remove mt-vlmcd target from peers Makefile

filed: use common hexlify function

Rename mt-pfiled to filed

Remove old filed code

mapper: Set copyup node, when writing new object to map

vlmcd: Temp hack to pass snapshot target to mapper

xseg-tool: Add message when snapshotting

peer.c: Fix compilation warning message.

Add include guards to peer.h

Split hash helper functions to a submodule.

mapperd: Refactor and add several improvements.

Completely refactor mapperd code, split logic, map handling and raw map
interpretation into different submodules.

Also add several functionality improvements such as:

* Split snapshot from hashing
* Practically unlimited size for pithos maps
* Practically unlimited archipelago volume size
* New maps now store targets without hashing
* Auto update old map to the newest versions.

Remove old mapperd code.

Add exceptions to check_licence tool

Add exceptions to check_licence to ignore several files created by the build
process.

Merge branch 'feature-deployment' into develop

archipelago: Modify launch scripts.

Modify archipelago launch scripts to support more descriptive configuration.
Configuration now describes the peers which will be lauched along with their
roles and specific options for each one of them.

Merge branch 'feature-filedrevised' into develop

Merge branch 'feature-xcachetype-rebased2' into develop

pfiled; Replace directrory placement based on target.

Do not rely on target name to generate random directories, when the target
starts with the given prefix. Instead, hash the target to get the directory
structure.

mt-pfiled: remove pithos dir remains

mt-pfiled: create path, ignores given prefix

Modify default archipelago config for mt-pfiled

Adjust default filed config to the new mt-pfiled peer.

mt-pfiled: Remove pithos dir.

filed now uses only one directory for storing blocks. There should be no confict
between archipelago and pithos blocks, since they are located in diffrent
"namespaces"

Fix bugs in mt-pfiled

Temp mt-pfiled commit

xseg-tool: fix acquire/release functions

Reimplement mt-pfiled.

Reimplement mt-pfiled using the new xcache type, to cache open file descriptors.
Also implement snapshot support and proper idempotent locking system.

xcache: Add missing licence headers

xcache: Unique names in xcache test2

During xcache second test, each thread must be able to generate its unique names
for the cache entries. "%tid%uniqueidperstring" format is not sufficient,
because another thread with diffrent tid can produce the same string. In this
commit we use the "tid:%tid_i:%uniqueidperstring" format.

xcache: Fix tab indendation in comments

xcache: Make invalidate check the rm_table flag

xcache: Explicitly set flag to use rm tables

Introduce a new flag (XCACHE_USE_RMTABLE) that will be set only by the
peers that want to use the rm_table. The rest of the peers don't need to
set anything. This should boost speed for the latter peers, since they
won't unnecessarily try to acquire the rm_lock on inserts and puts

Changes:

* The "post_evict" hook is no longer necessary and is superseded by this
  flag.
* This flag is passed during xcache_init in the "flags" parameter.

xcache: Refactor put, add more assertions

Refactor xcache_entry_put to bypass the ABA problem with the refcount of
cache entries. The proposed solution is not the most optimal, but will
suffice until a better one is implemented.

Also, add more assertions in various places in the code to ease the
debugging process.

xcache_test: Fix compilation warnings

xcache: Code re-arrangements

Add xcache xtype implementation

Add xbinheap xtype implementation