Sosd: Change req->datalen with req->size.

Do not use req->datalen to fullfill requests, but req->size, which was the
requested size.

mt-sosd: Use common hash.c for hashing

xhash: Add XHASHS_ENOENT return value on remove

mapper: Split loading/writing map metadata from map data

mapper: Make callbacks state threads

mapper: Fix v2 map loading/writing.

When changing chunks, make sure that each chunks ends at object border, so we
can safely load/store multiple chunks of map data.

mapper: Add support to wait for a request when applicable

Rename archip-pfiled to archip-filed

xseg-tool: Add size options to clone command

mapper: Increase epoch when creating volume.

Increase epoch during volume creation, to avoid name conflicting when deleting
and creating a new volume with the same name.
Also enforce limits on max epoch.

mapper: Set the right map node on copyup_cb_copy

mapper: Do not write in read only volumes

Rename dummy to archip-dummy. Add it to peers.

Clean up userspace peers makefile

Remove mt-vlmcd target from peers Makefile

filed: use common hexlify function

Rename mt-pfiled to filed

Remove old filed code

mapper: Set copyup node, when writing new object to map

vlmcd: Temp hack to pass snapshot target to mapper

xseg-tool: Add message when snapshotting

peer.c: Fix compilation warning message.

Add include guards to peer.h

Split hash helper functions to a submodule.

mapperd: Refactor and add several improvements.

Completely refactor mapperd code, split logic, map handling and raw map
interpretation into different submodules.

Also add several functionality improvements such as:

* Split snapshot from hashing
* Practically unlimited size for pithos maps
* Practically unlimited archipelago volume size
* New maps now store targets without hashing
* Auto update old map to the newest versions.

Remove old mapperd code.

Add exceptions to check_licence tool

Add exceptions to check_licence to ignore several files created by the build
process.

Merge branch 'feature-deployment' into develop

archipelago: Modify launch scripts.

Modify archipelago launch scripts to support more descriptive configuration.
Configuration now describes the peers which will be lauched along with their
roles and specific options for each one of them.

Merge branch 'feature-filedrevised' into develop

Merge branch 'feature-xcachetype-rebased2' into develop

pfiled; Replace directrory placement based on target.

Do not rely on target name to generate random directories, when the target
starts with the given prefix. Instead, hash the target to get the directory
structure.

mt-pfiled: remove pithos dir remains

mt-pfiled: create path, ignores given prefix

Modify default archipelago config for mt-pfiled

Adjust default filed config to the new mt-pfiled peer.

mt-pfiled: Remove pithos dir.

filed now uses only one directory for storing blocks. There should be no confict
between archipelago and pithos blocks, since they are located in diffrent
"namespaces"

Fix bugs in mt-pfiled

Temp mt-pfiled commit

xseg-tool: fix acquire/release functions

Reimplement mt-pfiled.

Reimplement mt-pfiled using the new xcache type, to cache open file descriptors.
Also implement snapshot support and proper idempotent locking system.

xcache: Add missing licence headers

xcache: Unique names in xcache test2

During xcache second test, each thread must be able to generate its unique names
for the cache entries. "%tid%uniqueidperstring" format is not sufficient,
because another thread with diffrent tid can produce the same string. In this
commit we use the "tid:%tid_i:%uniqueidperstring" format.

xcache: Fix tab indendation in comments

xcache: Make invalidate check the rm_table flag

xcache: Explicitly set flag to use rm tables

Introduce a new flag (XCACHE_USE_RMTABLE) that will be set only by the
peers that want to use the rm_table. The rest of the peers don't need to
set anything. This should boost speed for the latter peers, since they
won't unnecessarily try to acquire the rm_lock on inserts and puts

Changes:

* The "post_evict" hook is no longer necessary and is superseded by this
  flag.
* This flag is passed during xcache_init in the "flags" parameter.

xcache: Refactor put, add more assertions

Refactor xcache_entry_put to bypass the ABA problem with the refcount of
cache entries. The proposed solution is not the most optimal, but will
suffice until a better one is implemented.

Also, add more assertions in various places in the code to ease the
debugging process.

xcache_test: Fix compilation warnings

xcache: Code re-arrangements

Add xcache xtype implementation

Add xbinheap xtype implementation

Merge branch 'feature-licence' into develop

Do not remove config.mk from top Makefile

Do not remove config.mk from top Makefile during clean action

Remove arch-script files

Add xseg/tags to gitignore

Fix licence headers in multiple files

Add licence headers to all code files and adjust interpreter in script files.

Add tool to check licence in files

Fix typos in licence headers

sosd: Fix uninitialized variable use.

In break lock, instead of cheking the return value of the rados call, we
erroneously checked an uninitialized local variable.
(cherry picked from commit ba7ffa08f1b68282ef0cffb49388fc1b705d6cd3)

Merge branch 'feature-queues' into develop

Add xwaitq xtype implementation

Add workq xtype implementation

Merge branch 'feature-xhashlimit' into develop

Add limit to xhash

Merge branch 'feature-variousimprovements' into develop

Remove unused linker file from xobj.o

Add LIKELY/UNLIKELY branch prediction macros

The macros are purposefully in capital letters in order not to clash
with the likely/unlikely macros in kernel.

Improve xlock try lock function

Merge branch 'feature-cleanerbuilddeps' into develop

Make xtypes build system cleaner

xtypes should provide
for userspace:
a "_exports.h" file
a xtype dir in the sys/user directory
.o and .pic.o targets in the Makefile.

for kernel:
xtype .k.c target in the Makefile

Bump version to 0.3next.

Merge branch 'release-0.3' into develop

Merge branch 'feature-sosd' into develop

Bump version to 0.3

Bump version.

Bumped version to 0.3rc2

peer.c: Call custom peer finalize with st_threads

bench: Fix target to not include null termination.

Request of the target must not be null terminated. Remove null termination from
the requests constructed by peers.

mapperd: Add debug messages for copyup target

mapperd: Fix signaling bug when load/open fails.

When a map load/open fails, any other threads that tried to get the map during
these operations wait on the map. If any of these operations fail, the cache was
dropped, without signaling any of the waiters. This commit fixes this bug, by
signaling the map when open or load fail.

mapperd: Add debug message to signal map and put map

Rename archipelago peers with archip- prefix

Change ext_script dir to archipelago.

Change ext_script ganeti directory from vlmc to archipelago.

Bump version.

Bump versio to 0.3rc1

Adjust mt-sosd to the new RADOS lock API.

xseg: Set serviced = 0 on {get, put} request

xseg.h: Move end of include guard to the header's end.

Merge branch 'develop-cherrypick' into develop

Merged commits cherry-picked from release-0.2 branch

Fix bug in mapperd.

When signaling map, use signal_broadcast to wake up all waiters instead of just
one, to avoid missing signals when cached is dropped for the map.
(cherry picked from commit 2b91a67a55cdd9b6a16fd54e3e87389aa181a7ee)

Add wrapper function for ST peerd loop.
(cherry picked from commit d932df7a6a3ae8b17d9e0981fcb3ee2af059324c)

Conflicts:
xseg/peers/user/peer.c

mapperd: Always sleep before checking request state.
(cherry picked from commit e0f306aa00f5aefa72dc4f607876ee87ddc2ea37)

Make xseg request state volatile
(cherry picked from commit 8904f78564a1d1f96eb0453e7773779dc931d861)

Make peers close stdin when entering daemon mode.
(cherry picked from commit 04ea45339fd0e5a92c3290807805766acc1e7223)

Close orig stdout, stderr, when logging to file
(cherry picked from commit 1eeb0111a9d7ac5700d7aedc9f442b748b9cb8e7)

Add wait time while starting a peer.

While starting a peer, wait a few seconds, before checking if the peer is up n
running. In high load conditions, this check was too soon and could fail,
resulting in an overall start failure.
(cherry picked from commit 1b4a1ad9cd39b620b35bd30970edda304fcb92a6)

Remove async unsafe functions from signal handlers
(cherry picked from commit 2d2a24a26ff9f3a7fd651b1c2386fbd31166a5e1)

Fix bug in user xseglog2
(cherry picked from commit c30767e3f311fd97bb1f5f546b8654911d712072)

Fix user space logrotation bug.

Replace file stream functions in user space logging with their file descriptor
counter parts, which are safe to be called from a signal handler.
(cherry picked from commit 342ac1dc1a5ebc9aef55808b2d42436be3efb88d)

Remove ctypeslib dependency from python-xseg
(cherry picked from commit 93f23c27d9567647a27a035732edd2a4ef66d83c)

Move src dir to archipelago-modules-dkms
(cherry picked from commit 9c39a188e8ff0ae49ecb7f6587b693c5a546289a)

Export KVER if none existing.

Also modulesdir now points to the KVER we are building for.
(cherry picked from commit 201e6354bbe2f6f4a4d921992a425e32444514fa)

Add xseg to src dir.
(cherry picked from commit 0e4ae29f8d36524c61720a7f1dcafcdc9cd6bb03)