Fix bug in archipelago premigrate hook

Return 0 if template is not ext, to allow migration of other templates.

Bump version to 0.3.4

Add ganeti pre-migrate hook

Add ganeti pre-migrate hook to ensure that the volume is opened by the current
node, before proceeding with the migration.

vlmcd: Complete pending requests after "flushing"

vlmc: Honor flush req by stall until all reqs done

Bump version to 0.3.3

Bump version to 0.3.2

ext_storage: Update Makefile and symlinks

Update Makefile and add new symlinks for new 'snapshot' and 'setinfo'
actions.

ext_storage: Add 'snapshot' and 'setinfo' actions

Extend supported actions with the 'snapshot' action, which is used
to snapshot an existing image. Also add 'setinfo' action as NOP.
Finally, refactor 'ReadEnv' function to return a dictionary instead of a
tuple.

sosd: Fix uninitialized variable use.

In break lock, instead of cheking the return value of the rados call, we
erroneously checked an uninitialized local variable.

Bump version to 0.3.1

Bump version to 0.3

Bump version.

Bumped version to 0.3rc2

peer.c: Call custom peer finalize with st_threads

bench: Fix target to not include null termination.

Request of the target must not be null terminated. Remove null termination from
the requests constructed by peers.

mapperd: Add debug messages for copyup target

mapperd: Fix signaling bug when load/open fails.

When a map load/open fails, any other threads that tried to get the map during
these operations wait on the map. If any of these operations fail, the cache was
dropped, without signaling any of the waiters. This commit fixes this bug, by
signaling the map when open or load fail.

mapperd: Add debug message to signal map and put map

Rename archipelago peers with archip- prefix

Change ext_script dir to archipelago.

Change ext_script ganeti directory from vlmc to archipelago.

Bump version.

Bump versio to 0.3rc1

Adjust mt-sosd to the new RADOS lock API.

xseg: Set serviced = 0 on {get, put} request

xseg.h: Move end of include guard to the header's end.

Merge branch 'develop-cherrypick' into develop

Merged commits cherry-picked from release-0.2 branch

Fix bug in mapperd.

When signaling map, use signal_broadcast to wake up all waiters instead of just
one, to avoid missing signals when cached is dropped for the map.
(cherry picked from commit 2b91a67a55cdd9b6a16fd54e3e87389aa181a7ee)

Add wrapper function for ST peerd loop.
(cherry picked from commit d932df7a6a3ae8b17d9e0981fcb3ee2af059324c)

Conflicts:
xseg/peers/user/peer.c

mapperd: Always sleep before checking request state.
(cherry picked from commit e0f306aa00f5aefa72dc4f607876ee87ddc2ea37)

Make xseg request state volatile
(cherry picked from commit 8904f78564a1d1f96eb0453e7773779dc931d861)

Make peers close stdin when entering daemon mode.
(cherry picked from commit 04ea45339fd0e5a92c3290807805766acc1e7223)

Close orig stdout, stderr, when logging to file
(cherry picked from commit 1eeb0111a9d7ac5700d7aedc9f442b748b9cb8e7)

Add wait time while starting a peer.

While starting a peer, wait a few seconds, before checking if the peer is up n
running. In high load conditions, this check was too soon and could fail,
resulting in an overall start failure.
(cherry picked from commit 1b4a1ad9cd39b620b35bd30970edda304fcb92a6)

Remove async unsafe functions from signal handlers
(cherry picked from commit 2d2a24a26ff9f3a7fd651b1c2386fbd31166a5e1)

Fix bug in user xseglog2
(cherry picked from commit c30767e3f311fd97bb1f5f546b8654911d712072)

Fix user space logrotation bug.

Replace file stream functions in user space logging with their file descriptor
counter parts, which are safe to be called from a signal handler.
(cherry picked from commit 342ac1dc1a5ebc9aef55808b2d42436be3efb88d)

Remove ctypeslib dependency from python-xseg
(cherry picked from commit 93f23c27d9567647a27a035732edd2a4ef66d83c)

Move src dir to archipelago-modules-dkms
(cherry picked from commit 9c39a188e8ff0ae49ecb7f6587b693c5a546289a)

Export KVER if none existing.

Also modulesdir now points to the KVER we are building for.
(cherry picked from commit 201e6354bbe2f6f4a4d921992a425e32444514fa)

Add xseg to src dir.
(cherry picked from commit 0e4ae29f8d36524c61720a7f1dcafcdc9cd6bb03)

peer: Move peerd_loop plug out of peer_reqs loop

The plugging of generic_peerd_loop to peerd_loop was falsely done inside
a loop where peer_reqs were initialized. The plugging has now been moved
out of this loop.

bench: Flush stdout when printing progress results

bench: Fix issuing of read/write requests

Due to no initialization of struct bench, some "ifs" in the code would
show different behavior depending on the junk values they would check.
Now however, there is proper initialization of struct bench.

bench: Include bandwidth and IOPS in results

bench: Change prefixes of static functions

In this repo, a static helpder function is prefixed with "__". However,
some static helper functions in bench-utils.c where prefixed with a
single underscore ("_"), so we updated their names to be consistent with
this convention.

Add progress report for bench

Progress report is turned on by default. It reports every 5% the current
request status.
Also, we now make sure to terminate only if all peer requests are free.

Add a fallback clock for portability reasons

Merge branch 'feature-improvepeer' into develop

Remove unused stuff and reduce warnings

Remove unused pthread_* stuff and modify variable location to reduce warnings
because of the define-based compilation.

Add compilation warning about MT and ST_THREADS

Fix queue size of per thread queue.

Fix peer termination.

Peer checks if all peer requests are free in all thread, and then proceeds to
gracefull shutdown.

Also introduce pthread specific variable, holding the struct thread for each
thread.

Split peer request queues.

Each thread has its own peer request queue, frow which it allocates data. If
this queue is empty, it  tries to "steal" from the "next" thread. This greatly
reduces lock congestion to the peer request queue.

Add check to not respond request if none associated.

Conflicts:
xseg/peers/user/peer.c

Merge branch 'feature-improvepthreadsignaling' into develop

Improve pthread signaling.

Remove xpool data type that required a lock on insertion / on seek and replace
it by an array of pids. On the array of pids, each thread place its pid in his
own reserved entry. Any one who wishes to signal a pthread peer, checks that
array for a valid pid.

Disable update stamp during request transfer.

Fix clean option in Makefile

Merge branch 'feature-bench-rebased' into develop

Build only the necessary peers.

Fix LFSR spin bug

Style changes

Add option for read/write ops to hit unique objs

Read/write ops can now use the -to option, instead of the -ts option, to
make each read/write request touch a different object.

Add request cap

Implemented by popular request, the request cap option allows the
benchmarking peer to stop the benchmark earlier, at a given number
of received requests.

Fix verification full mode

Add partial support for verification

Adds an option to choose between verification modes:

1. meta: On this mode, we write our signature both at the start and the
   end of the chunk size. It should be very fast and moderately safe,
   due to the fact that corruptions happen it the chunk's edges.
2. full: Write our a random sequence of numbers throughout the chunk's
   data range, which is reproducible given the object name and the
   offset inside the object.

At the moment, only meta mode is available, but full will be supported
soon

Refactor struct bench and appropriate code paths

Changes:

1. Move flag values (such as pattern, insanity, verify) in a specific
   bit-field.
2. Create a struct req_status where the status of requests will be
   stored.
3. Tidy up code.

Rationale:

1. For parameters that can have only a few different values, it's an
   overkill to use a specific field in struct bench to store them, when
   we can just as well store them in a flag. This reduces the size of
   struct bench and makes the code easier to grasp.
2. Previously, the requests' statuses would be scattered amongst
   different timers, which is counter-intuitive at best. By placing them
   in a specific struct, we make the code more intuitive and readable.

Add skeleton for verification in write path

Improve LFSR implementation

Also, prepare the code for the addition of verification support

Change input option to bench

Since -dp is reserved in peer as defer port number, we change the -dp
option in bench (which stood for "destination port") to -tp, which
stands for "target port".

Add support for seed values given by the user

A new option has been added (--seed) which allows the user to pre-define
the seed that he/she wants. This has the following effects:

* The target names are prefixed with the first 9 digits of the seed.
* LFSR produces a predictable sequence of "random" numbers

Minor fixes

Allow LFSR to be used for sizes smaller than 2^3

Get correct iodepth

Fix incorrect reading of "insanity" parameter

Fix identation

Make bench snappier when asked to terminate

Print more useful results

Fix signal handling of peers

Tweak performance of bench

Fix LFSR behavior

Fix flag handling of struct bench

Fix target names and chunk offsets

Increment completed requests of insane timers

Even if a timer is not used for a benchmark, we need to increment its
completed requests since these are needed to calculate how many requests
are left etc.

Implement most semi-finished functionalities

Summary of new functionalities:

* Add support for 4 different xseg operations (read, write, info,
  delete).
* Add support for random I/O patterns with a fast Galois LFSR.
* Add insanity levels in timers, which allow the user to exclude obscure
  timers from the benchmark (or explicitly allow them)
* Generate target names based on seeds given by the user or produced by
  the benchmark (useful for reproducibility of benchmark)

Add an LFSR PRNG for bench

The PRNG introduced by this commit is a Galois-XNOR LFSR, which can
generate unique pseudorandom numbers. Also, seeded with the same
seed, it will produce the same sequence.

This implementation is driven by the needs of XSEG for a blazing fast
random generator. Initial tests show that it's capable of producing 2^38
unique pseudorandom numbers in less than 10 minutes (which equals to 2
nanoseconds per number).

Add utility functions to header file

Design the program's skeleton for new features

Bench peer must be able to test all xseg operations in a synchronous or
asynchronous way. Also, it must have a validation mode to sanity-check
if xseg requests are issued properly. Most of the above are present in
this commit, either in code or TODO form.

WARNING: code is incomplete and won't compile

Fix segfault, parameters validation

Initial support for xseg ops

Alpha release of bench peer

On this release, the bench peer can measure the total elapsed time
of the benchmark. TODO:

* Allow bench peer to be multi-threaded.
* Adjust benchmarking precision, by eliminating or including more
  trivial timers.
* Measure mean time, standard deviation of requests.

Make bench send requests faster

Fix missing function declaration

Simplify port binding code

Fix segfault

Keep naming in peerd_loop consistent

Fix timers and add them to critical paths

Fixed incorrect handling of elapsed time and used appropriate timers to
benchmark crtical paths.

Complete unification of thread_loop/peerd_loop

Fix segfault

Unify thread loop with peerd_loop

Since peerd_loop with thread_loop don't have many differences between
them, they can be unified in a single loop. TODO is to choose a unified
name for both threads and peers, as well as fault check the
implementation.

Add timer implementation

This an initial timer implementation. It is not very polished at the
momment and some implementation choices will have to be reviewed later
on.