fix pool creation

Merge remote-tracking branch 'origin/dev' into radosblocker

Conflicts:
snf-pithos-app/pithos/api/util.py
snf-pithos-backend/pithos/backends/lib/hashfiler/blocker.py
snf-pithos-backend/pithos/backends/lib/hashfiler/mapper.py
snf-pithos-backend/pithos/backends/modular.py
snf-pithos-backend/pithos/backends/util.py

make rados storage configurable

add support to store blocks on RADOS

Intergation with updated quotaholder module

If PITHOS_QUOTAHOLDER_URL is None do not try to connect to the quotaholder

Fix indent and add logging in case of QuotaError

If PITHOS_QUOTAHOLDER_URL is None, perform internal pithos quota checking

Merge branch 'dev' of https://code.grnet.gr/git/pithos into dev

Conflicts:
snf-pithos-app/pithos/api/util.py
snf-pithos-backend/pithos/backends/modular.py

Merge branch 'dev' of https://code.grnet.gr/git/pithos into dev

Conflicts:
snf-pithos-app/pithos/api/dispatch.py
snf-pithos-app/pithos/api/management/commands/storagequota.py
snf-pithos-app/pithos/api/util.py
snf-pithos-backend/pithos/backends/modular.py

By default report size change in object delete/update (do not include older version size)

Fix undefined variable

Change test warning exception message

Raise warning exceptions in there are no other valid accounts for testing sharing and permissions behavior.

Fix sqlalchemy warning: IN-predicate invoked with an empty sequence.

Send versions as string in resource events queue

Include version information in aquarium messages

Comment out sqlalchemy echo

Catch explicitly ContainerExists in container_create instead of NameError

Change QuotaholderSync to QuotaholderSerial

Change QuotaholderSync to QuotaholderSerial

incorporate AMQPClient instead of synnefo.lib.queue methods for sending queue messages

fix backends.lib.sqlite.config.Config set_value

fix backend variable name

fix access to backend library classes Config and QuotaholderSync

fix mispelling

New database tables to keep track of quota holder commisions

Fix code formatting to conform to the PEP 8 style guide

add socket verification for pooled pithos backends

rename resource to pithos+.diskspace

make sure backend hasattr 'messages'

fix: initialize per-request quotaholder seriallist

use astakos resource name in issue_commission

quotaholder serial handling fix

accept/reject commission on backend_method deco

wip issue_commision(). no accept or reject yet

wip quotaholder client in backend

Merge branch 'master' of https://code.grnet.gr/git/pithos

Hotfix pithos 500 error

Temporary fix to prevent pithos failing with "AttributeError:
'ModularBackend' object has no attribute 'messages'" 500 error.

Log 5xx API faults

Merge branch 'master' of https://code.grnet.gr/git/pithos

fix UnboundLocalError

Move PithosBackendPool to snf-pithos-backend

Move PithosBackendPool from snf-pithos-app to snf-pithos-backend

Fix undefined variable

Fix references to settings not yet in master

Fix references from pithos.api.settings to settings
not yet implemented in the master branch.

socket verification for pooled pithos backends

Change test warning exception message

Raise warning exceptions in there are no other valid accounts for testing sharing and permissions behavior.

Fix sqlalchemy warning: IN-predicate invoked with an empty sequence.

Merge remote-tracking branch 'origin' into dev

Send versions as string in resource events queue

Include version information in aquarium messages

Comment out sqlalchemy echo

Catch explicitly ContainerExists in container_create instead of NameError

Fix bug in PithosBackendPool

Get _trans from the DBWrapper

Change QuotaholderSync to QuotaholderSerial

Change QuotaholderSync to QuotaholderSerial

incorporate AMQPClient instead of synnefo.lib.queue methods for sending queue messages

fix backends.lib.sqlite.config.Config set_value

cleanup pithos backend pools, new pool api support

fix backend variable name

fix access to backend library classes Config and QuotaholderSync

fix mispelling

New database tables to keep track of quota holder commisions

Merge remote-tracking branch 'origin' into dev

Conflicts:
snf-pithos-app/pithos/api/util.py
snf-pithos-backend/pithos/backends/base.py

Fix code formatting to conform to the PEP 8 style guide

Pool pithos backends using ObjectPool

Use ObjectPool functionality from synnefo.lib.pool
to pool backend objects.

This reduces the per-request overhead significantly,
since each backend object is only initialized once,
and connections to the DB are persistent.

Also bump snf-common dependency to reflect need for
updated snf-common with ObjectPool support.

Signed-off-by: Georgios D. Tsoukalas <gtsouk@cslab.ece.ntua.gr>
Signed-off-by: Vangelis Koukis <vkoukis@grnet.gr>

Revert "Have BaseBackend inherit from ArgBasedSingleton"

This reverts commit d2869078476a590d2f875b45801fceee37234344.
The ModularBackend object has not been designed to be used
by multiple contexts concurrenctly, and shouldn't inherit
from ArgBasedSingleton.

Subsequent patches will enable pooling of ModularBackend objects,
using the ObjectPool facility of synnefo.lib.pool.

Have BaseBackend inherit from ArgBasedSingleton

Have the base pithos+ backend inherit from
synnefo.lib.singleton.ArgBasedSingleton.

This makes repeated attempts to re-instantiate any pithos+ backend with
the same arguments reuse the pre-existing backend object.

Merge branch 'master' of https://code.grnet.gr/git/pithos

include path in messages sent to aquarium

Update Changelog for snf-pithos-backend

Merge branch 'master' of https://code.grnet.gr/git/pithos

fix nodes latest_version revision

Include alembic dir in python package

Workaround to identify proper alchemy url

Not all apps use the same setting name for the pithos backend connection

Bump versions for v0.10.0 release

- in setup.py required packages
- in Changelog entry

pithos-migrate fixes

- Handle empty args
- initdb feedback
- Proper engine initialization from synnefo settings
  PITHOS_BACKEND_DB_CONNECTION value

Do not set default url in alembic.ini

sqlalchemy url will be dynamically set in alembic config object based on
synnefo.settings.PITHOS_BACKEND_DB_CONNECTION.

Merge branch 'master' of https://code.grnet.gr/git/pithos

use alembic to initialize the backend database

Update backend Changelog

include migration quick guide using pithos-migrate

Merge branch 'master' of https://code.grnet.gr/git/pithos

Merge with pithos-migrate

Conflicts:
snf-pithos-backend/pithos/backends/lib/sqlalchemy/alembic.ini

Update pithos-backend setup.py

- Include alembic in required packages
- Entry point for migration tool

Update alembic .ini

Update Changelog

Migrate against synnefo.settings backend by default

use ``PITHOS_BACKEND_DB_CONNECTION`` as default value for alembic sqlalchemy.url
option.

Pithos alembic migration wrapper tool

fix tests in case there are no initial containers

Remove index on cluster

Refs: #2675

Write more realistic tests

Refs: #2675

Refs: #2675

Introduce alembic

fix default value for PITHOS_URL environmental variable

eliminate nested sql aggregations

Refs: #2675

fix indent

Fix broken compatibility with cloud files

Reverse back Revision 7fbf8aa20c647e2c98c2ba53f80dcfa0e971a499

Refs: #2611

Call for delete container contents

Refs: #2611

Rewrite tests for mass operations

Refs: #2611

Fix size & type of copied objects (sqlite)

Refs: #2611