Implement image unregister in kamaki.clients

Refs: #3728

Merge branch 'feature-shell-arguments' into develop

Update Changelog

Allow runtime args when invoking interactive shell

Refs: #3716

Behavior After This:
kamaki -XXX -YY ... parses -XXX -YY
If not recognized: syntax error
If recognized, group them into shell args (e.g. -h) and command args (e.g. -d)
Whenever a command is run in this shell instance, apply the command args

Practically, users may pass the -d or -v args to the shell and enjoy streaming
debug or verbosity logs, without having to pass -d or -v args on each command

Merge branch 'feature-cli-command-errors' into develop

Raise a descriptive error for misconfigured cmds

Refs: #3663

A command group that is declared in the config file is not supported
by valid command specification code or the specification code is not
pointed at by <command>.cli configure variable

Log initial call arguments in first log

Merge branch 'feature-logging' into develop

Move logger module to kamaki.cli

Make kamaki.clients unware of kamaki.logger

use logging for getting the loggers

Stop shell from destroying config instance

This caused warnings about preset variables

Merge branch 'feature-logging' into develop

Update Changelog to reflect #3715 changes

Allow activation/deactivation of specific loggers

refs: #3715
Logger settings are not aborted and will be restored at deactivation

Also, remove all logger creation functionality from kamaki.clients
A file or stream logger should be created an the kamaki.clients caller side
In this case, the caller is kamaki.cli
Kamaki.cli should handle where and how the loggers will output. Kamaki.clients
will log as __name__ and the two extras: kamaki.clients.send/recv

An external app can now import kamaki and create a logger named "kamaki" and
this will log whatever kamaki is logging. The external app will handle loggers
as they wish.

Update changelog for feature #3668

Merge branch 'feature-logging' into develop

Remove log redaduncy when logging in a file

Use < and > in stream logger for send/recv resp.

Globalize logger usage

Unsolved bug: redudant info in logfile

Wipe logger add_file_logger

Fix typo in _create_or_get_missing_hashes call

Honour if_(none_)match even if all blocks are up

Refs: bug #3708

Expand logger to support stream logging, simplify

Adjust expected values in fanctional client tests

Make containerlimit set/get aware of 0==unlimited

containerlimit set -h will tell users to use 0 for unlimited
containerlimit get will print "unlimited" if received a 0 value

Alow uploading to container with limit 0

Container limit 0 means "unlimited"

Update Changelog

Move addproperty from image to image compute

Fix typo with --config and --property args (#3658)

Update documentation to refer to www.synnefo.org

Stop doc building from crushing if no objpool

Add automatic version for docs

Connect request-response threads in logs

The connection between kamaki request attempt and httplib response was
logged, but the connection between httplib response and kamaki response
managment was not logged.

Setup meta-files for development of 0.8next

Remove extra logging options

One default: ~/.kamaki.log
User can use a custom: kamaki config set log_file <custom log file>

Fix mispeled import cyclades_cli --> cyclades

Update upgrade notes

Merge branch 'feature-logging' into develop

Set ~/.kamaki.log with mode 0600 as default

Refs: #3610

Update Changelog

Upgrade package metadata

- Copyright date
- Upgrade notes and suggestions
- Refer to synnefo.org in README
- classifiers in setup

Merge branch 'feature-store' into develop

Make recursive upload non-default, rearange checks

Alloow recursive upload with -R
Rearange pre-upload checks as shown bellow:
- check first if it is recursive & direcory
- check if object exists or forced to overwrite
- check container limit and used size

Feature #3536

Take into account container used bytes in upload

Before uploading, check if there is enough remaining space on container
remaning space = container limit - container used bytes

Merge branch 'develop' into feature-store

Merge branch 'feature-store' into develop

Adjust documentation to include new upload feats.

Prevent upload if uploads exceed container limit

Feature #3536

Implement a recursive upload

kamaki file upload <directory> <container>[:remote-dir]

where remote-dir either is a dir or does not exist

Feature #3536

Update docs to use the term Synnefo where needed

In some cases, the term 'GRNET development team' was replaced with 'Synnefo' or
'Synnefo development team'

Merge branch 'feature-store' into develop

Add some parameters to storage.list_object

:param limit: (int) The amount of results requested

:param marker: (str) Return containers with name lexicographically
    after marker

:param prefix: (str) Return objects starting with prefix

:param format: (str) reply format can be json or xml (default:json)

:param delimiter: (str) Return objects up to the delimiter

:param path: (str) assume prefix = path and delimiter = /

Bug #3596

Merge branch 'feature-image' into develop

Add some client-side filters to image list

--owner=<uuid> :  print only images with given owner

--name-prefix=<prefix>  :  print only images with name starting with <prefix>
--name-suffix=<suffix>  :  print only images with name starting with <suffix>
--name-like=<part>      :  print only images with name containing <part>

Feature #3513

Filter image listing results by owner

Introduce the --owner parameter to kamaki image list (was: image public)
If given, only images of given owner will be pronted on console. This is a
client side filtering, as oposed to the other filters of the command.

Merge branch 'feature-network' into develop

Set a default network type when creating nets

Default type is MAX_FILTERED

Support #3514

Merge branch 'feature-containerlimit' into develop

Split file-quota semantics for account and contner

kamaki file quota --> only for account
kamaki file quota <container> --> kamaki file containerlimit get [container]

Support #3541

Rename file setquota to file containerlimit set

Also, do not allow user to set account quota

Merge branch 'feature-rename' into develop

Apply uniform descriptions to all client commands

<GRNET name>/<OS name> API <actuall api> commands

e.g.
  Cyclades/Compute API server commands
or
  Pithos+/Storage API commands

Commands file names are named after the API they implement, not the command interface.
It cyclades, astakos, pithos, etc. instead of server, user, file, although the command
names they expose are "server *", "user *", "file *", etc.

Cyclades is a pretty good example: it exposes a set of commands with different prefixes
(server, network, flavor) and they all use the cyclades client.

Fix astakos client functional test

Use 'user.token' instead of 'astakos.token'

Remove quotaholder from kamaki

This affects the cli:
- remove the quotaholder commands set
- remove the commissioning system (automatic command retrieval)

This affevts the clients:
- remove the quotaholder client
- remove the clients commissioning system

Save the ordereddict backport to clients.utils (still useful)

Update documentation and setup

Merge branch 'feature-rename' into develop

Update docs, rename kamaki.cli.commands/*

Documentation updates: reflect the changes in command groups
    astakos --> user, store --> file

File renaming: remove the _cli suffix from modules in kamaki.cli.commands

Feature #3566

Rename store command group to file

Feature #3566

Rename command group astakos to user

The client is still called 'astakos', but the command group is now 'user'

Feature #3566

Add if-etag-match to pithos client upload

Merge branch 'feature-store' into develop

Add option to fail upload if remote file exists

The if-none-match header option with '*' is used in that case.
This is exposed as 'if_not_exist' in PithosClient.upload_object

Feature #3574

Merge branch 'feature-logging' into develop

Update documentation for logger changes

Pametrize log file, make it globaly available

Kamaki logger module is now available to both cli and clients packages
Users may set the log_file option in configuration file
   kamaki config set log_file ...

Support #3441

Merge branch 'develop' into feature-logging

Merge branch 'feature-image' into develop

Return image details as headers, in image register

Feature #3512

Merge branch 'develop' into feature-image

Increase timeout in upload thread canceling

Make download canceling more responsive

This does not make download canceling faster, if anything, it makes it slower
but probably more gracefull for end users. Instead of just waiting the threads
to finish, users now see messages that descibe the attempts made by kamaki to
cancel them. Each cancelation gets a timeout of 0.5 seconds, so that users
will not wait too long (although they might wait more overall)

Bug #3457

Make --public and --sharing to work in upload

Bug #3509

Fix typo in commands.errors (self-->this)

This typo caused undesired behavior when deleting a deleted network

Bug #3547

Merge branch 'feature-threads' into develop

Allow users to set maximum thread limit

This is implemented as a configuration option in cli
Developers may set it as kamaki.clients.Client.MAX_THREADS = <limit>

Adjust documentation acoordingly

Feature #3546

Fix typo in kamaki quick setup guide

WAS: kamaki set token ....
NOW: kamaki config set token ...

Stop create_server from crushing by a faulty image

If the image is missing the (os, users) metadata, the create_server method
used to crush anexpectingly

Add a NL to logs to make them more readable

Merge branch 'feature-store' into develop

Fix typo in using download progress bar

Minimize requeests whn dnlding same block

If a file has multiple same blocks, download one of them and copy it to local
file locations

fixbug 3555: blcks missing if same to other blcks

Create a livetest that catches bug #3555

A boring file is a file with at least two same blocks
Kamaki fails to download more than 1 same blocks, therefore the downloaded
file is corrupted
This test fixes the bug

Merge branch 'develop' into feature-store

Merge branch 'feature-logging' into develop

DISABLE config log options in interactive shell

to avoid kamaki failures due to logging problems

Merge branch 'feature-logging' into develop

Allow config to switch some options on or off

- LOG_TOKEN: whether to log user token in http requests (default: off)
- LOG_DATA: whether to log http body (send or secv - default: off)

config options: log_token=off, log_data=off

Fix typos in logging mechanism

Move http response logging to ResponseManager

Move http request logging to RequestManager