Update changelog

Implement --cloud arg to switch between clouds

Refs: #3913

Config file can (optionaly) contain:

[remotes]
 example = https://www.example.org/astakos/identity/v2.0/
 old_version = https://www.example.org/astakos/identity/v1.0/
 ...

Now, user can explicitely request for a remote cloud authentication URI:

kamaki --cloud=<remote>

Conflicts:

Changelog

Setup the new rc2 version with last minute feats

New features are needed, otherwise kamaki will not function with synnefo>=0.14
Compatibility with synnefo>=0.14 is the major target of this version.

This include breaking compatibility with old kamaki settings.

Merge commit 'f724cd3526fdcc2aba7df02474933eacad63895b' into release-0.9

Merge commit '05e144e2418121079f9ade6554995c56c82724a4' into release-0.9

Get endpoint urls for all CLI operations

Refs: #3874

Use kamaki.clients.astakos.AstakosClient as a cached astakos client to get
user information and, most importantly, endpoints. Allow users to authenticate
multiple tokens on the same session. In every session there must be at most
one authentication per user/token.

Major change: top kamaki.cli.commands class now contains a base_auth field
with the cached authenticating client. All urls are drained from this field.

Create config file version 3

Refs: #3874

Minimum config file:
[global]
token = <user token>

Changes:

- Only one field "cli" for user command specs, to map command groups to CLIs:

[cli]
 user = astakos
 file = pithos
 server = cyclades
...

- Specify client services/apis and versions.
 General format:
 [client]
  type = <service>
  version = <api version>

 Example:
 [cyclades]
  type = compute
  version = v2.0

Merge commit '528550d929d5d30009016ae23b2a948d13fe8eb3' into develop

Conflicts:
Changelog
version

Enrich/rename astakos client calls with endpoints

Refs: #3874

Kamaki.clients.astakos.AstakosClient is now a high-level client lib that
offers access to token-authenticated astakos-aquired cached information.
Users who need an astakos client should use the snf-astakosclient instead.

Usage:

 astakos_cache = AstakosClient(<astakos/base/url/with/identity/api>)
 astakos_cache.authenticate(<token>)
 user_info = astakos_cache.user_info()
 compute_endpoints = astakos_cache.get_service_endpoints('compute', 'v2')

Major changes:

Modify ReST call from /im/authenticate to /tokens

New methods as AstakosClient instance cache accessors:
 get_services
 get_service_details
 get_service_endpoints

Method renaiming for existing AstakosClient instance cache accessors:
 info --> user_info
 user --> list_users

Merge branch 'feature-osv2-compatibility' into release-0.9

Merge branch 'release-0.9' into feature-osv2-compatibility

Initialize version 0.10

Initialize kamaki v0.9rc1

Merge branch 'feature-expose-astakosclient' into develop

Merge branch 'feature-osv2-compatibility' into develop

Update Changelog for latest astakosclient cli

Expose some basix astakosclient methods to cli

Methods exposed:

get_user_info as authenticate
get_uuid[s] as uuid
get_username[s] as username
get_quotas as quotas
services_get_uuid[s]/username[s]/quotas as service uuid/username/quotas

Update log about astakos authenticate adjustment

Adjust astakos authenticate to snf-0.14 url sheme

Setup a snf-astakos command set

Update config file version tag

Fix typo in kamak.cli.logger import

Rename meta-->metadata and remove values @CLI

Refs: #3633

Rename meta-->metadata and remove values @lib

- Meta-->metadata in some cases, according to the expected cyclades API
- remove values level from requests and responses @ cyclades lib

Refs: #3633

Fix expected "public" header params in tests

Merge branch 'feature-image-meta-record-format' into develop

Add metadata management to image register

- validate image metadata format
- read metadata from file
- merge file-loaded metadata with runtimes
- store metadata file on pithos, check existance, overwrite with -f
- raise helpful error messages when there fail

Refs: #3797

Use _format_image_headers: image_register,get_meta

- Ensure uniform image meta output
- Easy to apply the correct meta format

Refs: #3797

Restore thread-wait for append

Fix typo (permition --> permission)

Merge branch 'feature-json-output' into develop

Conflicts:
Changelog
kamaki/cli/commands/image.py

Also, take care of pep8 issues

Fix typo in pithos upload output

Wait threads to finish in pithos append_object

Implement an optional json output 4 outputing cmds

Refs: #3732

Add json/optional output to astakos cmds

Refs: #3732

Add json/optional responses to flavor/network cmds

Refs: #3732

Add json/optional outputs to server commands

Refs: #3732

Do  not unpublish by default @ pithos rest calls

Refs: #3780

Merge branch 'feature-image-meta-record' into develop

Update and enrich error messages in image register

Parse ivalid property file and guide users to correct it
Guide users to pass valid container:path parameters

Refs:#3769

Print full and nice response in image register

Do not recalculate #blocks in upload_from_string

Refs: #3608

Do not recalculate #blocks in upload_from_string

Refs: #3608

Make sure registered properties are unique

Refs: #3769

Store image properties after image registration

Log of changes:
- Properties are stored in a remote file on Pithos+
- File name is <image-file>.meta
- Feature can be switched off with --no-property-file-upload
- If remote property file exists, registration is aborted
- If remote property file exists, force with -f, --fforce-upload-property-file
- Location is given as container:path
- User id can be aquired internaly with an astakos call

Refs: #3769, #3778

Optionaly load images properties from file

Refs: #3769

Merge branch 'feature-json-output' into feature-image-meta-record

Update documentation to reflect changes in output

Refs: #3756

Apply option outputs to image commands + renames

- Add image.add_member missing content-length header
- Rename image-[add|del]member commands to members-[add|delete]
- Remove update option from image-register
- In image-compute split properties to properties-list and properties-get
- Add optional output to methods
 * image: unregister, members add/delete/set
 * image compute: delete, properties delete
- Transliterate methods to list-get-set-delete command groups:
 * image: members, member
 * image compute: properties

Refs :#3756 #3732

Apply optional output to kamaki file commands

Apply the feature wherever is applicable
Generalize the feature by moving the corresponding code to _command_init

Update file operations and their output

Refs: #3756 #3732

 - Add optional output for file methods: mkdir, touch, create, move, create,
    copy, move, append, delete, purge, info, meta, upload
 - Transliterate permissions and metadata methods to apear as get/set/delete
    command subgroups
    e.g. kamaki file metadata set ...
    instead of
    kamaki file setmeta
- Add method create_container to pithos client, add unit and functional tests

Add output to file copy/move

Also, kamaki.clients.pithos.copy/move_object returns response headers

Refs: #3756 #3732

Add output support to create methods

Refs: #3756 #3732

In kamaki.clients
-------------------
- storage.create_directory returns response headers
- implement pithos.create_container

In kamaki.cli.pithos
-------------------
- add flag --with_output for optional output
- add (-j, --json) flag for optional json-formated output
- apply these changes to file_mkdir, file_touch, file_create

Add json formated output for file list

- Implement a print_json auxiliary method in kamaki.cli.utils
- Add a (-j, --json) flag to file list
- When -j or --json flag is on, only json is printed

Refs: #3732

Merge branch 'feature-updownload-fromto-string' into develop

Update changelog, unittests for upload_from_string

Refs: #3608

Functional test and debug for upload_from_string

Refs: #3608

Implement upload_from_string

Implemented with threads

Refs: #3608

Optimize download_to_string by using threads

Refs: #3608

Implement download_to_string in pithos client

The download_to_string method downloads a remote object from pithos into a
string, which is then returned.

Also, implemented unit and functional tests. Changelog is updated

Refs: #3608

Merge branch 'bug-move-copy' into develop

Allow copy of deleted objects by refering to older

 Also disallow moving deleted objects by version The later was implemented by
accident, due to the symetry between move and copy

Refs: #3737

Fix typo dst_path instead of ds_path

Refs: 3737

Merge branch 'feature-enumeration' into develop

Add enumeration as optional for all list cmds

Refs: #3739

Merge branch 'bug-shell-cmd-syntax' into develop

Restore 2nd level command sysntax in shell

Refs: #3736

Merge branch 'feature-cache-container-info' into develop

Upload Changelog for container info upload caching

Refs: #3735

Cache container info request per upload session

Refs: #3735

Update changelog for upload's container_info_cache

Refs: #3707

Adjust pithos livetest to use container_info_cache

Refs: #3707

Update unitest to include container_info_cache

Refs: 3707

Add a container_infor_cache param to upload_object

Each upload involves a request that retrieves block size and hash information.
In higher level applications, this request is redudant after the first upload.
This feature allows higher level operations to cache retrieved container info
in a session.

Refs: #3707

Merge branch 'feature-upload-returns' into develop

Update documentation for -l at file upload

Refs: #3730

Add a -l option to upload: list uploaded details

If the upload is successfull, if the -l or --details argument is present,
kamaki lists all uploaded objects with all details returned by the server
(e.g. object version, date of creation, etc)

Refs: #3730

Update changelog (pithos upload modification)

Refs: #3656

Update livetest for upload return modification

Refs: #3656

Modify upload methods to return created obj info

Methods affected:
    upload_object
    upload_object_unchunked
    upload_object_by_manifestation

unittests modified accordingly

Refs: #3656

Merge branch 'feature-empty-container' into develop

Update Changelog for #3662

Implement purging a non-empty container

kamaki file purge <container> -F

will automatically empty a container before purging it

Refs: #3662

Merge branch 'feature-image-unregister' into develop

Implement livetest for image unregister

Refs: #3728

Merge branch 'feature-image-unregister' into develop

Update Changelog for image unregister feature

Expose image-unregister to cli and unittest it

Implement image unregister in kamaki.clients

Refs: #3728

Merge branch 'feature-shell-arguments' into develop

Update Changelog

Allow runtime args when invoking interactive shell

Refs: #3716

Behavior After This:
kamaki -XXX -YY ... parses -XXX -YY
If not recognized: syntax error
If recognized, group them into shell args (e.g. -h) and command args (e.g. -d)
Whenever a command is run in this shell instance, apply the command args

Practically, users may pass the -d or -v args to the shell and enjoy streaming
debug or verbosity logs, without having to pass -d or -v args on each command

Merge branch 'feature-cli-command-errors' into develop

Raise a descriptive error for misconfigured cmds

Refs: #3663

A command group that is declared in the config file is not supported
by valid command specification code or the specification code is not
pointed at by <command>.cli configure variable

Log initial call arguments in first log

Merge branch 'feature-logging' into develop

Move logger module to kamaki.cli

Make kamaki.clients unware of kamaki.logger

use logging for getting the loggers

Stop shell from destroying config instance

This caused warnings about preset variables

Merge branch 'feature-logging' into develop