Adjust help messages to configuration changes

Refs:#3934

Fix a PEP8 issue

Adjust all command specs to multicloud/singleauth

Refs: #3934

Make sure user and history commands work fine

Refs: #3934

Adjust config cli commands to serve remotes

Refs: #3934

config set remote.smth.option value
  inserts option=value in remote smth
config get remote.smth
  lists the contents (key=val) of remote smth
config delete remote.smth.option
  deletes this specific option from the remote smth
config delete remote.smth
  completely erased the remote smth

Decide a cloud term, use it if no cloud.url

Refs: #3934

Implement remotes support in Config and cli init

Refs: #3934

In Config:

Simplify guess_version heuristics (check if the following exist:
    global.url/token, remote-defaults)
Trasnlate files 'remote "name"' to 3-level dict and back
Implement rescue_old_file to convert config files to v3.0

In kamaki.cli:

Implement method _check_config_version

Plan Config changes (rescue_old_file, translates)

Refs: #3934

rescue_old_file: mines info from old config file to use them in new file
translates:
  remote "smth" --> 'remote': {'smth': ...
  global.{url, token} --> remote.default.{url, token}
  <command>.cli --> global.command_cli
  some commands are maped to other names, e.g. pithos --> file
  <command>.url --> remote.defailt.<command>_url

Implement Config.guess_version for config files

Implement the Config.guess_version method

A. Hardcode the new kamaki config file

Refs: #3934

Breaks compatibility, implements a remotes-based config file

Backwards compatibility for configuraiton file

Compatible with kamaki config files v2

user.url, file.url, compute.url and image.url
are now valid and of higher priority to
astakos.url, pithos.url, cyclades.url, plankton.url
which are also valid

All these are ignored iff [global].auth_url is given

Fix typos in default and expected values

Handle url proccessing even if url is unicode

Also, fix typos and default values for service configurations

Fix typo in astakos client: version_id-->versionId

Adjust cached auth info reading to recent changes

Fix typos in user command flow

Apply servce.url options to cross-sercice calls

Refs: #3874

Let cross-service initializations to use explicit service endpoint urls if
there is no single authentication url.
- In Image commands, there are calls that use astakos and pithos clients
- In pithos there are calls that use astakos client

Use explicitely set services urls if no auth_url

Refs: #3874

In current configuration, kamaki checks for auth_url. If that fails,
it raises an error. If it is not set, it prints a warning and attempts
to read the <service>.url option from the configuration file.

Service urls: astakos.url, pithos.url, cyclades.url, plankton.url

Update changelog

Implement --cloud arg to switch between clouds

Refs: #3913

Config file can (optionaly) contain:

[remotes]
 example = https://www.example.org/astakos/identity/v2.0/
 old_version = https://www.example.org/astakos/identity/v1.0/
 ...

Now, user can explicitely request for a remote cloud authentication URI:

kamaki --cloud=<remote>

Merge branch 'develop' into feature-endpoints

Fix pep8 warning

Get endpoint urls for all CLI operations

Refs: #3874

Use kamaki.clients.astakos.AstakosClient as a cached astakos client to get
user information and, most importantly, endpoints. Allow users to authenticate
multiple tokens on the same session. In every session there must be at most
one authentication per user/token.

Major change: top kamaki.cli.commands class now contains a base_auth field
with the cached authenticating client. All urls are drained from this field.

Create config file version 3

Refs: #3874

Minimum config file:
[global]
token = <user token>

Changes:

- Only one field "cli" for user command specs, to map command groups to CLIs:

[cli]
 user = astakos
 file = pithos
 server = cyclades
...

- Specify client services/apis and versions.
 General format:
 [client]
  type = <service>
  version = <api version>

 Example:
 [cyclades]
  type = compute
  version = v2.0

Merge commit '528550d929d5d30009016ae23b2a948d13fe8eb3' into develop

Conflicts:
Changelog
version

Enrich/rename astakos client calls with endpoints

Refs: #3874

Kamaki.clients.astakos.AstakosClient is now a high-level client lib that
offers access to token-authenticated astakos-aquired cached information.
Users who need an astakos client should use the snf-astakosclient instead.

Usage:

 astakos_cache = AstakosClient(<astakos/base/url/with/identity/api>)
 astakos_cache.authenticate(<token>)
 user_info = astakos_cache.user_info()
 compute_endpoints = astakos_cache.get_service_endpoints('compute', 'v2')

Major changes:

Modify ReST call from /im/authenticate to /tokens

New methods as AstakosClient instance cache accessors:
 get_services
 get_service_details
 get_service_endpoints

Method renaiming for existing AstakosClient instance cache accessors:
 info --> user_info
 user --> list_users

Merge branch 'feature-osv2-compatibility' into release-0.9

Merge branch 'release-0.9' into feature-osv2-compatibility

Initialize version 0.10

Initialize kamaki v0.9rc1

Merge branch 'feature-expose-astakosclient' into develop

Merge branch 'feature-osv2-compatibility' into develop

Update Changelog for latest astakosclient cli

Expose some basix astakosclient methods to cli

Methods exposed:

get_user_info as authenticate
get_uuid[s] as uuid
get_username[s] as username
get_quotas as quotas
services_get_uuid[s]/username[s]/quotas as service uuid/username/quotas

Update log about astakos authenticate adjustment

Adjust astakos authenticate to snf-0.14 url sheme

Setup a snf-astakos command set

Update config file version tag

Fix typo in kamak.cli.logger import

Rename meta-->metadata and remove values @CLI

Refs: #3633

Rename meta-->metadata and remove values @lib

- Meta-->metadata in some cases, according to the expected cyclades API
- remove values level from requests and responses @ cyclades lib

Refs: #3633

Fix expected "public" header params in tests

Merge branch 'feature-image-meta-record-format' into develop

Add metadata management to image register

- validate image metadata format
- read metadata from file
- merge file-loaded metadata with runtimes
- store metadata file on pithos, check existance, overwrite with -f
- raise helpful error messages when there fail

Refs: #3797

Use _format_image_headers: image_register,get_meta

- Ensure uniform image meta output
- Easy to apply the correct meta format

Refs: #3797

Restore thread-wait for append

Fix typo (permition --> permission)

Merge branch 'feature-json-output' into develop

Conflicts:
Changelog
kamaki/cli/commands/image.py

Also, take care of pep8 issues

Fix typo in pithos upload output

Wait threads to finish in pithos append_object

Implement an optional json output 4 outputing cmds

Refs: #3732

Add json/optional output to astakos cmds

Refs: #3732

Add json/optional responses to flavor/network cmds

Refs: #3732

Add json/optional outputs to server commands

Refs: #3732

Do  not unpublish by default @ pithos rest calls

Refs: #3780

Merge branch 'feature-image-meta-record' into develop

Update and enrich error messages in image register

Parse ivalid property file and guide users to correct it
Guide users to pass valid container:path parameters

Refs:#3769

Print full and nice response in image register

Do not recalculate #blocks in upload_from_string

Refs: #3608

Do not recalculate #blocks in upload_from_string

Refs: #3608

Make sure registered properties are unique

Refs: #3769

Store image properties after image registration

Log of changes:
- Properties are stored in a remote file on Pithos+
- File name is <image-file>.meta
- Feature can be switched off with --no-property-file-upload
- If remote property file exists, registration is aborted
- If remote property file exists, force with -f, --fforce-upload-property-file
- Location is given as container:path
- User id can be aquired internaly with an astakos call

Refs: #3769, #3778

Optionaly load images properties from file

Refs: #3769

Merge branch 'feature-json-output' into feature-image-meta-record

Update documentation to reflect changes in output

Refs: #3756

Apply option outputs to image commands + renames

- Add image.add_member missing content-length header
- Rename image-[add|del]member commands to members-[add|delete]
- Remove update option from image-register
- In image-compute split properties to properties-list and properties-get
- Add optional output to methods
 * image: unregister, members add/delete/set
 * image compute: delete, properties delete
- Transliterate methods to list-get-set-delete command groups:
 * image: members, member
 * image compute: properties

Refs :#3756 #3732

Apply optional output to kamaki file commands

Apply the feature wherever is applicable
Generalize the feature by moving the corresponding code to _command_init

Update file operations and their output

Refs: #3756 #3732

 - Add optional output for file methods: mkdir, touch, create, move, create,
    copy, move, append, delete, purge, info, meta, upload
 - Transliterate permissions and metadata methods to apear as get/set/delete
    command subgroups
    e.g. kamaki file metadata set ...
    instead of
    kamaki file setmeta
- Add method create_container to pithos client, add unit and functional tests

Add output to file copy/move

Also, kamaki.clients.pithos.copy/move_object returns response headers

Refs: #3756 #3732

Add output support to create methods

Refs: #3756 #3732

In kamaki.clients
-------------------
- storage.create_directory returns response headers
- implement pithos.create_container

In kamaki.cli.pithos
-------------------
- add flag --with_output for optional output
- add (-j, --json) flag for optional json-formated output
- apply these changes to file_mkdir, file_touch, file_create

Add json formated output for file list

- Implement a print_json auxiliary method in kamaki.cli.utils
- Add a (-j, --json) flag to file list
- When -j or --json flag is on, only json is printed

Refs: #3732

Merge branch 'feature-updownload-fromto-string' into develop

Update changelog, unittests for upload_from_string

Refs: #3608

Functional test and debug for upload_from_string

Refs: #3608

Implement upload_from_string

Implemented with threads

Refs: #3608

Optimize download_to_string by using threads

Refs: #3608

Implement download_to_string in pithos client

The download_to_string method downloads a remote object from pithos into a
string, which is then returned.

Also, implemented unit and functional tests. Changelog is updated

Refs: #3608

Merge branch 'bug-move-copy' into develop

Allow copy of deleted objects by refering to older

 Also disallow moving deleted objects by version The later was implemented by
accident, due to the symetry between move and copy

Refs: #3737

Fix typo dst_path instead of ds_path

Refs: 3737

Merge branch 'feature-enumeration' into develop

Add enumeration as optional for all list cmds

Refs: #3739

Merge branch 'bug-shell-cmd-syntax' into develop

Restore 2nd level command sysntax in shell

Refs: #3736

Merge branch 'feature-cache-container-info' into develop

Upload Changelog for container info upload caching

Refs: #3735

Cache container info request per upload session

Refs: #3735

Update changelog for upload's container_info_cache

Refs: #3707

Adjust pithos livetest to use container_info_cache

Refs: #3707

Update unitest to include container_info_cache

Refs: 3707

Add a container_infor_cache param to upload_object

Each upload involves a request that retrieves block size and hash information.
In higher level applications, this request is redudant after the first upload.
This feature allows higher level operations to cache retrieved container info
in a session.

Refs: #3707

Merge branch 'feature-upload-returns' into develop

Update documentation for -l at file upload

Refs: #3730

Add a -l option to upload: list uploaded details

If the upload is successfull, if the -l or --details argument is present,
kamaki lists all uploaded objects with all details returned by the server
(e.g. object version, date of creation, etc)

Refs: #3730

Update changelog (pithos upload modification)

Refs: #3656

Update livetest for upload return modification

Refs: #3656

Modify upload methods to return created obj info

Methods affected:
    upload_object
    upload_object_unchunked
    upload_object_by_manifestation

unittests modified accordingly

Refs: #3656

Merge branch 'feature-empty-container' into develop

Update Changelog for #3662