Setup a snf-astakos command set

Update config file version tag

Fix typo in kamak.cli.logger import

Rename meta-->metadata and remove values @CLI

Refs: #3633

Rename meta-->metadata and remove values @lib

- Meta-->metadata in some cases, according to the expected cyclades API
- remove values level from requests and responses @ cyclades lib

Refs: #3633

Fix expected "public" header params in tests

Merge branch 'feature-image-meta-record-format' into develop

Add metadata management to image register

- validate image metadata format
- read metadata from file
- merge file-loaded metadata with runtimes
- store metadata file on pithos, check existance, overwrite with -f
- raise helpful error messages when there fail

Refs: #3797

Use _format_image_headers: image_register,get_meta

- Ensure uniform image meta output
- Easy to apply the correct meta format

Refs: #3797

Restore thread-wait for append

Fix typo (permition --> permission)

Merge branch 'feature-json-output' into develop

Conflicts:
Changelog
kamaki/cli/commands/image.py

Also, take care of pep8 issues

Fix typo in pithos upload output

Wait threads to finish in pithos append_object

Implement an optional json output 4 outputing cmds

Refs: #3732

Add json/optional output to astakos cmds

Refs: #3732

Add json/optional responses to flavor/network cmds

Refs: #3732

Add json/optional outputs to server commands

Refs: #3732

Do  not unpublish by default @ pithos rest calls

Refs: #3780

Merge branch 'feature-image-meta-record' into develop

Update and enrich error messages in image register

Parse ivalid property file and guide users to correct it
Guide users to pass valid container:path parameters

Refs:#3769

Print full and nice response in image register

Do not recalculate #blocks in upload_from_string

Refs: #3608

Do not recalculate #blocks in upload_from_string

Refs: #3608

Make sure registered properties are unique

Refs: #3769

Store image properties after image registration

Log of changes:
- Properties are stored in a remote file on Pithos+
- File name is <image-file>.meta
- Feature can be switched off with --no-property-file-upload
- If remote property file exists, registration is aborted
- If remote property file exists, force with -f, --fforce-upload-property-file
- Location is given as container:path
- User id can be aquired internaly with an astakos call

Refs: #3769, #3778

Optionaly load images properties from file

Refs: #3769

Merge branch 'feature-json-output' into feature-image-meta-record

Update documentation to reflect changes in output

Refs: #3756

Apply option outputs to image commands + renames

- Add image.add_member missing content-length header
- Rename image-[add|del]member commands to members-[add|delete]
- Remove update option from image-register
- In image-compute split properties to properties-list and properties-get
- Add optional output to methods
 * image: unregister, members add/delete/set
 * image compute: delete, properties delete
- Transliterate methods to list-get-set-delete command groups:
 * image: members, member
 * image compute: properties

Refs :#3756 #3732

Apply optional output to kamaki file commands

Apply the feature wherever is applicable
Generalize the feature by moving the corresponding code to _command_init

Update file operations and their output

Refs: #3756 #3732

 - Add optional output for file methods: mkdir, touch, create, move, create,
    copy, move, append, delete, purge, info, meta, upload
 - Transliterate permissions and metadata methods to apear as get/set/delete
    command subgroups
    e.g. kamaki file metadata set ...
    instead of
    kamaki file setmeta
- Add method create_container to pithos client, add unit and functional tests

Add output to file copy/move

Also, kamaki.clients.pithos.copy/move_object returns response headers

Refs: #3756 #3732

Add output support to create methods

Refs: #3756 #3732

In kamaki.clients
-------------------
- storage.create_directory returns response headers
- implement pithos.create_container

In kamaki.cli.pithos
-------------------
- add flag --with_output for optional output
- add (-j, --json) flag for optional json-formated output
- apply these changes to file_mkdir, file_touch, file_create

Add json formated output for file list

- Implement a print_json auxiliary method in kamaki.cli.utils
- Add a (-j, --json) flag to file list
- When -j or --json flag is on, only json is printed

Refs: #3732

Merge branch 'feature-updownload-fromto-string' into develop

Update changelog, unittests for upload_from_string

Refs: #3608

Functional test and debug for upload_from_string

Refs: #3608

Implement upload_from_string

Implemented with threads

Refs: #3608

Optimize download_to_string by using threads

Refs: #3608

Implement download_to_string in pithos client

The download_to_string method downloads a remote object from pithos into a
string, which is then returned.

Also, implemented unit and functional tests. Changelog is updated

Refs: #3608

Merge branch 'bug-move-copy' into develop

Allow copy of deleted objects by refering to older

 Also disallow moving deleted objects by version The later was implemented by
accident, due to the symetry between move and copy

Refs: #3737

Fix typo dst_path instead of ds_path

Refs: 3737

Merge branch 'feature-enumeration' into develop

Add enumeration as optional for all list cmds

Refs: #3739

Merge branch 'bug-shell-cmd-syntax' into develop

Restore 2nd level command sysntax in shell

Refs: #3736

Merge branch 'feature-cache-container-info' into develop

Upload Changelog for container info upload caching

Refs: #3735

Cache container info request per upload session

Refs: #3735

Update changelog for upload's container_info_cache

Refs: #3707

Adjust pithos livetest to use container_info_cache

Refs: #3707

Update unitest to include container_info_cache

Refs: 3707

Add a container_infor_cache param to upload_object

Each upload involves a request that retrieves block size and hash information.
In higher level applications, this request is redudant after the first upload.
This feature allows higher level operations to cache retrieved container info
in a session.

Refs: #3707

Merge branch 'feature-upload-returns' into develop

Update documentation for -l at file upload

Refs: #3730

Add a -l option to upload: list uploaded details

If the upload is successfull, if the -l or --details argument is present,
kamaki lists all uploaded objects with all details returned by the server
(e.g. object version, date of creation, etc)

Refs: #3730

Update changelog (pithos upload modification)

Refs: #3656

Update livetest for upload return modification

Refs: #3656

Modify upload methods to return created obj info

Methods affected:
    upload_object
    upload_object_unchunked
    upload_object_by_manifestation

unittests modified accordingly

Refs: #3656

Merge branch 'feature-empty-container' into develop

Update Changelog for #3662

Implement purging a non-empty container

kamaki file purge <container> -F

will automatically empty a container before purging it

Refs: #3662

Merge branch 'feature-image-unregister' into develop

Implement livetest for image unregister

Refs: #3728

Merge branch 'feature-image-unregister' into develop

Update Changelog for image unregister feature

Expose image-unregister to cli and unittest it

Implement image unregister in kamaki.clients

Refs: #3728

Merge branch 'feature-shell-arguments' into develop

Update Changelog

Allow runtime args when invoking interactive shell

Refs: #3716

Behavior After This:
kamaki -XXX -YY ... parses -XXX -YY
If not recognized: syntax error
If recognized, group them into shell args (e.g. -h) and command args (e.g. -d)
Whenever a command is run in this shell instance, apply the command args

Practically, users may pass the -d or -v args to the shell and enjoy streaming
debug or verbosity logs, without having to pass -d or -v args on each command

Merge branch 'feature-cli-command-errors' into develop

Raise a descriptive error for misconfigured cmds

Refs: #3663

A command group that is declared in the config file is not supported
by valid command specification code or the specification code is not
pointed at by <command>.cli configure variable

Log initial call arguments in first log

Merge branch 'feature-logging' into develop

Move logger module to kamaki.cli

Make kamaki.clients unware of kamaki.logger

use logging for getting the loggers

Stop shell from destroying config instance

This caused warnings about preset variables

Merge branch 'feature-logging' into develop

Update Changelog to reflect #3715 changes

Allow activation/deactivation of specific loggers

refs: #3715
Logger settings are not aborted and will be restored at deactivation

Also, remove all logger creation functionality from kamaki.clients
A file or stream logger should be created an the kamaki.clients caller side
In this case, the caller is kamaki.cli
Kamaki.cli should handle where and how the loggers will output. Kamaki.clients
will log as __name__ and the two extras: kamaki.clients.send/recv

An external app can now import kamaki and create a logger named "kamaki" and
this will log whatever kamaki is logging. The external app will handle loggers
as they wish.

Update changelog for feature #3668

Merge branch 'feature-logging' into develop

Remove log redaduncy when logging in a file

Use < and > in stream logger for send/recv resp.

Globalize logger usage

Unsolved bug: redudant info in logfile

Wipe logger add_file_logger

Fix typo in _create_or_get_missing_hashes call

Honour if_(none_)match even if all blocks are up

Refs: bug #3708

Expand logger to support stream logging, simplify

Adjust expected values in fanctional client tests

Make containerlimit set/get aware of 0==unlimited

containerlimit set -h will tell users to use 0 for unlimited
containerlimit get will print "unlimited" if received a 0 value

Alow uploading to container with limit 0

Container limit 0 means "unlimited"

Update Changelog

Move addproperty from image to image compute

Fix typo with --config and --property args (#3658)

Update documentation to refer to www.synnefo.org

Stop doc building from crushing if no objpool