Merge branch 'master' of https://code.grnet.gr/git/pithos

Fix POST to delete metadata when none is supplied. Add 'update' parameter to update certain meta values only.

client bug fixing in print usage

Fixes #567

Merge branch 'master' of https://code.grnet.gr/git/pithos

- display command usage instead of client usage
- include trashed objects in listing using meta filtering

Refs #576

Merge branch 'master' of https://code.grnet.gr/git/pithos

Finally displayed virtual folder hierarchy up to second level

Fix version list and copy from version when the object is deleted.
Remove 'public' from permissions.

Merge branch 'master' of https://code.grnet.gr/git/pithos

add command group and create option option sharing

for development assistance
for the time being they just pass the relative headers

Refs #567

Merge branch 'master' of https://code.grnet.gr/git/pithos

Initial permissions support.

* Use 'X-Object-Sharing' header to get/set permissions.
* Replaces 'X-Object-Public' header (now obsolete).
* No permission enforcement yet.

Refs #449
Refs #595

Fix tests (object HEAD returns 200).

bug fixing update/delete metadata

(sends back to the server only the user defined meta)
also bug fixing in client account unset (check for no path provided)
Fixes #576

add license & introduce include_trashed parameter
(default False) in list_objects

Refs #567

Merge branch 'master' of https://code.grnet.gr/git/pithos

+better metadata handling

instead of setting each time new metadata
(by replacing older)
lib provides 2 new methods:
update: for adding and updating older values
delete: for deleting older data
+methods for trashing and
restoring an object
+new client commands for:
- trashing (remove, rm), restoring (restore) objects
- deleting metadata (unset)
- creating directory markers (mkdir)
+ remove version option from move command
+minor changes for simplifying code
Fixes #567

Merge branch 'master' of https://code.grnet.gr/git/pithos

Add recommended practices/examples in docs.

reads exactly as many bytes from the response as the response content-length

refs to the problem with the trailing \n
Fixes #567

Bug fixes.

* Empty object update.
* Parameter version equal to 'list' in requests.
* Object HEAD response code (should be 200).
* Remove source version parameter when moving with PUT/MOVE.
* Mark 'X-Object-Public' as TBD in the docs.

Merge branch 'master' of https://code.grnet.gr/git/pithos

First version of client that displays first level containers

bug fixing in object version copy/move
and object update

Fixes #567

support for object version move
separate options for versionlist and get version
Refs #567

client support from COPY/MOVE from specific version
Refs #567

add version support
Refs #567

slight modifications to support list object versions
Refs #593

Add an X-Object-Size response header

204 responses set Content-Length to 0 and a different header is
needed in order to get the object size.

create zero-length objects
better exception handling
Refs #567

Fix manifest and copy/move prefix parsing.

support for account/container HEAD/GET until parameter
create zero-length objects
remove last trailing enter from response
Fixes #567

Add template for version list.

Refs #593

Large object support.

Add a simple FUSE backend client

Only supports flat hierarchies for now:
the only dirs are containers that can only contain files.

Requires MacFUSE in Mac OS X, Windows not supported.

Remove strip() from tests.

_list() strip data returned from server
before further processing
Fixes #567

_list(...) returns always list
in _get_metadata(...) prefix is optional: if not present returns all the metadata

remove leftover comments

support from chunked transfers, object update and move
Fixes #567

client support from chunked transfers, object update and move
Fixes #567

fixes chunked transfer data

Document versioning and public objects.

Fixes #593
Fixes #595

Versioning extras, including account/container "time machine".

* Update metadata with the hashmap to create a single new object version.
* Add source version when duplicating in PUT/COPY/MOVE.
* Add 'until' parameter in account/container HEAD/GET.
* Expose object version list.
* Include user in backend functions (for future use).

Refs #593

Limit metadata in object headers accessed via /public. Simplify implementation.

Refs #595

Pass account from request URL to backend functions and not request.user.

Support public files.

Use 'X-Object-Public' to mark files as public. Then they can be accessed via the /public URL without authentication.

Refs #595

Fix the #31a1c80d fix.

Fix modification time in accounts/containers.

Advanced versioning support. New backend.

- Everything is versioned in the backend.
- Time-controlled account/container listings.
- Initial API support with the 'version' parameter in object HEAD/GET.

Refs #593

fix for double matching metadata filtering

#Fixes 451

Fix precondition check replies.

Fixes #567
separates the interaction with the api from the command line tool
+ some extensions to support more options

Fixes #565

Fixes chunked object post with specific upto range limit

Fixes #565

import missing hashlib

Fix Content-Range parsing.

Add 411 error to POST in doc.

Produce new ETag when updating an object (corrected).

Produce new ETag when updating an object.

Merge branch 'master' of https://code.grnet.gr/git/pithos

Include storage type in container meta/hashmap replies. Minor doc updates.

Fixes #565

Document partial object updates and hashmaps.

Refs #563

Handle partial object updates through POST.

Change database placement/naming defaults.

Merge branch 'master' of https://code.grnet.gr/git/pithos

Fix object GET.

Merge branch 'master' of https://code.grnet.gr/git/pithos

minor improvements

Add a Content-Type header when sending data

add license

additional api tests

Merge branch 'master' of https://code.grnet.gr/git/pithos

Deployment improvements

* Better URL handling
* Always send a content-length with the cli client

Move doc to docs. Fix doc compilation warnings.

Add license.

Fixes #577

Provide metadata functions for tags and trash support. Restructure backend to work with blocks and hashmaps.

List of major API updates (tested and ready changes are in the docs):
* List object meta keys in container headers.
* Filter object listings based on their meta keys.
* Enforce metadata replacement on POST/COPY/MOVE.
* Add Content-Range to range replies.
* Return ETag in If-None-Match GET replies.
* Handle multi-range GET replies as outlined in RFC2616.
* Add Content-Disposition to the allowable object headers.
* Implement block per block GET and PUT.
* Better range parsing (and multiple ranges).

The new backend is version-ready, but the API does not yet implement versions. The frontend exposes hashmaps through GET - this may change.

Fixes #559
Fixes #561
Refs #563

Include documentation folder, README.

Fix account/container size reporting, zero-length object uploading.

Merge https://code.grnet.gr/git/pithos into pithospub

Add a simple client for the API

Add unit tests for backend and API

* Tests the OpenStack Object Storage API v1 functionality plus the extras
* Tests the functionality of a BaseBackend which implements the API

Fixes #451
Fixes #453

Implement basic functionality plus some extras

The API is based on the Apr. 15, 2011 release of the OpenStack Object Storage API v1.
The implementation is broken up into two layers - frontend (API) and backend (data and metadata handling).
The API is documented in the wiki. The following list is copied here for reference.

List of differences from the OOS API and clarifications:
* Authentication is done by another system. The token is used in the same way, but it is obtained differently. The top level GET request is kept compatible with the OOS API and allows for guest/testing operations.
* Support for X-Account-Meta-* style headers at the account level. Use POST to update.
* Support for X-Container-Meta-* style headers at the account level. Can be set when creating via PUT. Use POST to update.
* Some processing is done in the variable part of all X-*-Meta-* headers. If it includes underscores, they will be converted to dashes and the first letter of all intra-dash strings will be capitalized.
* All metadata replies, at all levels, include latest modification information.
* At all levels, a GET request may use If-Modified-Since and If-Unmodified-Since headers.
* A GET reply for a level will include all headers of the corresponding HEAD request.
* To avoid conflicts between objects and virtual directory markers in container listings, it is recommended that object names do not end with the delimiter used.
* The Accept header may be used in requests instead of the format parameter to specify the desired reply format. The parameter overrides the header.
* Container/object lists use a 200 return code if the reply is of type json/xml. The reply will include an empty json/xml.
* Container/object lists include all associated metadata if the reply is of type json/xml. Some names are kept to their OOS API equivalents for compatibility.
* In headers, dates are formatted according to RFC 1123. In extended information listings, dates are formatted according to ISO 8601.
* Object headers allowed, in addition to X-Object-Meta-*: Content-Encoding
* Object MOVE support.

Fixes #445
Fixes #447

Removed or commented out various things not related to v.2

Merge branch 'master' of https://code.grnet.gr/git/pithos

Removed un-needed files

Hardcoded pithos site url

Fixed css class names

Update default settings. Minor changes.

Refs #453

Refs #447

#Refs #447

Merge branch 'master' of https://code.grnet.gr/git/pithos

Updated copyright notice

Refs #453

Merge branch 'master' of https://code.grnet.gr/git/pithos

Clean up, sort out logging.