c6ccebef54e35685bb753b52662352a6e69bb87d
[pithos] / docs / source / devguide.rst
1 Pithos v2 Developer Guide
2 =========================
3
4 Introduction
5 ------------
6
7 Pithos is a storage service implemented by GRNET (http://www.grnet.gr). Data is stored as objects, organized in containers, belonging to an account. This hierarchy of storage layers has been inspired by the OpenStack Object Storage (OOS) API and similar CloudFiles API by Rackspace. The Pithos API follows the OOS API as closely as possible. One of the design requirements has been to be able to use Pithos with clients built for the OOS, without changes.
8
9 However, to be able to take full advantage of the Pithos infrastructure, client software should be aware of the extensions that differentiate Pithos from OOS. Pithos objects can be updated, or appended to. Pithos will store sharing permissions per object and enforce corresponding authorization policies. Automatic version management, allows taking account and container listings back in time, as well as reading previous instances of objects.
10
11 The storage backend of Pithos is block oriented, permitting efficient, deduplicated data placement. The block structure of objects is exposed at the API layer, in order to encourage external software to implement advanced data management operations.
12
13 This document's goals are:
14
15 * Define the Pithos ReST API that allows the storage and retrieval of data and metadata via HTTP calls
16 * Specify metadata semantics and user interface guidelines for a common experience across client software implementations
17
18 The present document is meant to be read alongside the OOS API documentation. Thus, it is suggested that the reader is familiar with associated technologies, the OOS API as well as the first version of the Pithos API. This document refers to the second version of Pithos. Information on the first version of the storage API can be found at http://code.google.com/p/gss.
19
20 Whatever marked as to be determined (**TBD**), should not be considered by implementors.
21
22 Document Revisions
23 ^^^^^^^^^^^^^^^^^^
24
25 =========================  ================================
26 Revision                   Description
27 =========================  ================================
28 0.7 (Oct 4, 2011)          Suggest upload/download methods using hashmaps.
29 \                          Propose syncing algorithm.
30 \                          Support cross-account object copy and move.
31 \                          Pass token as a request parameter when using ``POST`` via an HTML form.
32 \                          Optionally use source account to update object from another object.
33 \                          Use container ``POST`` to upload missing blocks of data.
34 0.6 (Sept 13, 2011)        Reply with Merkle hash as the ETag when updating objects.
35 \                          Include version id in object replace/change replies.
36 \                          Change conflict (409) replies format to text.
37 \                          Tags should be migrated to a meta value.
38 \                          Container ``PUT`` updates metadata/policy.
39 \                          Report allowed actions in shared object replies.
40 \                          Provide ``https://hostname/login`` for Shibboleth authentication.
41 \                          Use ``hashmap`` parameter in object ``GET``/``PUT`` to use hashmaps.
42 0.5 (July 22, 2011)        Object update from another object's data.
43 \                          Support object truncate.
44 \                          Create object using a standard HTML form.
45 \                          Purge container/object history.
46 \                          List other accounts that share objects with a user.
47 \                          List shared containers/objects.
48 \                          Update implementation guidelines.
49 \                          Check preconditions when creating/updating objects.
50 0.4 (July 01, 2011)        Object permissions and account groups.
51 \                          Control versioning behavior and container quotas with container policy directives.
52 \                          Support updating/deleting individual metadata with ``POST``.
53 \                          Create object using hashmap.
54 0.3 (June 14, 2011)        Large object support with ``X-Object-Manifest``.
55 \                          Allow for publicly available objects via ``https://hostname/public``.
56 \                          Support time-variant account/container listings. 
57 \                          Add source version when duplicating with ``PUT``/``COPY``.
58 \                          Request version in object ``HEAD``/``GET`` requests (list versions with ``GET``).
59 0.2 (May 31, 2011)         Add object meta listing and filtering in containers.
60 \                          Include underlying storage characteristics in container meta.
61 \                          Support for partial object updates through ``POST``.
62 \                          Expose object hashmaps through ``GET``.
63 \                          Support for multi-range object ``GET`` requests.
64 0.1 (May 17, 2011)         Initial release. Based on OpenStack Object Storage Developer Guide API v1 (Apr. 15, 2011).
65 =========================  ================================
66
67 Pithos Users and Authentication
68 -------------------------------
69
70 Pithos keeps separate databases for users and objects.
71
72 Each user is uniquely identified by the ``Uniq`` field. This should be used as the user's account in the API. The API uses the ``Token`` field to authenticate a user, thus allowing cross-account requests. All API requests require a token.
73
74 User entries can be modified/added via the management interface available at ``https://hostname/admin``.
75
76 Pithos is also compatible with Shibboleth (http://shibboleth.internet2.edu/). The connection between Shibboleth and Pithos is done by ``https://hostname/login``. An application that wishes to connect to Pithos, but does not have a token, should redirect the user to the login URI.
77
78 The login URI accepts the following parameters:
79
80 ======================  =========================
81 Request Parameter Name  Value
82 ======================  =========================
83 next                    The URI to redirect to when the process is finished
84 renew                   Force token renewal (no value parameter)
85 ======================  =========================
86
87 The login process starts by redirecting the user to an external URI (controlled by Shibboleth), where the actual authentication credentials are entered. Then, the user is redirected back to the login URI from Shibboleth, with various identification information in the request headers.
88
89 If the user does not exist in the database, Pithos adds the user and creates a random token. If the user exists, the token has not expired and ``renew`` is not set, the existing token is reused. Finally, the login URI redirects to the URI provided with ``next``, adding the ``user`` and ``token`` parameters, which contain the ``Uniq`` and ``Token`` fields respectively. 
90
91 The Pithos API
92 --------------
93
94 The URI requests supported by the Pithos API follow one of the following forms:
95
96 * Top level: ``https://hostname/v1/``
97 * Account level: ``https://hostname/v1/<account>``
98 * Container level: ``https://hostname/v1/<account>/<container>``
99 * Object level: ``https://hostname/v1/<account>/<container>/<object>``
100
101 All requests must include an ``X-Auth-Token`` - as a header, or a parameter.
102
103 The allowable request operations and respective return codes per level are presented in the remainder of this chapter. Common to all requests are the following return codes.
104
105 =========================  ================================
106 Return Code                Description
107 =========================  ================================
108 400 (Bad Request)          The request is invalid
109 401 (Unauthorized)         Request not allowed
110 404 (Not Found)            The requested resource was not found
111 503 (Service Unavailable)  The request cannot be completed because of an internal error
112 =========================  ================================
113
114 Top Level
115 ^^^^^^^^^
116
117 List of operations:
118
119 =========  ==================
120 Operation  Description
121 =========  ==================
122 GET        Authentication (for compatibility with the OOS API) or list allowed accounts
123 =========  ==================
124
125 GET
126 """
127
128 If the ``X-Auth-User`` and ``X-Auth-Key`` headers are given, a dummy ``X-Auth-Token`` and ``X-Storage-Url`` will be replied, which can be used as a guest token/namespace for testing Pithos.
129
130 ================  =====================
131 Return Code       Description
132 ================  =====================
133 204 (No Content)  The request succeeded
134 ================  =====================
135
136 If an ``X-Auth-Token`` is already present, the operation will be interpreted as a request to list other accounts that share objects to the user.
137
138 ======================  =========================
139 Request Parameter Name  Value
140 ======================  =========================
141 limit                   The amount of results requested (default is 10000)
142 marker                  Return containers with name lexicographically after marker
143 format                  Optional extended reply type (can be ``json`` or ``xml``)
144 ======================  =========================
145
146 The reply is a list of account names.
147 If a ``format=xml`` or ``format=json`` argument is given, extended information on the accounts will be returned, serialized in the chosen format.
148 For each account, the information will include the following (names will be in lower case and with hyphens replaced with underscores):
149
150 ===========================  ============================
151 Name                         Description
152 ===========================  ============================
153 name                         The name of the account
154 last_modified                The last account modification date (regardless of ``until``)
155 ===========================  ============================
156
157 Example ``format=json`` reply:
158
159 ::
160
161   [{"name": "user", "last_modified": "2011-07-19T10:48:16"}, ...]
162
163 Example ``format=xml`` reply:
164
165 ::
166
167   <?xml version="1.0" encoding="UTF-8"?>
168   <accounts>
169     <account>
170       <name>user</name>
171       <last_modified>2011-07-19T10:48:16</last_modified>
172     </account>
173     <account>...</account>
174   </accounts>
175
176 ===========================  =====================
177 Return Code                  Description
178 ===========================  =====================
179 200 (OK)                     The request succeeded
180 204 (No Content)             The user has no access to other accounts (only for non-extended replies)
181 ===========================  =====================
182
183 Will use a ``200`` return code if the reply is of type json/xml.
184
185 Account Level
186 ^^^^^^^^^^^^^
187
188 List of operations:
189
190 =========  ==================
191 Operation  Description
192 =========  ==================
193 HEAD       Retrieve account metadata
194 GET        List containers
195 POST       Update account metadata
196 =========  ==================
197
198 HEAD
199 """"
200
201 ====================  ===========================
202 Request Header Name   Value
203 ====================  ===========================
204 If-Modified-Since     Retrieve if account has changed since provided timestamp
205 If-Unmodified-Since   Retrieve if account has not changed since provided timestamp
206 ====================  ===========================
207
208 |
209
210 ======================  ===================================
211 Request Parameter Name  Value
212 ======================  ===================================
213 until                   Optional timestamp
214 ======================  ===================================
215
216 Cross-user requests are not allowed to use ``until`` and only include the account modification date in the reply.
217
218 ==========================  =====================
219 Reply Header Name           Value
220 ==========================  =====================
221 X-Account-Container-Count   The total number of containers
222 X-Account-Object-Count      The total number of objects (**TBD**)
223 X-Account-Bytes-Used        The total number of bytes stored
224 X-Account-Bytes-Remaining   The total number of bytes remaining
225 X-Account-Last-Login        The last login (**TBD**)
226 X-Account-Until-Timestamp   The last account modification date until the timestamp provided
227 X-Account-Group-*           Optional user defined groups
228 X-Account-Meta-*            Optional user defined metadata
229 Last-Modified               The last account modification date (regardless of ``until``)
230 ==========================  =====================
231
232 |
233
234 ================  =====================
235 Return Code       Description
236 ================  =====================
237 204 (No Content)  The request succeeded
238 ================  =====================
239
240
241 GET
242 """
243
244 ====================  ===========================
245 Request Header Name   Value
246 ====================  ===========================
247 If-Modified-Since     Retrieve if account has changed since provided timestamp
248 If-Unmodified-Since   Retrieve if account has not changed since provided timestamp
249 ====================  ===========================
250
251 |
252
253 ======================  =========================
254 Request Parameter Name  Value
255 ======================  =========================
256 limit                   The amount of results requested (default is 10000)
257 marker                  Return containers with name lexicographically after marker
258 format                  Optional extended reply type (can be ``json`` or ``xml``)
259 shared                  Show only shared containers (no value parameter)
260 until                   Optional timestamp
261 ======================  =========================
262
263 The reply is a list of container names. Account headers (as in a ``HEAD`` request) will also be included.
264 Cross-user requests are not allowed to use ``until`` and only include the account/container modification dates in the reply.
265
266 If a ``format=xml`` or ``format=json`` argument is given, extended information on the containers will be returned, serialized in the chosen format.
267 For each container, the information will include all container metadata (names will be in lower case and with hyphens replaced with underscores):
268
269 ===========================  ============================
270 Name                         Description
271 ===========================  ============================
272 name                         The name of the container
273 count                        The number of objects inside the container
274 bytes                        The total size of the objects inside the container
275 last_modified                The last container modification date (regardless of ``until``)
276 x_container_until_timestamp  The last container modification date until the timestamp provided
277 x_container_policy_*         Container behavior and limits
278 x_container_meta_*           Optional user defined metadata
279 ===========================  ============================
280
281 For examples of container details returned in JSON/XML formats refer to the OOS API documentation.
282
283 ===========================  =====================
284 Return Code                  Description
285 ===========================  =====================
286 200 (OK)                     The request succeeded
287 204 (No Content)             The account has no containers (only for non-extended replies)
288 304 (Not Modified)           The account has not been modified
289 412 (Precondition Failed)    The condition set can not be satisfied
290 ===========================  =====================
291
292 Will use a ``200`` return code if the reply is of type json/xml.
293
294
295 POST
296 """"
297
298 ====================  ===========================
299 Request Header Name   Value
300 ====================  ===========================
301 X-Account-Group-*     Optional user defined groups
302 X-Account-Meta-*      Optional user defined metadata
303 ====================  ===========================
304
305 |
306
307 ======================  ============================================
308 Request Parameter Name  Value
309 ======================  ============================================
310 update                  Do not replace metadata/groups (no value parameter)
311 ======================  ============================================
312
313 No reply content/headers.
314
315 The operation will overwrite all user defined metadata, except if ``update`` is defined.
316 To create a group, include an ``X-Account-Group-*`` header with the name in the key and a comma separated list of user names in the value. If no ``X-Account-Group-*`` header is present, no changes will be applied to groups. The ``update`` parameter also applies to groups. To delete a specific group, use ``update`` and an empty header value.
317
318 ================  ===============================
319 Return Code       Description
320 ================  ===============================
321 202 (Accepted)    The request has been accepted
322 ================  ===============================
323
324
325 Container Level
326 ^^^^^^^^^^^^^^^
327
328 List of operations:
329
330 =========  ============================
331 Operation  Description
332 =========  ============================
333 HEAD       Retrieve container metadata
334 GET        List objects
335 PUT        Create/update container
336 POST       Update container metadata
337 DELETE     Delete container
338 =========  ============================
339
340
341 HEAD
342 """"
343
344 ====================  ===========================
345 Request Header Name   Value
346 ====================  ===========================
347 If-Modified-Since     Retrieve if container has changed since provided timestamp
348 If-Unmodified-Since   Retrieve if container has not changed since provided timestamp
349 ====================  ===========================
350
351 |
352
353 ======================  ===================================
354 Request Parameter Name  Value
355 ======================  ===================================
356 until                   Optional timestamp
357 ======================  ===================================
358
359 Cross-user requests are not allowed to use ``until`` and only include the container modification date in the reply.
360
361 ===========================  ===============================
362 Reply Header Name            Value
363 ===========================  ===============================
364 X-Container-Object-Count     The total number of objects in the container
365 X-Container-Bytes-Used       The total number of bytes of all objects stored
366 X-Container-Block-Size       The block size used by the storage backend
367 X-Container-Block-Hash       The hash algorithm used for block identifiers in object hashmaps
368 X-Container-Until-Timestamp  The last container modification date until the timestamp provided
369 X-Container-Object-Meta      A list with all meta keys used by objects (**TBD**)
370 X-Container-Policy-*         Container behavior and limits
371 X-Container-Meta-*           Optional user defined metadata
372 Last-Modified                The last container modification date (regardless of ``until``)
373 ===========================  ===============================
374
375 The keys returned in ``X-Container-Object-Meta`` are all the unique strings after the ``X-Object-Meta-`` prefix, formatted as a comma-separated list. See container ``PUT`` for a reference of policy directives. (**TBD**)
376
377 ================  ===============================
378 Return Code       Description
379 ================  ===============================
380 204 (No Content)  The request succeeded
381 ================  ===============================
382
383
384 GET
385 """
386
387 ====================  ===========================
388 Request Header Name   Value
389 ====================  ===========================
390 If-Modified-Since     Retrieve if container has changed since provided timestamp
391 If-Unmodified-Since   Retrieve if container has not changed since provided timestamp
392 ====================  ===========================
393
394 |
395
396 ======================  ===================================
397 Request Parameter Name  Value
398 ======================  ===================================
399 limit                   The amount of results requested (default is 10000)
400 marker                  Return containers with name lexicographically after marker
401 prefix                  Return objects starting with prefix
402 delimiter               Return objects up to the delimiter (discussion follows)
403 path                    Assume ``prefix=path`` and ``delimiter=/``
404 format                  Optional extended reply type (can be ``json`` or ``xml``)
405 meta                    Return objects having the specified meta keys (can be a comma separated list)
406 shared                  Show only shared objects (no value parameter)
407 until                   Optional timestamp
408 ======================  ===================================
409
410 The ``path`` parameter overrides ``prefix`` and ``delimiter``. When using ``path``, results will include objects ending in ``delimiter``.
411
412 The keys given with ``meta`` will be matched with the strings after the ``X-Object-Meta-`` prefix.
413
414 The reply is a list of object names. Container headers (as in a ``HEAD`` request) will also be included.
415 Cross-user requests are not allowed to use ``until`` and include the following limited set of headers in the reply:
416
417 ===========================  ===============================
418 Reply Header Name            Value
419 ===========================  ===============================
420 X-Container-Block-Size       The block size used by the storage backend
421 X-Container-Block-Hash       The hash algorithm used for block identifiers in object hashmaps
422 X-Container-Object-Meta      A list with all meta keys used by allowed objects (**TBD**)
423 Last-Modified                The last container modification date
424 ===========================  ===============================
425
426 If a ``format=xml`` or ``format=json`` argument is given, extended information on the objects will be returned, serialized in the chosen format.
427 For each object, the information will include all object metadata (names will be in lower case and with hyphens replaced with underscores):
428
429 ==========================  ======================================
430 Name                        Description
431 ==========================  ======================================
432 name                        The name of the object
433 hash                        The ETag of the object
434 bytes                       The size of the object
435 content_type                The MIME content type of the object
436 content_encoding            The encoding of the object (optional)
437 content-disposition         The presentation style of the object (optional)
438 last_modified               The last object modification date (regardless of version)
439 x_object_version            The object's version identifier
440 x_object_version_timestamp  The object's version timestamp
441 x_object_modified_by        The user that committed the object's version
442 x_object_manifest           Object parts prefix in ``<container>/<object>`` form (optional)
443 x_object_sharing            Object permissions (optional)
444 x_object_shared_by          Object inheriting permissions (optional)
445 x_object_allowed_to         Allowed actions on object (optional)
446 x_object_public             Object's publicly accessible URI (optional)
447 x_object_meta_*             Optional user defined metadata
448 ==========================  ======================================
449
450 Extended replies may also include virtual directory markers in separate sections of the ``json`` or ``xml`` results.
451 Virtual directory markers are only included when ``delimiter`` is explicitly set. They correspond to the substrings up to and including the first occurrence of the delimiter.
452 In JSON results they appear as dictionaries with only a ``"subdir"`` key. In XML results they appear interleaved with ``<object>`` tags as ``<subdir name="..." />``.
453 In case there is an object with the same name as a virtual directory marker, the object will be returned.
454
455 For examples of object details returned in JSON/XML formats refer to the OOS API documentation.
456
457 ===========================  ===============================
458 Return Code                  Description
459 ===========================  ===============================
460 200 (OK)                     The request succeeded
461 204 (No Content)             The account has no containers (only for non-extended replies)
462 304 (Not Modified)           The container has not been modified
463 412 (Precondition Failed)    The condition set can not be satisfied
464 ===========================  ===============================
465
466 Will use a ``200`` return code if the reply is of type json/xml.
467
468
469 PUT
470 """
471
472 ====================  ================================
473 Request Header Name   Value
474 ====================  ================================
475 X-Container-Policy-*  Container behavior and limits
476 X-Container-Meta-*    Optional user defined metadata
477 ====================  ================================
478  
479 No reply content/headers.
480
481 If no policy is defined, the container will be created with the default values.
482 Available policy directives:
483
484 * ``versioning``: Set to ``auto``, ``manual`` or ``none`` (default is ``manual``)
485 * ``quota``: Size limit in KB (default is ``0`` - unlimited)
486
487 If the container already exists, the operation is equal to a ``POST`` with ``update`` defined.
488
489 ================  ===============================
490 Return Code       Description
491 ================  ===============================
492 201 (Created)     The container has been created
493 202 (Accepted)    The request has been accepted
494 ================  ===============================
495
496
497 POST
498 """"
499
500 ====================  ================================
501 Request Header Name   Value
502 ====================  ================================
503 Content-Length        The size of the supplied data (optional, to upload)
504 Content-Type          The MIME content type of the supplied data (optional, to upload)
505 Transfer-Encoding     Set to ``chunked`` to specify incremental uploading (if used, ``Content-Length`` is ignored)
506 X-Container-Policy-*  Container behavior and limits
507 X-Container-Meta-*    Optional user defined metadata
508 ====================  ================================
509
510 |
511
512 ======================  ============================================
513 Request Parameter Name  Value
514 ======================  ============================================
515 update                  Do not replace metadata/policy (no value parameter)
516 ======================  ============================================
517
518 No reply content/headers, except when uploading data, where the reply consists of a list of hashes for the blocks received (in a simple text format, with one hash per line).
519
520 The operation will overwrite all user defined metadata, except if ``update`` is defined.
521 To change policy, include an ``X-Container-Policy-*`` header with the name in the key. If no ``X-Container-Policy-*`` header is present, no changes will be applied to policy. The ``update`` parameter also applies to policy - deleted values will revert to defaults. To delete/revert a specific policy directive, use ``update`` and an empty header value. See container ``PUT`` for a reference of policy directives.
522
523 To upload blocks of data to the container, set ``Content-Type`` to ``application/octet-stream`` and ``Content-Length`` to a valid value (except if using ``chunked`` as the ``Transfer-Encoding``).
524
525 ================  ===============================
526 Return Code       Description
527 ================  ===============================
528 202 (Accepted)    The request has been accepted
529 ================  ===============================
530
531
532 DELETE
533 """"""
534
535 ======================  ===================================
536 Request Parameter Name  Value
537 ======================  ===================================
538 until                   Optional timestamp
539 ======================  ===================================
540
541 If ``until`` is defined, the container is "purged" up to that time (the history of all objects up to then is deleted).
542
543 No reply content/headers.
544
545 ================  ===============================
546 Return Code       Description
547 ================  ===============================
548 204 (No Content)  The request succeeded
549 409 (Conflict)    The container is not empty
550 ================  ===============================
551
552
553 Object Level
554 ^^^^^^^^^^^^
555
556 List of operations:
557
558 =========  =================================
559 Operation  Description
560 =========  =================================
561 HEAD       Retrieve object metadata
562 GET        Read object data
563 PUT        Write object data or copy/move object
564 COPY       Copy object
565 MOVE       Move object
566 POST       Update object metadata/data
567 DELETE     Delete object
568 =========  =================================
569
570
571 HEAD
572 """"
573
574 ====================  ================================
575 Request Header Name   Value
576 ====================  ================================
577 If-Match              Retrieve if ETags match
578 If-None-Match         Retrieve if ETags don't match
579 If-Modified-Since     Retrieve if object has changed since provided timestamp
580 If-Unmodified-Since   Retrieve if object has not changed since provided timestamp
581 ====================  ================================
582
583 |
584
585 ======================  ===================================
586 Request Parameter Name  Value
587 ======================  ===================================
588 version                 Optional version identifier
589 ======================  ===================================
590
591 |
592
593 ==========================  ===============================
594 Reply Header Name           Value
595 ==========================  ===============================
596 ETag                        The ETag of the object
597 Content-Length              The size of the object
598 Content-Type                The MIME content type of the object
599 Last-Modified               The last object modification date (regardless of version)
600 Content-Encoding            The encoding of the object (optional)
601 Content-Disposition         The presentation style of the object (optional)
602 X-Object-Version            The object's version identifier
603 X-Object-Version-Timestamp  The object's version timestamp
604 X-Object-Modified-By        The user that comitted the object's version
605 X-Object-Manifest           Object parts prefix in ``<container>/<object>`` form (optional)
606 X-Object-Sharing            Object permissions (optional)
607 X-Object-Shared-By          Object inheriting permissions (optional)
608 X-Object-Allowed-To         Allowed actions on object (optional)
609 X-Object-Public             Object's publicly accessible URI (optional)
610 X-Object-Meta-*             Optional user defined metadata
611 ==========================  ===============================
612
613 |
614
615 ================  ===============================
616 Return Code       Description
617 ================  ===============================
618 200 (No Content)  The request succeeded
619 ================  ===============================
620
621
622 GET
623 """
624
625 ====================  ================================
626 Request Header Name   Value
627 ====================  ================================
628 Range                 Optional range of data to retrieve
629 If-Range              Retrieve the missing part if entity is unchanged; otherwise, retrieve the entire new entity (used together with Range header)
630 If-Match              Retrieve if ETags match
631 If-None-Match         Retrieve if ETags don't match
632 If-Modified-Since     Retrieve if object has changed since provided timestamp
633 If-Unmodified-Since   Retrieve if object has not changed since provided timestamp
634 ====================  ================================
635
636 |
637
638 ======================  ===================================
639 Request Parameter Name  Value
640 ======================  ===================================
641 format                  Optional extended reply type (can be ``json`` or ``xml``)
642 hashmap                 Optional request for hashmap (no value parameter)
643 version                 Optional version identifier or ``list`` (specify a format if requesting a list)
644 ======================  ===================================
645
646 The reply is the object's data (or part of it), except if a hashmap is requested with ``hashmap``, or a version list with ``version=list`` (in both cases an extended reply format must be specified). Object headers (as in a ``HEAD`` request) are always included.
647
648 Hashmaps expose the underlying storage format of the object. Note that each hash is computed after trimming trailing null bytes of the corresponding block.
649
650 Example ``format=json`` reply:
651
652 ::
653
654   {"block_hash": "sha1", "hashes": ["7295c41da03d7f916440b98e32c4a2a39351546c", ...], "block_size": 131072, "bytes": 242}
655
656 Example ``format=xml`` reply:
657
658 ::
659
660   <?xml version="1.0" encoding="UTF-8"?>
661   <object name="file" bytes="24223726" block_size="131072" block_hash="sha1">
662     <hash>7295c41da03d7f916440b98e32c4a2a39351546c</hash>
663     <hash>...</hash>
664   </object>
665
666 Version lists include the version identifier and timestamp for each available object version. Version identifiers can be arbitrary strings, so use the timestamp to find newer versions.
667
668 Example ``format=json`` reply:
669
670 ::
671
672   {"versions": [[23, 1307700892], [28, 1307700898], ...]}
673
674 Example ``format=xml`` reply:
675
676 ::
677
678   <?xml version="1.0" encoding="UTF-8"?>
679   <object name="file">
680     <version timestamp="1307700892">23</version>
681     <version timestamp="1307700898">28</version>
682     <version timestamp="...">...</version>
683   </object>
684
685 The ``Range`` header may include multiple ranges, as outlined in RFC2616. Then the ``Content-Type`` of the reply will be ``multipart/byteranges`` and each part will include a ``Content-Range`` header.
686
687 ==========================  ===============================
688 Reply Header Name           Value
689 ==========================  ===============================
690 ETag                        The ETag of the object
691 Content-Length              The size of the data returned
692 Content-Type                The MIME content type of the object
693 Content-Range               The range of data included (only on a single range request)
694 Last-Modified               The last object modification date (regardless of version)
695 Content-Encoding            The encoding of the object (optional)
696 Content-Disposition         The presentation style of the object (optional)
697 X-Object-Version            The object's version identifier
698 X-Object-Version-Timestamp  The object's version timestamp
699 X-Object-Modified-By        The user that comitted the object's version
700 X-Object-Manifest           Object parts prefix in ``<container>/<object>`` form (optional)
701 X-Object-Sharing            Object permissions (optional)
702 X-Object-Shared-By          Object inheriting permissions (optional)
703 X-Object-Allowed-To         Allowed actions on object (optional)
704 X-Object-Public             Object's publicly accessible URI (optional)
705 X-Object-Meta-*             Optional user defined metadata
706 ==========================  ===============================
707
708 |
709
710 ===========================  ==============================
711 Return Code                  Description
712 ===========================  ==============================
713 200 (OK)                     The request succeeded
714 206 (Partial Content)        The range request succeeded
715 304 (Not Modified)           The object has not been modified
716 412 (Precondition Failed)    The condition set can not be satisfied
717 416 (Range Not Satisfiable)  The requested range is out of limits
718 ===========================  ==============================
719
720
721 PUT
722 """
723
724 ====================  ================================
725 Request Header Name   Value
726 ====================  ================================
727 If-Match              Put if ETags match with current object
728 If-None-Match         Put if ETags don't match with current object
729 ETag                  The MD5 hash of the object (optional to check written data)
730 Content-Length        The size of the data written
731 Content-Type          The MIME content type of the object
732 Transfer-Encoding     Set to ``chunked`` to specify incremental uploading (if used, ``Content-Length`` is ignored)
733 X-Copy-From           The source path in the form ``/<container>/<object>``
734 X-Move-From           The source path in the form ``/<container>/<object>``
735 X-Source-Account      The source account to copy/move from
736 X-Source-Version      The source version to copy from
737 Content-Encoding      The encoding of the object (optional)
738 Content-Disposition   The presentation style of the object (optional)
739 X-Object-Manifest     Object parts prefix in ``<container>/<object>`` form (optional)
740 X-Object-Sharing      Object permissions (optional)
741 X-Object-Public       Object is publicly accessible (optional)
742 X-Object-Meta-*       Optional user defined metadata
743 ====================  ================================
744
745 |
746
747 ======================  ===================================
748 Request Parameter Name  Value
749 ======================  ===================================
750 format                  Optional extended request type (can be ``json`` or ``xml``)
751 hashmap                 Optional hashmap provided instead of data (no value parameter)
752 ======================  ===================================
753
754 The request is the object's data (or part of it), except if a hashmap is provided (using ``hashmap`` and ``format`` parameters). If using a hashmap and all different parts are stored in the server, the object is created, otherwise the server returns Conflict (409) with the list of the missing parts (in a simple text format, with one hash per line).
755
756 Hashmaps should be formatted as outlined in ``GET``.
757
758 ==========================  ===============================
759 Reply Header Name           Value
760 ==========================  ===============================
761 ETag                        The MD5 hash of the object (on create)
762 X-Object-Version            The object's new version
763 ==========================  ===============================
764
765 The ``X-Object-Sharing`` header may include either a ``read=...`` comma-separated user/group list, or a ``write=...`` comma-separated user/group list, or both separated by a semicolon (``;``). Groups are specified as ``<account>:<group>``. To publish the object, set ``X-Object-Public`` to ``true``. To unpublish, set to ``false``, or use an empty header value.
766
767 ===========================  ==============================
768 Return Code                  Description
769 ===========================  ==============================
770 201 (Created)                The object has been created
771 409 (Conflict)               The object can not be created from the provided hashmap, or there are conflicting permissions (a list of missing hashes, or a list of conflicting sharing paths will be included in the reply - in simple text format)
772 411 (Length Required)        Missing ``Content-Length`` or ``Content-Type`` in the request
773 422 (Unprocessable Entity)   The MD5 checksum of the data written to the storage system does not match the (optionally) supplied ETag value
774 ===========================  ==============================
775
776
777 COPY
778 """"
779
780 ====================  ================================
781 Request Header Name   Value
782 ====================  ================================
783 If-Match              Proceed if ETags match with object
784 If-None-Match         Proceed if ETags don't match with object
785 Destination           The destination path in the form ``/<container>/<object>``
786 Destination-Account   The destination account to copy to
787 Content-Type          The MIME content type of the object (optional)
788 Content-Encoding      The encoding of the object (optional)
789 Content-Disposition   The presentation style of the object (optional)
790 X-Source-Version      The source version to copy from
791 X-Object-Manifest     Object parts prefix in ``<container>/<object>`` form (optional)
792 X-Object-Sharing      Object permissions (optional)
793 X-Object-Public       Object is publicly accessible (optional)
794 X-Object-Meta-*       Optional user defined metadata
795 ====================  ================================
796
797 Refer to ``PUT``/``POST`` for a description of request headers. Metadata is also copied, updated with any values defined. Sharing/publishing options are not copied.
798
799 ==========================  ===============================
800 Reply Header Name           Value
801 ==========================  ===============================
802 X-Object-Version            The object's new version
803 ==========================  ===============================
804
805 |
806
807 ===========================  ==============================
808 Return Code                  Description
809 ===========================  ==============================
810 201 (Created)                The object has been created
811 409 (Conflict)               There are conflicting permissions (a list of conflicting sharing paths will be included in the reply - in simple text format)
812 ===========================  ==============================
813
814
815 MOVE
816 """"
817
818 Same as ``COPY``, without the ``X-Source-Version`` request header. The ``MOVE`` operation is always applied on the latest version.
819
820
821 POST
822 """"
823
824 ====================  ================================
825 Request Header Name   Value
826 ====================  ================================
827 If-Match              Proceed if ETags match with object
828 If-None-Match         Proceed if ETags don't match with object
829 Content-Length        The size of the data written (optional, to update)
830 Content-Type          The MIME content type of the object (optional, to update)
831 Content-Range         The range of data supplied (optional, to update)
832 Transfer-Encoding     Set to ``chunked`` to specify incremental uploading (if used, ``Content-Length`` is ignored)
833 Content-Encoding      The encoding of the object (optional)
834 Content-Disposition   The presentation style of the object (optional)
835 X-Source-Object       Update with data from the object at path ``/<container>/<object>`` (optional, to update)
836 X-Source-Account      The source account to update from
837 X-Source-Version      The source version to update from (optional, to update)
838 X-Object-Bytes        The updated object's final size (optional, when updating)
839 X-Object-Manifest     Object parts prefix in ``<container>/<object>`` form (optional)
840 X-Object-Sharing      Object permissions (optional)
841 X-Object-Public       Object is publicly accessible (optional)
842 X-Object-Meta-*       Optional user defined metadata
843 ====================  ================================
844
845 |
846
847 ======================  ============================================
848 Request Parameter Name  Value
849 ======================  ============================================
850 update                  Do not replace metadata (no value parameter)
851 ======================  ============================================
852
853 The ``Content-Encoding``, ``Content-Disposition``, ``X-Object-Manifest`` and ``X-Object-Meta-*`` headers are considered to be user defined metadata. An operation without the ``update`` parameter will overwrite all previous values and remove any keys not supplied. When using ``update`` any metadata with an empty value will be deleted.
854
855 To change permissions, include an ``X-Object-Sharing`` header (as defined in ``PUT``). To publish, include an ``X-Object-Public`` header, with a value of ``true``. If no such headers are defined, no changes will be applied to sharing/public. Use empty values to remove permissions/unpublish (unpublishing also works with ``false`` as a header value). Sharing options are applied to the object - not its versions.
856
857 To update an object's data:
858
859 * Either set ``Content-Type`` to ``application/octet-stream``, or provide an object with ``X-Source-Object``. If ``Content-Type`` has some other value, it will be ignored and only the metadata will be updated.
860 * If the data is supplied in the request (using ``Content-Type`` instead of ``X-Source-Object``), a valid ``Content-Length`` header is required - except if using chunked transfers (set ``Transfer-Encoding`` to ``chunked``).
861 * Set ``Content-Range`` as specified in RFC2616, with the following differences:
862
863   * Client software MAY omit ``last-byte-pos`` of if the length of the range being transferred is unknown or difficult to determine.
864   * Client software SHOULD not specify the ``instance-length`` (use a ``*``), unless there is a reason for performing a size check at the server.
865 * If ``Content-Range`` used has a ``byte-range-resp-spec = *``, data will be appended to the object.
866
867 Optionally, truncate the updated object to the desired length with the ``X-Object-Bytes`` header.
868
869 A data update will trigger an ETag change. Updated ETags correspond to the single Merkle hash of the object's hashmap (refer to http://bittorrent.org/beps/bep_0030.html for more information).
870
871 No reply content. No reply headers if only metadata is updated.
872
873 ==========================  ===============================
874 Reply Header Name           Value
875 ==========================  ===============================
876 ETag                        The new ETag of the object (data updated)
877 X-Object-Version            The object's new version
878 ==========================  ===============================
879
880 |
881
882 ===========================  ==============================
883 Return Code                  Description
884 ===========================  ==============================
885 202 (Accepted)               The request has been accepted (not a data update)
886 204 (No Content)             The request succeeded (data updated)
887 409 (Conflict)               There are conflicting permissions (a list of conflicting sharing paths will be included in the reply - in simple text format)
888 411 (Length Required)        Missing ``Content-Length`` in the request
889 416 (Range Not Satisfiable)  The supplied range is invalid
890 ===========================  ==============================
891
892 The ``POST`` method can also be used for creating an object via a standard HTML form. If the request ``Content-Type`` is ``multipart/form-data``, none of the above headers will be processed. The form should have an ``X-Object-Data`` field, as in the following example. The token is passed as a request parameter. ::
893
894   <form method="post" action="https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt?X-Auth-Token=0000" enctype="multipart/form-data">
895     <input type="file" name="X-Object-Data">
896     <input type="submit">
897   </form>
898
899 This will create/override the object with the given name, as if using ``PUT``. The ``Content-Type`` of the object will be set to the value of the corresponding header sent in the part of the request containing the data (usually, automatically handled by the browser). Metadata, sharing and other object attributes can not be set this way.
900
901 ==========================  ===============================
902 Reply Header Name           Value
903 ==========================  ===============================
904 ETag                        The MD5 hash of the object
905 X-Object-Version            The object's new version
906 ==========================  ===============================
907
908 |
909
910 ===========================  ==============================
911 Return Code                  Description
912 ===========================  ==============================
913 201 (Created)                The object has been created
914 ===========================  ==============================
915
916
917 DELETE
918 """"""
919
920 ======================  ===================================
921 Request Parameter Name  Value
922 ======================  ===================================
923 until                   Optional timestamp
924 ======================  ===================================
925
926 If ``until`` is defined, the object is "purged" up to that time (the history up to then is deleted).
927
928 No reply content/headers.
929
930 ===========================  ==============================
931 Return Code                  Description
932 ===========================  ==============================
933 204 (No Content)             The request succeeded
934 ===========================  ==============================
935
936 Sharing and Public Objects
937 ^^^^^^^^^^^^^^^^^^^^^^^^^^
938
939 Read and write control in Pithos is managed by setting appropriate permissions with the ``X-Object-Sharing`` header. The permissions are applied using prefix-based inheritance. Thus, each set of authorization directives is applied to all objects sharing the same prefix with the object where the corresponding ``X-Object-Sharing`` header is defined. For simplicity, nested/overlapping permissions are not allowed. Setting ``X-Object-Sharing`` will fail, if the object is already "covered", or another object with a longer common-prefix name already has permissions. When retrieving an object, the ``X-Object-Shared-By`` header reports where it gets its permissions from. If not present, the object is the actual source of authorization directives.
940
941 A user may ``GET`` another account or container. The result will include a limited reply, containing only the allowed containers or objects respectively. A top-level request with an authentication token, will return a list of allowed accounts, so the user can easily find out which other users share objects. The ``X-Object-Allowed-To`` header lists the actions allowed on an object, if it does not belong to the requesting user.
942
943 Objects that are marked as public, via the ``X-Object-Public`` meta, are also available at the corresponding URI returned for ``HEAD`` or ``GET``. Requests for public objects do not need to include an ``X-Auth-Token``. Pithos will ignore request parameters and only include the following headers in the reply (all ``X-Object-*`` meta is hidden):
944
945 ==========================  ===============================
946 Reply Header Name           Value
947 ==========================  ===============================
948 ETag                        The ETag of the object
949 Content-Length              The size of the data returned
950 Content-Type                The MIME content type of the object
951 Content-Range               The range of data included (only on a single range request)
952 Last-Modified               The last object modification date (regardless of version)
953 Content-Encoding            The encoding of the object (optional)
954 Content-Disposition         The presentation style of the object (optional)
955 ==========================  ===============================
956
957 Public objects are not included and do not influence cross-user listings. They are, however, readable by all users.
958
959 Summary
960 ^^^^^^^
961
962 List of differences from the OOS API:
963
964 * Support for ``X-Account-Meta-*`` style headers at the account level. Use ``POST`` to update.
965 * Support for ``X-Container-Meta-*`` style headers at the container level. Can be set when creating via ``PUT``. Use ``POST`` to update.
966 * Header ``X-Container-Object-Meta`` at the container level and parameter ``meta`` in container listings. (**TBD**)
967 * Container policies to manage behavior and limits.
968 * Headers ``X-Container-Block-*`` at the container level, exposing the underlying storage characteristics.
969 * All metadata replies, at all levels, include latest modification information.
970 * At all levels, a ``HEAD`` or ``GET`` request may use ``If-Modified-Since`` and ``If-Unmodified-Since`` headers.
971 * Container/object lists include all associated metadata if the reply is of type json/xml. Some names are kept to their OOS API equivalents for compatibility.
972 * Option to include only shared containers/objects in listings.
973 * Object metadata allowed, in addition to ``X-Object-Meta-*``: ``Content-Encoding``, ``Content-Disposition``, ``X-Object-Manifest``. These are all replaced with every update operation, except if using the ``update`` parameter (in which case individual keys can also be deleted). Deleting meta by providing empty values also works when copying/moving an object.
974 * Multi-range object ``GET`` support as outlined in RFC2616.
975 * Object hashmap retrieval through ``GET`` and the ``format`` parameter.
976 * Object create via hashmap through ``PUT`` and the ``format`` parameter.
977 * Object create using ``POST`` to support standard HTML forms.
978 * Partial object updates through ``POST``, using the ``Content-Length``, ``Content-Type``, ``Content-Range`` and ``Transfer-Encoding`` headers. Use another object's data to update with ``X-Source-Object`` and ``X-Source-Version``. Truncate with ``X-Object-Bytes``. New ETag corresponds to the Merkle hash of the object's hashmap.
979 * Include new version identifier in replies for object replace/change requests.
980 * Object ``MOVE`` support.
981 * Conditional object create/update operations, using ``If-Match`` and ``If-None-Match`` headers.
982 * Time-variant account/container listings via the ``until`` parameter.
983 * Object versions - parameter ``version`` in ``HEAD``/``GET`` (list versions with ``GET``), ``X-Object-Version-*`` meta in replies, ``X-Source-Version`` in ``PUT``/``COPY``.
984 * Sharing/publishing with ``X-Object-Sharing``, ``X-Object-Public`` at the object level. Cross-user operations are allowed - controlled by sharing directives. Available actions in cross-user requests are reported with ``X-Object-Allowed-To``. Permissions may include groups defined with ``X-Account-Group-*`` at the account level. These apply to the object - not its versions.
985 * Support for prefix-based inheritance when enforcing permissions. Parent object carrying the authorization directives is reported in ``X-Object-Shared-By``.
986 * Copy and move between accounts with ``X-Source-Account`` and ``Destination-Account`` headers.
987 * Large object support with ``X-Object-Manifest``.
988 * Trace the user that created/modified an object with ``X-Object-Modified-By``.
989 * Purge container/object history with the ``until`` parameter in ``DELETE``.
990
991 Clarifications/suggestions:
992
993 * Authentication is done by another system. The token is used in the same way, but it is obtained differently. The top level ``GET`` request is kept compatible with the OOS API and allows for guest/testing operations.
994 * Some processing is done in the variable part of all ``X-*-Meta-*`` headers. If it includes underscores, they will be converted to dashes and the first letter of all intra-dash strings will be capitalized.
995 * A ``GET`` reply for a level will include all headers of the corresponding ``HEAD`` request.
996 * To avoid conflicts between objects and virtual directory markers in container listings, it is recommended that object names do not end with the delimiter used.
997 * The ``Accept`` header may be used in requests instead of the ``format`` parameter to specify the desired request/reply format. The parameter overrides the header.
998 * Container/object lists use a ``200`` return code if the reply is of type json/xml. The reply will include an empty json/xml.
999 * In headers, dates are formatted according to RFC 1123. In extended information listings, the ``last_modified`` field is formatted according to ISO 8601 (for OOS API compatibility). All other fields (Pithos extensions) use integer tiemstamps.
1000 * The ``Last-Modified`` header value always reflects the actual latest change timestamp, regardless of time control parameters and version requests. Time precondition checks with ``If-Modified-Since`` and ``If-Unmodified-Since`` headers are applied to this value.
1001 * A copy/move using ``PUT``/``COPY``/``MOVE`` will always update metadata, keeping all old values except the ones redefined in the request headers.
1002 * A ``HEAD`` or ``GET`` for an ``X-Object-Manifest`` object, will include modified ``Content-Length`` and ``ETag`` headers, according to the characteristics of the objects under the specified prefix. The ``Etag`` will be the MD5 hash of the corresponding ETags concatenated. In extended container listings there is no metadata processing.
1003
1004 The Pithos Client
1005 -----------------
1006
1007 User Experience
1008 ^^^^^^^^^^^^^^^
1009
1010 Hopefully this API will allow for a multitude of client implementations, each supporting a different device or operating system. All clients will be able to manipulate containers and objects - even software only designed for OOS API compatibility. But a Pithos interface should not be only about showing containers and folders. There are some extra user interface elements and functionalities that should be common to all implementations.
1011
1012 Upon entrance to the service, a user is presented with the following elements - which can be represented as folders or with other related icons:
1013
1014 * The ``home`` element, which is used as the default entry point to the user's "files". Objects under ``home`` are represented in the usual hierarchical organization of folders and files.
1015 * The ``trash`` element, which contains files that have been marked for deletion, but can still be recovered.
1016 * The ``shared`` element, which contains all objects shared by the user to other users of the system.
1017 * The ``others`` element, which contains all objects that other users share with the user.
1018 * The ``groups`` element, which contains the names of groups the user has defined. Each group consists of a user list. Group creation, deletion, and manipulation is carried out by actions originating here.
1019 * The ``history`` element, which allows browsing past instances of ``home`` and - optionally - ``trash``.
1020
1021 Objects in Pithos can be:
1022
1023 * Moved to trash and then deleted.
1024 * Shared with specific permissions.
1025 * Made public (shared with non-Pithos users).
1026 * Restored from previous versions.
1027
1028 Some of these functions are performed by the client software and some by the Pithos server.
1029
1030 In the first version of Pithos, objects could also be assigned custom tags. This is no longer supported. Existing deployments can migrate tags into a specific metadata value, i.e. ``X-Object-Meta-Tags``.
1031
1032 Implementation Guidelines
1033 ^^^^^^^^^^^^^^^^^^^^^^^^^
1034
1035 Pithos clients should use the ``pithos`` and ``trash`` containers for active and inactive objects respectively. If any of these containers is not found, the client software should create it, without interrupting the user's workflow. The ``home`` element corresponds to ``pithos`` and the ``trash`` element to ``trash``. Use ``PUT`` with the ``X-Move-From`` header, or ``MOVE`` to transfer objects from one container to the other. Use ``DELETE`` to remove from ``pithos`` without trashing, or to remove from ``trash``. When moving objects, detect naming conflicts with the ``If-Match`` or ``If-None-Match`` headers. Such conflicts should be resolved by the user.
1036
1037 Object names should use the ``/`` delimiter to impose a hierarchy of folders and files.
1038
1039 The ``shared`` element should be implemented as a read-only view of the ``pithos`` container, using the ``shared`` parameter when listing objects. The ``others`` element, should start with a top-level ``GET`` to retrieve the list of accounts accessible to the user. It is suggested that the client software hides the next step of navigation - the container - if it only includes ``pithos`` and forwards the user directly to the objects.
1040
1041 Public objects are not included in ``shared`` and ``others`` listings. It is suggested that they are marked in a visually distinctive way in ``pithos`` listings (for example using an icon overlay).
1042
1043 A special application menu, or a section in application preferences, should be devoted to managing groups (the ``groups`` element). All group-related actions are implemented at the account level.
1044
1045 Browsing past versions of objects should be available both at the object and the container level. At the object level, a list of past versions can be included in the screen showing details or more information on the object (metadata, permissions, etc.). At the container level, it is suggested that clients use a ``history`` element, which presents to the user a read-only, time-variable view of ``pithos`` contents. This can be accomplished via the ``until`` parameter in listings. Optionally, ``history`` may include ``trash``.
1046
1047 Uploading and downloading data
1048 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1049
1050 By using hashmaps to upload and download objects the corresponding operations can complete much faster.
1051
1052 In the case of an upload, only the missing blocks will be submitted to the server:
1053
1054 * Calculate the hash value for each block of the object to be uploaded. Use the hash algorithm and block size of the destination container.
1055 * Send a hashmap ``PUT`` request for the object.
1056
1057   * Server responds with status ``201`` (Created):
1058
1059     * Blocks are already on the server. The object has been created. Done.
1060
1061   * Server responds with status ``409`` (Conflict):
1062
1063     * Server's response body contains the hashes of the blocks that do not exist on the server.
1064     * For each hash value in the server's response (or all hashes together):
1065
1066       * Send a ``POST`` request to the destination container with the corresponding data.
1067
1068 * Repeat hashmap ``PUT``. Fail if the server's response is not ``201``.
1069
1070 Consulting hashmaps when downloading allows for resuming partially transferred objects. The client should retrieve the hashmap from the server and compare it with the hashmap computed from the respective local file. Any missing parts can be downloaded with ``GET`` requests with the additional ``Range`` header.
1071
1072 Syncing
1073 ^^^^^^^
1074
1075 Consider the following algorithm for synchronizing a local folder with the server. The "state" is the complete object listing, with the corresponding attributes.
1076  
1077 ::
1078
1079   L: local state (stored state from last sync with the server)
1080   C: current state (state computed right before sync)
1081   S: server state
1082
1083   if C == L:
1084       # No local changes
1085       if S == L:
1086           # No remote changes, nothing to do
1087       else:
1088           # Update local state to match that of the server
1089          L = S
1090   else:
1091       # We have local changes
1092       if S == L:
1093           # No remote changes, update the server
1094           S = C
1095           L = S
1096       else:
1097           # Both we and server have changes
1098           if C == S:
1099               # We were lucky, we did the same change
1100               L = S
1101           else:
1102               # We have conflicting changes
1103               resolve conflict
1104
1105 Notes:
1106
1107 * States represent file hashes (either MD5 or Merkle). Deleted or non-existing files are assumed to have a magic hash (e.g. empty string).
1108 * Updating a state (either local or remote) implies downloading, uploading or deleting the appropriate file.
1109
1110 Recommended Practices and Examples
1111 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1112
1113 Assuming an authentication token is obtained, the following high-level operations are available - shown with ``curl``:
1114
1115 * Get account information ::
1116
1117     curl -X HEAD -D - \
1118          -H "X-Auth-Token: 0000" \
1119          https://pithos.dev.grnet.gr/v1/user
1120
1121 * List available containers ::
1122
1123     curl -X GET -D - \
1124          -H "X-Auth-Token: 0000" \
1125          https://pithos.dev.grnet.gr/v1/user
1126
1127 * Get container information ::
1128
1129     curl -X HEAD -D - \
1130          -H "X-Auth-Token: 0000" \
1131          https://pithos.dev.grnet.gr/v1/user/pithos
1132
1133 * Add a new container ::
1134
1135     curl -X PUT -D - \
1136          -H "X-Auth-Token: 0000" \
1137          https://pithos.dev.grnet.gr/v1/user/test
1138
1139 * Delete a container ::
1140
1141     curl -X DELETE -D - \
1142          -H "X-Auth-Token: 0000" \
1143          https://pithos.dev.grnet.gr/v1/user/test
1144
1145 * List objects in a container ::
1146
1147     curl -X GET -D - \
1148          -H "X-Auth-Token: 0000" \
1149          https://pithos.dev.grnet.gr/v1/user/pithos
1150
1151 * List objects in a container (extended reply) ::
1152
1153     curl -X GET -D - \
1154          -H "X-Auth-Token: 0000" \
1155          https://pithos.dev.grnet.gr/v1/user/pithos?format=json
1156
1157   It is recommended that extended replies are cached and subsequent requests utilize the ``If-Modified-Since`` header.
1158
1159 * List metadata keys used by objects in a container
1160
1161   Will be in the ``X-Container-Object-Meta`` reply header, included in container information or object list (``HEAD`` or ``GET``). (**TBD**)
1162
1163 * List objects in a container having a specific meta defined ::
1164
1165     curl -X GET -D - \
1166          -H "X-Auth-Token: 0000" \
1167          https://pithos.dev.grnet.gr/v1/user/pithos?meta=favorites
1168
1169 * Retrieve an object ::
1170
1171     curl -X GET -D - \
1172          -H "X-Auth-Token: 0000" \
1173          https://pithos.dev.grnet.gr/v1/user/pithos/README.txt
1174
1175 * Retrieve an object (specific ranges of data) ::
1176
1177     curl -X GET -D - \
1178          -H "X-Auth-Token: 0000" \
1179          -H "Range: bytes=0-9" \
1180          https://pithos.dev.grnet.gr/v1/user/pithos/README.txt
1181
1182   This will return the first 10 bytes. To get the first 10, bytes 30-39 and the last 100 use ``Range: bytes=0-9,30-39,-100``.
1183
1184 * Add a new object (folder type) (**TBD**) ::
1185
1186     curl -X PUT -D - \
1187          -H "X-Auth-Token: 0000" \
1188          -H "Content-Type: application/folder" \
1189          https://pithos.dev.grnet.gr/v1/user/pithos/folder
1190
1191 * Add a new object ::
1192
1193     curl -X PUT -D - \
1194          -H "X-Auth-Token: 0000" \
1195          -H "Content-Type: text/plain" \
1196          -T EXAMPLE.txt
1197          https://pithos.dev.grnet.gr/v1/user/pithos/folder/EXAMPLE.txt
1198
1199 * Update an object ::
1200
1201     curl -X POST -D - \
1202          -H "X-Auth-Token: 0000" \
1203          -H "Content-Length: 10" \
1204          -H "Content-Type: application/octet-stream" \
1205          -H "Content-Range: bytes 10-19/*" \
1206          -d "0123456789" \
1207          https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt
1208
1209   This will update bytes 10-19 with the data specified.
1210
1211 * Update an object (append) ::
1212
1213     curl -X POST -D - \
1214          -H "X-Auth-Token: 0000" \
1215          -H "Content-Length: 10" \
1216          -H "Content-Type: application/octet-stream" \
1217          -H "Content-Range: bytes */*" \
1218          -d "0123456789" \
1219          https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt
1220
1221 * Update an object (truncate) ::
1222
1223     curl -X POST -D - \
1224          -H "X-Auth-Token: 0000" \
1225          -H "X-Source-Object: /folder/EXAMPLE.txt" \
1226          -H "Content-Range: bytes 0-0/*" \
1227          -H "X-Object-Bytes: 0" \
1228          https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt
1229
1230   This will truncate the object to 0 bytes.
1231
1232 * Add object metadata ::
1233
1234     curl -X POST -D - \
1235          -H "X-Auth-Token: 0000" \
1236          -H "X-Object-Meta-First: first_meta_value" \
1237          -H "X-Object-Meta-Second: second_meta_value" \
1238          https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt
1239
1240 * Delete object metadata ::
1241
1242     curl -X POST -D - \
1243          -H "X-Auth-Token: 0000" \
1244          -H "X-Object-Meta-First: first_meta_value" \
1245          https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt
1246
1247   Metadata can only be "set". To delete ``X-Object-Meta-Second``, reset all metadata.
1248
1249 * Delete an object ::
1250
1251     curl -X DELETE -D - \
1252          -H "X-Auth-Token: 0000" \
1253          https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt