Refresh docs.
[pithos] / docs / source / devguide.rst
1 Pithos v2 Developer Guide
2 =========================
3
4 Introduction
5 ------------
6
7 Pithos is a storage service implemented by GRNET (http://www.grnet.gr). Data is stored as objects, organized in containers, belonging to an account. This hierarchy of storage layers has been inspired by the OpenStack Object Storage (OOS) API and similar CloudFiles API by Rackspace. The Pithos API follows the OOS API as closely as possible. One of the design requirements has been to be able to use Pithos with clients built for the OOS, without changes.
8
9 However, to be able to take full advantage of the Pithos infrastructure, client software should be aware of the extensions that differentiate Pithos from OOS. Pithos objects can be updated, or appended to. Pithos will store sharing permissions per object and enforce corresponding authorization policies. Automatic version management, allows taking account and container listings back in time, as well as reading previous instances of objects.
10
11 The storage backend of Pithos is block oriented, permitting efficient, deduplicated data placement. The block structure of objects is exposed at the API layer, in order to encourage external software to implement advanced data management operations.
12
13 This document's goals are:
14
15 * Define the Pithos ReST API that allows the storage and retrieval of data and metadata via HTTP calls
16 * Specify metadata semantics and user interface guidelines for a common experience across client software implementations
17
18 The present document is meant to be read alongside the OOS API documentation. Thus, it is suggested that the reader is familiar with associated technologies, the OOS API as well as the first version of the Pithos API. This document refers to the second version of Pithos. Information on the first version of the storage API can be found at http://code.google.com/p/gss.
19
20 Whatever marked as to be determined (**TBD**), should not be considered by implementors.
21
22 Document Revisions
23 ^^^^^^^^^^^^^^^^^^
24
25 =========================  ================================
26 Revision                   Description
27 =========================  ================================
28 0.7 (Nov 21, 2011)         Suggest upload/download methods using hashmaps.
29 \                          Propose syncing algorithm.
30 \                          Support cross-account object copy and move.
31 \                          Pass token as a request parameter when using ``POST`` via an HTML form.
32 \                          Optionally use source account to update object from another object.
33 \                          Use container ``POST`` to upload missing blocks of data.
34 \                          Report policy in account headers.
35 \                          Add insufficient quota reply.
36 \                          Use special meta to always report Merkle hash.
37 0.6 (Sept 13, 2011)        Reply with Merkle hash as the ETag when updating objects.
38 \                          Include version id in object replace/change replies.
39 \                          Change conflict (409) replies format to text.
40 \                          Tags should be migrated to a meta value.
41 \                          Container ``PUT`` updates metadata/policy.
42 \                          Report allowed actions in shared object replies.
43 \                          Provide ``https://hostname/login`` for Shibboleth authentication.
44 \                          Use ``hashmap`` parameter in object ``GET``/``PUT`` to use hashmaps.
45 0.5 (July 22, 2011)        Object update from another object's data.
46 \                          Support object truncate.
47 \                          Create object using a standard HTML form.
48 \                          Purge container/object history.
49 \                          List other accounts that share objects with a user.
50 \                          List shared containers/objects.
51 \                          Update implementation guidelines.
52 \                          Check preconditions when creating/updating objects.
53 0.4 (July 01, 2011)        Object permissions and account groups.
54 \                          Control versioning behavior and container quotas with container policy directives.
55 \                          Support updating/deleting individual metadata with ``POST``.
56 \                          Create object using hashmap.
57 0.3 (June 14, 2011)        Large object support with ``X-Object-Manifest``.
58 \                          Allow for publicly available objects via ``https://hostname/public``.
59 \                          Support time-variant account/container listings. 
60 \                          Add source version when duplicating with ``PUT``/``COPY``.
61 \                          Request version in object ``HEAD``/``GET`` requests (list versions with ``GET``).
62 0.2 (May 31, 2011)         Add object meta listing and filtering in containers.
63 \                          Include underlying storage characteristics in container meta.
64 \                          Support for partial object updates through ``POST``.
65 \                          Expose object hashmaps through ``GET``.
66 \                          Support for multi-range object ``GET`` requests.
67 0.1 (May 17, 2011)         Initial release. Based on OpenStack Object Storage Developer Guide API v1 (Apr. 15, 2011).
68 =========================  ================================
69
70 Pithos Users and Authentication
71 -------------------------------
72
73 Pithos keeps separate databases for users and objects.
74
75 Each user is uniquely identified by the ``Uniq`` field. This should be used as the user's account in the API. The API uses the ``Token`` field to authenticate a user, thus allowing cross-account requests. All API requests require a token.
76
77 User entries can be modified/added via the management interface available at ``https://hostname/admin``.
78
79 Pithos is also compatible with Shibboleth (http://shibboleth.internet2.edu/). The connection between Shibboleth and Pithos is done by ``https://hostname/login``. An application that wishes to connect to Pithos, but does not have a token, should redirect the user to the login URI.
80
81 The login URI accepts the following parameters:
82
83 ======================  =========================
84 Request Parameter Name  Value
85 ======================  =========================
86 next                    The URI to redirect to when the process is finished
87 renew                   Force token renewal (no value parameter)
88 ======================  =========================
89
90 The login process starts by redirecting the user to an external URI (controlled by Shibboleth), where the actual authentication credentials are entered. Then, the user is redirected back to the login URI from Shibboleth, with various identification information in the request headers.
91
92 If the user does not exist in the database, Pithos adds the user and creates a random token. If the user exists, the token has not expired and ``renew`` is not set, the existing token is reused. Finally, the login URI redirects to the URI provided with ``next``, adding the ``user`` and ``token`` parameters, which contain the ``Uniq`` and ``Token`` fields respectively. 
93
94 The Pithos API
95 --------------
96
97 The URI requests supported by the Pithos API follow one of the following forms:
98
99 * Top level: ``https://hostname/v1/``
100 * Account level: ``https://hostname/v1/<account>``
101 * Container level: ``https://hostname/v1/<account>/<container>``
102 * Object level: ``https://hostname/v1/<account>/<container>/<object>``
103
104 All requests must include an ``X-Auth-Token`` - as a header, or a parameter.
105
106 The allowable request operations and respective return codes per level are presented in the remainder of this chapter. Common to all requests are the following return codes.
107
108 =========================  ================================
109 Return Code                Description
110 =========================  ================================
111 400 (Bad Request)          The request is invalid
112 401 (Unauthorized)         Missing or invalid token
113 403 (Forbidden)            Request not allowed
114 404 (Not Found)            The requested resource was not found
115 503 (Service Unavailable)  The request cannot be completed because of an internal error
116 =========================  ================================
117
118 Top Level
119 ^^^^^^^^^
120
121 List of operations:
122
123 =========  ==================
124 Operation  Description
125 =========  ==================
126 GET        Authentication (for compatibility with the OOS API) or list allowed accounts
127 =========  ==================
128
129 GET
130 """
131
132 If the ``X-Auth-User`` and ``X-Auth-Key`` headers are given, a dummy ``X-Auth-Token`` and ``X-Storage-Url`` will be replied, which can be used as a guest token/namespace for testing Pithos.
133
134 ================  =====================
135 Return Code       Description
136 ================  =====================
137 204 (No Content)  The request succeeded
138 ================  =====================
139
140 If an ``X-Auth-Token`` is already present, the operation will be interpreted as a request to list other accounts that share objects to the user.
141
142 ======================  =========================
143 Request Parameter Name  Value
144 ======================  =========================
145 limit                   The amount of results requested (default is 10000)
146 marker                  Return containers with name lexicographically after marker
147 format                  Optional extended reply type (can be ``json`` or ``xml``)
148 ======================  =========================
149
150 The reply is a list of account names.
151 If a ``format=xml`` or ``format=json`` argument is given, extended information on the accounts will be returned, serialized in the chosen format.
152 For each account, the information will include the following (names will be in lower case and with hyphens replaced with underscores):
153
154 ===========================  ============================
155 Name                         Description
156 ===========================  ============================
157 name                         The name of the account
158 last_modified                The last account modification date (regardless of ``until``)
159 ===========================  ============================
160
161 Example ``format=json`` reply:
162
163 ::
164
165   [{"name": "user", "last_modified": "2011-07-19T10:48:16"}, ...]
166
167 Example ``format=xml`` reply:
168
169 ::
170
171   <?xml version="1.0" encoding="UTF-8"?>
172   <accounts>
173     <account>
174       <name>user</name>
175       <last_modified>2011-07-19T10:48:16</last_modified>
176     </account>
177     <account>...</account>
178   </accounts>
179
180 ===========================  =====================
181 Return Code                  Description
182 ===========================  =====================
183 200 (OK)                     The request succeeded
184 204 (No Content)             The user has no access to other accounts (only for non-extended replies)
185 ===========================  =====================
186
187 Will use a ``200`` return code if the reply is of type json/xml.
188
189 Account Level
190 ^^^^^^^^^^^^^
191
192 List of operations:
193
194 =========  ==================
195 Operation  Description
196 =========  ==================
197 HEAD       Retrieve account metadata
198 GET        List containers
199 POST       Update account metadata
200 =========  ==================
201
202 HEAD
203 """"
204
205 ====================  ===========================
206 Request Header Name   Value
207 ====================  ===========================
208 If-Modified-Since     Retrieve if account has changed since provided timestamp
209 If-Unmodified-Since   Retrieve if account has not changed since provided timestamp
210 ====================  ===========================
211
212 |
213
214 ======================  ===================================
215 Request Parameter Name  Value
216 ======================  ===================================
217 until                   Optional timestamp
218 ======================  ===================================
219
220 Cross-user requests are not allowed to use ``until`` and only include the account modification date in the reply.
221
222 ==========================  =====================
223 Reply Header Name           Value
224 ==========================  =====================
225 X-Account-Container-Count   The total number of containers
226 X-Account-Bytes-Used        The total number of bytes stored
227 X-Account-Until-Timestamp   The last account modification date until the timestamp provided
228 X-Account-Group-*           Optional user defined groups
229 X-Account-Policy-*          Account behavior and limits
230 X-Account-Meta-*            Optional user defined metadata
231 Last-Modified               The last account modification date (regardless of ``until``)
232 ==========================  =====================
233
234 |
235
236 ================  =====================
237 Return Code       Description
238 ================  =====================
239 204 (No Content)  The request succeeded
240 ================  =====================
241
242
243 GET
244 """
245
246 ====================  ===========================
247 Request Header Name   Value
248 ====================  ===========================
249 If-Modified-Since     Retrieve if account has changed since provided timestamp
250 If-Unmodified-Since   Retrieve if account has not changed since provided timestamp
251 ====================  ===========================
252
253 |
254
255 ======================  =========================
256 Request Parameter Name  Value
257 ======================  =========================
258 limit                   The amount of results requested (default is 10000)
259 marker                  Return containers with name lexicographically after marker
260 format                  Optional extended reply type (can be ``json`` or ``xml``)
261 shared                  Show only shared containers (no value parameter)
262 until                   Optional timestamp
263 ======================  =========================
264
265 The reply is a list of container names. Account headers (as in a ``HEAD`` request) will also be included.
266 Cross-user requests are not allowed to use ``until`` and only include the account/container modification dates in the reply.
267
268 If a ``format=xml`` or ``format=json`` argument is given, extended information on the containers will be returned, serialized in the chosen format.
269 For each container, the information will include all container metadata (names will be in lower case and with hyphens replaced with underscores):
270
271 ===========================  ============================
272 Name                         Description
273 ===========================  ============================
274 name                         The name of the container
275 count                        The number of objects inside the container
276 bytes                        The total size of the objects inside the container
277 last_modified                The last container modification date (regardless of ``until``)
278 x_container_until_timestamp  The last container modification date until the timestamp provided
279 x_container_policy_*         Container behavior and limits
280 x_container_meta_*           Optional user defined metadata
281 ===========================  ============================
282
283 For examples of container details returned in JSON/XML formats refer to the OOS API documentation.
284
285 ===========================  =====================
286 Return Code                  Description
287 ===========================  =====================
288 200 (OK)                     The request succeeded
289 204 (No Content)             The account has no containers (only for non-extended replies)
290 304 (Not Modified)           The account has not been modified
291 412 (Precondition Failed)    The condition set can not be satisfied
292 ===========================  =====================
293
294 Will use a ``200`` return code if the reply is of type json/xml.
295
296
297 POST
298 """"
299
300 ====================  ===========================
301 Request Header Name   Value
302 ====================  ===========================
303 X-Account-Group-*     Optional user defined groups
304 X-Account-Meta-*      Optional user defined metadata
305 ====================  ===========================
306
307 |
308
309 ======================  ============================================
310 Request Parameter Name  Value
311 ======================  ============================================
312 update                  Do not replace metadata/groups (no value parameter)
313 ======================  ============================================
314
315 No reply content/headers.
316
317 The operation will overwrite all user defined metadata, except if ``update`` is defined.
318 To create a group, include an ``X-Account-Group-*`` header with the name in the key and a comma separated list of user names in the value. If no ``X-Account-Group-*`` header is present, no changes will be applied to groups. The ``update`` parameter also applies to groups. To delete a specific group, use ``update`` and an empty header value.
319
320 ================  ===============================
321 Return Code       Description
322 ================  ===============================
323 202 (Accepted)    The request has been accepted
324 ================  ===============================
325
326
327 Container Level
328 ^^^^^^^^^^^^^^^
329
330 List of operations:
331
332 =========  ============================
333 Operation  Description
334 =========  ============================
335 HEAD       Retrieve container metadata
336 GET        List objects
337 PUT        Create/update container
338 POST       Update container metadata
339 DELETE     Delete container
340 =========  ============================
341
342
343 HEAD
344 """"
345
346 ====================  ===========================
347 Request Header Name   Value
348 ====================  ===========================
349 If-Modified-Since     Retrieve if container has changed since provided timestamp
350 If-Unmodified-Since   Retrieve if container has not changed since provided timestamp
351 ====================  ===========================
352
353 |
354
355 ======================  ===================================
356 Request Parameter Name  Value
357 ======================  ===================================
358 until                   Optional timestamp
359 ======================  ===================================
360
361 Cross-user requests are not allowed to use ``until`` and only include the container modification date in the reply.
362
363 ===========================  ===============================
364 Reply Header Name            Value
365 ===========================  ===============================
366 X-Container-Object-Count     The total number of objects in the container
367 X-Container-Bytes-Used       The total number of bytes of all objects stored
368 X-Container-Block-Size       The block size used by the storage backend
369 X-Container-Block-Hash       The hash algorithm used for block identifiers in object hashmaps
370 X-Container-Until-Timestamp  The last container modification date until the timestamp provided
371 X-Container-Object-Meta      A list with all meta keys used by objects (**TBD**)
372 X-Container-Policy-*         Container behavior and limits
373 X-Container-Meta-*           Optional user defined metadata
374 Last-Modified                The last container modification date (regardless of ``until``)
375 ===========================  ===============================
376
377 The keys returned in ``X-Container-Object-Meta`` are all the unique strings after the ``X-Object-Meta-`` prefix, formatted as a comma-separated list. See container ``PUT`` for a reference of policy directives. (**TBD**)
378
379 ================  ===============================
380 Return Code       Description
381 ================  ===============================
382 204 (No Content)  The request succeeded
383 ================  ===============================
384
385
386 GET
387 """
388
389 ====================  ===========================
390 Request Header Name   Value
391 ====================  ===========================
392 If-Modified-Since     Retrieve if container has changed since provided timestamp
393 If-Unmodified-Since   Retrieve if container has not changed since provided timestamp
394 ====================  ===========================
395
396 |
397
398 ======================  ===================================
399 Request Parameter Name  Value
400 ======================  ===================================
401 limit                   The amount of results requested (default is 10000)
402 marker                  Return containers with name lexicographically after marker
403 prefix                  Return objects starting with prefix
404 delimiter               Return objects up to the delimiter (discussion follows)
405 path                    Assume ``prefix=path`` and ``delimiter=/``
406 format                  Optional extended reply type (can be ``json`` or ``xml``)
407 meta                    Return objects having the specified meta keys (can be a comma separated list)
408 shared                  Show only shared objects (no value parameter)
409 until                   Optional timestamp
410 ======================  ===================================
411
412 The ``path`` parameter overrides ``prefix`` and ``delimiter``. When using ``path``, results will include objects ending in ``delimiter``.
413
414 The keys given with ``meta`` will be matched with the strings after the ``X-Object-Meta-`` prefix.
415
416 The reply is a list of object names. Container headers (as in a ``HEAD`` request) will also be included.
417 Cross-user requests are not allowed to use ``until`` and include the following limited set of headers in the reply:
418
419 ===========================  ===============================
420 Reply Header Name            Value
421 ===========================  ===============================
422 X-Container-Block-Size       The block size used by the storage backend
423 X-Container-Block-Hash       The hash algorithm used for block identifiers in object hashmaps
424 X-Container-Object-Meta      A list with all meta keys used by allowed objects (**TBD**)
425 Last-Modified                The last container modification date
426 ===========================  ===============================
427
428 If a ``format=xml`` or ``format=json`` argument is given, extended information on the objects will be returned, serialized in the chosen format.
429 For each object, the information will include all object metadata (names will be in lower case and with hyphens replaced with underscores):
430
431 ==========================  ======================================
432 Name                        Description
433 ==========================  ======================================
434 name                        The name of the object
435 hash                        The ETag of the object
436 bytes                       The size of the object
437 content_type                The MIME content type of the object
438 content_encoding            The encoding of the object (optional)
439 content-disposition         The presentation style of the object (optional)
440 last_modified               The last object modification date (regardless of version)
441 x_object_hash               The Merkle hash
442 x_object_version            The object's version identifier
443 x_object_version_timestamp  The object's version timestamp
444 x_object_modified_by        The user that committed the object's version
445 x_object_manifest           Object parts prefix in ``<container>/<object>`` form (optional)
446 x_object_sharing            Object permissions (optional)
447 x_object_shared_by          Object inheriting permissions (optional)
448 x_object_allowed_to         Allowed actions on object (optional)
449 x_object_public             Object's publicly accessible URI (optional)
450 x_object_meta_*             Optional user defined metadata
451 ==========================  ======================================
452
453 Extended replies may also include virtual directory markers in separate sections of the ``json`` or ``xml`` results.
454 Virtual directory markers are only included when ``delimiter`` is explicitly set. They correspond to the substrings up to and including the first occurrence of the delimiter.
455 In JSON results they appear as dictionaries with only a ``"subdir"`` key. In XML results they appear interleaved with ``<object>`` tags as ``<subdir name="..." />``.
456 In case there is an object with the same name as a virtual directory marker, the object will be returned.
457
458 For examples of object details returned in JSON/XML formats refer to the OOS API documentation.
459
460 ===========================  ===============================
461 Return Code                  Description
462 ===========================  ===============================
463 200 (OK)                     The request succeeded
464 204 (No Content)             The account has no containers (only for non-extended replies)
465 304 (Not Modified)           The container has not been modified
466 412 (Precondition Failed)    The condition set can not be satisfied
467 ===========================  ===============================
468
469 Will use a ``200`` return code if the reply is of type json/xml.
470
471
472 PUT
473 """
474
475 ====================  ================================
476 Request Header Name   Value
477 ====================  ================================
478 X-Container-Policy-*  Container behavior and limits
479 X-Container-Meta-*    Optional user defined metadata
480 ====================  ================================
481  
482 No reply content/headers.
483
484 If no policy is defined, the container will be created with the default values.
485 Available policy directives:
486
487 * ``versioning``: Set to ``auto``, ``manual`` or ``none`` (default is ``manual``)
488 * ``quota``: Size limit in KB (default is ``0`` - unlimited)
489
490 If the container already exists, the operation is equal to a ``POST`` with ``update`` defined.
491
492 ================  ===============================
493 Return Code       Description
494 ================  ===============================
495 201 (Created)     The container has been created
496 202 (Accepted)    The request has been accepted
497 ================  ===============================
498
499
500 POST
501 """"
502
503 ====================  ================================
504 Request Header Name   Value
505 ====================  ================================
506 Content-Length        The size of the supplied data (optional, to upload)
507 Content-Type          The MIME content type of the supplied data (optional, to upload)
508 Transfer-Encoding     Set to ``chunked`` to specify incremental uploading (if used, ``Content-Length`` is ignored)
509 X-Container-Policy-*  Container behavior and limits
510 X-Container-Meta-*    Optional user defined metadata
511 ====================  ================================
512
513 |
514
515 ======================  ============================================
516 Request Parameter Name  Value
517 ======================  ============================================
518 update                  Do not replace metadata/policy (no value parameter)
519 ======================  ============================================
520
521 No reply content/headers, except when uploading data, where the reply consists of a list of hashes for the blocks received (in a simple text format, with one hash per line).
522
523 The operation will overwrite all user defined metadata, except if ``update`` is defined.
524 To change policy, include an ``X-Container-Policy-*`` header with the name in the key. If no ``X-Container-Policy-*`` header is present, no changes will be applied to policy. The ``update`` parameter also applies to policy - deleted values will revert to defaults. To delete/revert a specific policy directive, use ``update`` and an empty header value. See container ``PUT`` for a reference of policy directives.
525
526 To upload blocks of data to the container, set ``Content-Type`` to ``application/octet-stream`` and ``Content-Length`` to a valid value (except if using ``chunked`` as the ``Transfer-Encoding``).
527
528 ================  ===============================
529 Return Code       Description
530 ================  ===============================
531 202 (Accepted)    The request has been accepted
532 ================  ===============================
533
534
535 DELETE
536 """"""
537
538 ======================  ===================================
539 Request Parameter Name  Value
540 ======================  ===================================
541 until                   Optional timestamp
542 ======================  ===================================
543
544 If ``until`` is defined, the container is "purged" up to that time (the history of all objects up to then is deleted).
545
546 No reply content/headers.
547
548 ================  ===============================
549 Return Code       Description
550 ================  ===============================
551 204 (No Content)  The request succeeded
552 409 (Conflict)    The container is not empty
553 ================  ===============================
554
555
556 Object Level
557 ^^^^^^^^^^^^
558
559 List of operations:
560
561 =========  =================================
562 Operation  Description
563 =========  =================================
564 HEAD       Retrieve object metadata
565 GET        Read object data
566 PUT        Write object data or copy/move object
567 COPY       Copy object
568 MOVE       Move object
569 POST       Update object metadata/data
570 DELETE     Delete object
571 =========  =================================
572
573
574 HEAD
575 """"
576
577 ====================  ================================
578 Request Header Name   Value
579 ====================  ================================
580 If-Match              Retrieve if ETags match
581 If-None-Match         Retrieve if ETags don't match
582 If-Modified-Since     Retrieve if object has changed since provided timestamp
583 If-Unmodified-Since   Retrieve if object has not changed since provided timestamp
584 ====================  ================================
585
586 |
587
588 ======================  ===================================
589 Request Parameter Name  Value
590 ======================  ===================================
591 version                 Optional version identifier
592 ======================  ===================================
593
594 |
595
596 ==========================  ===============================
597 Reply Header Name           Value
598 ==========================  ===============================
599 ETag                        The ETag of the object
600 Content-Length              The size of the object
601 Content-Type                The MIME content type of the object
602 Last-Modified               The last object modification date (regardless of version)
603 Content-Encoding            The encoding of the object (optional)
604 Content-Disposition         The presentation style of the object (optional)
605 X-Object-Hash               The Merkle hash
606 X-Object-Version            The object's version identifier
607 X-Object-Version-Timestamp  The object's version timestamp
608 X-Object-Modified-By        The user that comitted the object's version
609 X-Object-Manifest           Object parts prefix in ``<container>/<object>`` form (optional)
610 X-Object-Sharing            Object permissions (optional)
611 X-Object-Shared-By          Object inheriting permissions (optional)
612 X-Object-Allowed-To         Allowed actions on object (optional)
613 X-Object-Public             Object's publicly accessible URI (optional)
614 X-Object-Meta-*             Optional user defined metadata
615 ==========================  ===============================
616
617 |
618
619 ================  ===============================
620 Return Code       Description
621 ================  ===============================
622 200 (No Content)  The request succeeded
623 ================  ===============================
624
625
626 GET
627 """
628
629 ====================  ================================
630 Request Header Name   Value
631 ====================  ================================
632 Range                 Optional range of data to retrieve
633 If-Range              Retrieve the missing part if entity is unchanged; otherwise, retrieve the entire new entity (used together with Range header)
634 If-Match              Retrieve if ETags match
635 If-None-Match         Retrieve if ETags don't match
636 If-Modified-Since     Retrieve if object has changed since provided timestamp
637 If-Unmodified-Since   Retrieve if object has not changed since provided timestamp
638 ====================  ================================
639
640 |
641
642 ======================  ===================================
643 Request Parameter Name  Value
644 ======================  ===================================
645 format                  Optional extended reply type (can be ``json`` or ``xml``)
646 hashmap                 Optional request for hashmap (no value parameter)
647 version                 Optional version identifier or ``list`` (specify a format if requesting a list)
648 ======================  ===================================
649
650 The reply is the object's data (or part of it), except if a hashmap is requested with ``hashmap``, or a version list with ``version=list`` (in both cases an extended reply format must be specified). Object headers (as in a ``HEAD`` request) are always included.
651
652 Hashmaps expose the underlying storage format of the object. Note that each hash is computed after trimming trailing null bytes of the corresponding block.
653
654 Example ``format=json`` reply:
655
656 ::
657
658   {"block_hash": "sha1", "hashes": ["7295c41da03d7f916440b98e32c4a2a39351546c", ...], "block_size": 131072, "bytes": 242}
659
660 Example ``format=xml`` reply:
661
662 ::
663
664   <?xml version="1.0" encoding="UTF-8"?>
665   <object name="file" bytes="24223726" block_size="131072" block_hash="sha1">
666     <hash>7295c41da03d7f916440b98e32c4a2a39351546c</hash>
667     <hash>...</hash>
668   </object>
669
670 Version lists include the version identifier and timestamp for each available object version. Version identifiers can be arbitrary strings, so use the timestamp to find newer versions.
671
672 Example ``format=json`` reply:
673
674 ::
675
676   {"versions": [[23, 1307700892], [28, 1307700898], ...]}
677
678 Example ``format=xml`` reply:
679
680 ::
681
682   <?xml version="1.0" encoding="UTF-8"?>
683   <object name="file">
684     <version timestamp="1307700892">23</version>
685     <version timestamp="1307700898">28</version>
686     <version timestamp="...">...</version>
687   </object>
688
689 The ``Range`` header may include multiple ranges, as outlined in RFC2616. Then the ``Content-Type`` of the reply will be ``multipart/byteranges`` and each part will include a ``Content-Range`` header.
690
691 ==========================  ===============================
692 Reply Header Name           Value
693 ==========================  ===============================
694 ETag                        The ETag of the object
695 Content-Length              The size of the data returned
696 Content-Type                The MIME content type of the object
697 Content-Range               The range of data included (only on a single range request)
698 Last-Modified               The last object modification date (regardless of version)
699 Content-Encoding            The encoding of the object (optional)
700 Content-Disposition         The presentation style of the object (optional)
701 X-Object-Hash               The Merkle hash
702 X-Object-Version            The object's version identifier
703 X-Object-Version-Timestamp  The object's version timestamp
704 X-Object-Modified-By        The user that comitted the object's version
705 X-Object-Manifest           Object parts prefix in ``<container>/<object>`` form (optional)
706 X-Object-Sharing            Object permissions (optional)
707 X-Object-Shared-By          Object inheriting permissions (optional)
708 X-Object-Allowed-To         Allowed actions on object (optional)
709 X-Object-Public             Object's publicly accessible URI (optional)
710 X-Object-Meta-*             Optional user defined metadata
711 ==========================  ===============================
712
713 |
714
715 ===========================  ==============================
716 Return Code                  Description
717 ===========================  ==============================
718 200 (OK)                     The request succeeded
719 206 (Partial Content)        The range request succeeded
720 304 (Not Modified)           The object has not been modified
721 412 (Precondition Failed)    The condition set can not be satisfied
722 416 (Range Not Satisfiable)  The requested range is out of limits
723 ===========================  ==============================
724
725
726 PUT
727 """
728
729 ====================  ================================
730 Request Header Name   Value
731 ====================  ================================
732 If-Match              Put if ETags match with current object
733 If-None-Match         Put if ETags don't match with current object
734 ETag                  The MD5 hash of the object (optional to check written data)
735 Content-Length        The size of the data written
736 Content-Type          The MIME content type of the object
737 Transfer-Encoding     Set to ``chunked`` to specify incremental uploading (if used, ``Content-Length`` is ignored)
738 X-Copy-From           The source path in the form ``/<container>/<object>``
739 X-Move-From           The source path in the form ``/<container>/<object>``
740 X-Source-Account      The source account to copy/move from
741 X-Source-Version      The source version to copy from
742 Content-Encoding      The encoding of the object (optional)
743 Content-Disposition   The presentation style of the object (optional)
744 X-Object-Manifest     Object parts prefix in ``<container>/<object>`` form (optional)
745 X-Object-Sharing      Object permissions (optional)
746 X-Object-Public       Object is publicly accessible (optional)
747 X-Object-Meta-*       Optional user defined metadata
748 ====================  ================================
749
750 |
751
752 ======================  ===================================
753 Request Parameter Name  Value
754 ======================  ===================================
755 format                  Optional extended request type (can be ``json`` or ``xml``)
756 hashmap                 Optional hashmap provided instead of data (no value parameter)
757 ======================  ===================================
758
759 The request is the object's data (or part of it), except if a hashmap is provided (using ``hashmap`` and ``format`` parameters). If using a hashmap and all different parts are stored in the server, the object is created, otherwise the server returns Conflict (409) with the list of the missing parts (in a simple text format, with one hash per line).
760
761 Hashmaps should be formatted as outlined in ``GET``.
762
763 ==========================  ===============================
764 Reply Header Name           Value
765 ==========================  ===============================
766 ETag                        The MD5 hash of the object (on create)
767 X-Object-Version            The object's new version
768 ==========================  ===============================
769
770 The ``X-Object-Sharing`` header may include either a ``read=...`` comma-separated user/group list, or a ``write=...`` comma-separated user/group list, or both separated by a semicolon (``;``). Groups are specified as ``<account>:<group>``. To publish the object, set ``X-Object-Public`` to ``true``. To unpublish, set to ``false``, or use an empty header value.
771
772 ==============================  ==============================
773 Return Code                     Description
774 ==============================  ==============================
775 201 (Created)                   The object has been created
776 409 (Conflict)                  The object can not be created from the provided hashmap, or there are conflicting permissions (a list of missing hashes, or a list of conflicting sharing paths will be included in the reply - in simple text format)
777 411 (Length Required)           Missing ``Content-Length`` or ``Content-Type`` in the request
778 413 (Request Entity Too Large)  Insufficient quota to complete the request
779 422 (Unprocessable Entity)      The MD5 checksum of the data written to the storage system does not match the (optionally) supplied ETag value
780 ==============================  ==============================
781
782
783 COPY
784 """"
785
786 ====================  ================================
787 Request Header Name   Value
788 ====================  ================================
789 If-Match              Proceed if ETags match with object
790 If-None-Match         Proceed if ETags don't match with object
791 Destination           The destination path in the form ``/<container>/<object>``
792 Destination-Account   The destination account to copy to
793 Content-Type          The MIME content type of the object (optional)
794 Content-Encoding      The encoding of the object (optional)
795 Content-Disposition   The presentation style of the object (optional)
796 X-Source-Version      The source version to copy from
797 X-Object-Manifest     Object parts prefix in ``<container>/<object>`` form (optional)
798 X-Object-Sharing      Object permissions (optional)
799 X-Object-Public       Object is publicly accessible (optional)
800 X-Object-Meta-*       Optional user defined metadata
801 ====================  ================================
802
803 Refer to ``PUT``/``POST`` for a description of request headers. Metadata is also copied, updated with any values defined. Sharing/publishing options are not copied.
804
805 ==========================  ===============================
806 Reply Header Name           Value
807 ==========================  ===============================
808 X-Object-Version            The object's new version
809 ==========================  ===============================
810
811 |
812
813 ==============================  ==============================
814 Return Code                     Description
815 ==============================  ==============================
816 201 (Created)                   The object has been created
817 409 (Conflict)                  There are conflicting permissions (a list of conflicting sharing paths will be included in the reply - in simple text format)
818 413 (Request Entity Too Large)  Insufficient quota to complete the request
819 ==============================  ==============================
820
821
822 MOVE
823 """"
824
825 Same as ``COPY``, without the ``X-Source-Version`` request header. The ``MOVE`` operation is always applied on the latest version.
826
827
828 POST
829 """"
830
831 ====================  ================================
832 Request Header Name   Value
833 ====================  ================================
834 If-Match              Proceed if ETags match with object
835 If-None-Match         Proceed if ETags don't match with object
836 Content-Length        The size of the data written (optional, to update)
837 Content-Type          The MIME content type of the object (optional, to update)
838 Content-Range         The range of data supplied (optional, to update)
839 Transfer-Encoding     Set to ``chunked`` to specify incremental uploading (if used, ``Content-Length`` is ignored)
840 Content-Encoding      The encoding of the object (optional)
841 Content-Disposition   The presentation style of the object (optional)
842 X-Source-Object       Update with data from the object at path ``/<container>/<object>`` (optional, to update)
843 X-Source-Account      The source account to update from
844 X-Source-Version      The source version to update from (optional, to update)
845 X-Object-Bytes        The updated object's final size (optional, when updating)
846 X-Object-Manifest     Object parts prefix in ``<container>/<object>`` form (optional)
847 X-Object-Sharing      Object permissions (optional)
848 X-Object-Public       Object is publicly accessible (optional)
849 X-Object-Meta-*       Optional user defined metadata
850 ====================  ================================
851
852 |
853
854 ======================  ============================================
855 Request Parameter Name  Value
856 ======================  ============================================
857 update                  Do not replace metadata (no value parameter)
858 ======================  ============================================
859
860 The ``Content-Encoding``, ``Content-Disposition``, ``X-Object-Manifest`` and ``X-Object-Meta-*`` headers are considered to be user defined metadata. An operation without the ``update`` parameter will overwrite all previous values and remove any keys not supplied. When using ``update`` any metadata with an empty value will be deleted.
861
862 To change permissions, include an ``X-Object-Sharing`` header (as defined in ``PUT``). To publish, include an ``X-Object-Public`` header, with a value of ``true``. If no such headers are defined, no changes will be applied to sharing/public. Use empty values to remove permissions/unpublish (unpublishing also works with ``false`` as a header value). Sharing options are applied to the object - not its versions.
863
864 To update an object's data:
865
866 * Either set ``Content-Type`` to ``application/octet-stream``, or provide an object with ``X-Source-Object``. If ``Content-Type`` has some other value, it will be ignored and only the metadata will be updated.
867 * If the data is supplied in the request (using ``Content-Type`` instead of ``X-Source-Object``), a valid ``Content-Length`` header is required - except if using chunked transfers (set ``Transfer-Encoding`` to ``chunked``).
868 * Set ``Content-Range`` as specified in RFC2616, with the following differences:
869
870   * Client software MAY omit ``last-byte-pos`` of if the length of the range being transferred is unknown or difficult to determine.
871   * Client software SHOULD not specify the ``instance-length`` (use a ``*``), unless there is a reason for performing a size check at the server.
872 * If ``Content-Range`` used has a ``byte-range-resp-spec = *``, data will be appended to the object.
873
874 Optionally, truncate the updated object to the desired length with the ``X-Object-Bytes`` header.
875
876 A data update will trigger an ETag change. Updated ETags correspond to the single Merkle hash of the object's hashmap (refer to http://bittorrent.org/beps/bep_0030.html for more information).
877
878 No reply content. No reply headers if only metadata is updated.
879
880 ==========================  ===============================
881 Reply Header Name           Value
882 ==========================  ===============================
883 ETag                        The new ETag of the object (data updated)
884 X-Object-Version            The object's new version
885 ==========================  ===============================
886
887 |
888
889 ==============================  ==============================
890 Return Code                     Description
891 ==============================  ==============================
892 202 (Accepted)                  The request has been accepted (not a data update)
893 204 (No Content)                The request succeeded (data updated)
894 409 (Conflict)                  There are conflicting permissions (a list of conflicting sharing paths will be included in the reply - in simple text format)
895 411 (Length Required)           Missing ``Content-Length`` in the request
896 413 (Request Entity Too Large)  Insufficient quota to complete the request
897 416 (Range Not Satisfiable)     The supplied range is invalid
898 ==============================  ==============================
899
900 The ``POST`` method can also be used for creating an object via a standard HTML form. If the request ``Content-Type`` is ``multipart/form-data``, none of the above headers will be processed. The form should have an ``X-Object-Data`` field, as in the following example. The token is passed as a request parameter. ::
901
902   <form method="post" action="https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt?X-Auth-Token=0000" enctype="multipart/form-data">
903     <input type="file" name="X-Object-Data">
904     <input type="submit">
905   </form>
906
907 This will create/override the object with the given name, as if using ``PUT``. The ``Content-Type`` of the object will be set to the value of the corresponding header sent in the part of the request containing the data (usually, automatically handled by the browser). Metadata, sharing and other object attributes can not be set this way.
908
909 ==========================  ===============================
910 Reply Header Name           Value
911 ==========================  ===============================
912 ETag                        The MD5 hash of the object
913 X-Object-Version            The object's new version
914 ==========================  ===============================
915
916 |
917
918 ==============================  ==============================
919 Return Code                     Description
920 ==============================  ==============================
921 201 (Created)                   The object has been created
922 413 (Request Entity Too Large)  Insufficient quota to complete the request
923 ==============================  ==============================
924
925
926 DELETE
927 """"""
928
929 ======================  ===================================
930 Request Parameter Name  Value
931 ======================  ===================================
932 until                   Optional timestamp
933 ======================  ===================================
934
935 If ``until`` is defined, the object is "purged" up to that time (the history up to then is deleted).
936
937 No reply content/headers.
938
939 ===========================  ==============================
940 Return Code                  Description
941 ===========================  ==============================
942 204 (No Content)             The request succeeded
943 ===========================  ==============================
944
945 Sharing and Public Objects
946 ^^^^^^^^^^^^^^^^^^^^^^^^^^
947
948 Read and write control in Pithos is managed by setting appropriate permissions with the ``X-Object-Sharing`` header. The permissions are applied using prefix-based inheritance. Thus, each set of authorization directives is applied to all objects sharing the same prefix with the object where the corresponding ``X-Object-Sharing`` header is defined. For simplicity, nested/overlapping permissions are not allowed. Setting ``X-Object-Sharing`` will fail, if the object is already "covered", or another object with a longer common-prefix name already has permissions. When retrieving an object, the ``X-Object-Shared-By`` header reports where it gets its permissions from. If not present, the object is the actual source of authorization directives.
949
950 A user may ``GET`` another account or container. The result will include a limited reply, containing only the allowed containers or objects respectively. A top-level request with an authentication token, will return a list of allowed accounts, so the user can easily find out which other users share objects. The ``X-Object-Allowed-To`` header lists the actions allowed on an object, if it does not belong to the requesting user.
951
952 Objects that are marked as public, via the ``X-Object-Public`` meta, are also available at the corresponding URI returned for ``HEAD`` or ``GET``. Requests for public objects do not need to include an ``X-Auth-Token``. Pithos will ignore request parameters and only include the following headers in the reply (all ``X-Object-*`` meta is hidden):
953
954 ==========================  ===============================
955 Reply Header Name           Value
956 ==========================  ===============================
957 ETag                        The ETag of the object
958 Content-Length              The size of the data returned
959 Content-Type                The MIME content type of the object
960 Content-Range               The range of data included (only on a single range request)
961 Last-Modified               The last object modification date (regardless of version)
962 Content-Encoding            The encoding of the object (optional)
963 Content-Disposition         The presentation style of the object (optional)
964 ==========================  ===============================
965
966 Public objects are not included and do not influence cross-user listings. They are, however, readable by all users.
967
968 Summary
969 ^^^^^^^
970
971 List of differences from the OOS API:
972
973 * Support for ``X-Account-Meta-*`` style headers at the account level. Use ``POST`` to update.
974 * Support for ``X-Container-Meta-*`` style headers at the container level. Can be set when creating via ``PUT``. Use ``POST`` to update.
975 * Header ``X-Container-Object-Meta`` at the container level and parameter ``meta`` in container listings. (**TBD**)
976 * Account and container policies to manage behavior and limits. Container behavior overrides account settings. Account quota sets the maximum bytes limit, regardless of container values.
977 * Headers ``X-Container-Block-*`` at the container level, exposing the underlying storage characteristics.
978 * All metadata replies, at all levels, include latest modification information.
979 * At all levels, a ``HEAD`` or ``GET`` request may use ``If-Modified-Since`` and ``If-Unmodified-Since`` headers.
980 * Container/object lists include all associated metadata if the reply is of type json/xml. Some names are kept to their OOS API equivalents for compatibility.
981 * Option to include only shared containers/objects in listings.
982 * Object metadata allowed, in addition to ``X-Object-Meta-*``: ``Content-Encoding``, ``Content-Disposition``, ``X-Object-Manifest``. These are all replaced with every update operation, except if using the ``update`` parameter (in which case individual keys can also be deleted). Deleting meta by providing empty values also works when copying/moving an object.
983 * Multi-range object ``GET`` support as outlined in RFC2616.
984 * Object hashmap retrieval through ``GET`` and the ``format`` parameter.
985 * Object create via hashmap through ``PUT`` and the ``format`` parameter.
986 * The object's Merkle hash is always returned in the ``X-Object-Hash`` header.
987 * Object create using ``POST`` to support standard HTML forms.
988 * Partial object updates through ``POST``, using the ``Content-Length``, ``Content-Type``, ``Content-Range`` and ``Transfer-Encoding`` headers. Use another object's data to update with ``X-Source-Object`` and ``X-Source-Version``. Truncate with ``X-Object-Bytes``. New ETag corresponds to the Merkle hash of the object's hashmap.
989 * Include new version identifier in replies for object replace/change requests.
990 * Object ``MOVE`` support.
991 * Conditional object create/update operations, using ``If-Match`` and ``If-None-Match`` headers.
992 * Time-variant account/container listings via the ``until`` parameter.
993 * Object versions - parameter ``version`` in ``HEAD``/``GET`` (list versions with ``GET``), ``X-Object-Version-*`` meta in replies, ``X-Source-Version`` in ``PUT``/``COPY``.
994 * Sharing/publishing with ``X-Object-Sharing``, ``X-Object-Public`` at the object level. Cross-user operations are allowed - controlled by sharing directives. Available actions in cross-user requests are reported with ``X-Object-Allowed-To``. Permissions may include groups defined with ``X-Account-Group-*`` at the account level. These apply to the object - not its versions.
995 * Support for prefix-based inheritance when enforcing permissions. Parent object carrying the authorization directives is reported in ``X-Object-Shared-By``.
996 * Copy and move between accounts with ``X-Source-Account`` and ``Destination-Account`` headers.
997 * Large object support with ``X-Object-Manifest``.
998 * Trace the user that created/modified an object with ``X-Object-Modified-By``.
999 * Purge container/object history with the ``until`` parameter in ``DELETE``.
1000
1001 Clarifications/suggestions:
1002
1003 * Authentication is done by another system. The token is used in the same way, but it is obtained differently. The top level ``GET`` request is kept compatible with the OOS API and allows for guest/testing operations.
1004 * Some processing is done in the variable part of all ``X-*-Meta-*`` headers. If it includes underscores, they will be converted to dashes and the first letter of all intra-dash strings will be capitalized.
1005 * A ``GET`` reply for a level will include all headers of the corresponding ``HEAD`` request.
1006 * To avoid conflicts between objects and virtual directory markers in container listings, it is recommended that object names do not end with the delimiter used.
1007 * The ``Accept`` header may be used in requests instead of the ``format`` parameter to specify the desired request/reply format. The parameter overrides the header.
1008 * Container/object lists use a ``200`` return code if the reply is of type json/xml. The reply will include an empty json/xml.
1009 * In headers, dates are formatted according to RFC 1123. In extended information listings, the ``last_modified`` field is formatted according to ISO 8601 (for OOS API compatibility). All other fields (Pithos extensions) use integer tiemstamps.
1010 * The ``Last-Modified`` header value always reflects the actual latest change timestamp, regardless of time control parameters and version requests. Time precondition checks with ``If-Modified-Since`` and ``If-Unmodified-Since`` headers are applied to this value.
1011 * A copy/move using ``PUT``/``COPY``/``MOVE`` will always update metadata, keeping all old values except the ones redefined in the request headers.
1012 * A ``HEAD`` or ``GET`` for an ``X-Object-Manifest`` object, will include modified ``Content-Length`` and ``ETag`` headers, according to the characteristics of the objects under the specified prefix. The ``Etag`` will be the MD5 hash of the corresponding ETags concatenated. In extended container listings there is no metadata processing.
1013
1014 The Pithos Client
1015 -----------------
1016
1017 User Experience
1018 ^^^^^^^^^^^^^^^
1019
1020 Hopefully this API will allow for a multitude of client implementations, each supporting a different device or operating system. All clients will be able to manipulate containers and objects - even software only designed for OOS API compatibility. But a Pithos interface should not be only about showing containers and folders. There are some extra user interface elements and functionalities that should be common to all implementations.
1021
1022 Upon entrance to the service, a user is presented with the following elements - which can be represented as folders or with other related icons:
1023
1024 * The ``home`` element, which is used as the default entry point to the user's "files". Objects under ``home`` are represented in the usual hierarchical organization of folders and files.
1025 * The ``trash`` element, which contains files that have been marked for deletion, but can still be recovered.
1026 * The ``shared`` element, which contains all objects shared by the user to other users of the system.
1027 * The ``others`` element, which contains all objects that other users share with the user.
1028 * The ``groups`` element, which contains the names of groups the user has defined. Each group consists of a user list. Group creation, deletion, and manipulation is carried out by actions originating here.
1029 * The ``history`` element, which allows browsing past instances of ``home`` and - optionally - ``trash``.
1030
1031 Objects in Pithos can be:
1032
1033 * Moved to trash and then deleted.
1034 * Shared with specific permissions.
1035 * Made public (shared with non-Pithos users).
1036 * Restored from previous versions.
1037
1038 Some of these functions are performed by the client software and some by the Pithos server.
1039
1040 In the first version of Pithos, objects could also be assigned custom tags. This is no longer supported. Existing deployments can migrate tags into a specific metadata value, i.e. ``X-Object-Meta-Tags``.
1041
1042 Implementation Guidelines
1043 ^^^^^^^^^^^^^^^^^^^^^^^^^
1044
1045 Pithos clients should use the ``pithos`` and ``trash`` containers for active and inactive objects respectively. If any of these containers is not found, the client software should create it, without interrupting the user's workflow. The ``home`` element corresponds to ``pithos`` and the ``trash`` element to ``trash``. Use ``PUT`` with the ``X-Move-From`` header, or ``MOVE`` to transfer objects from one container to the other. Use ``DELETE`` to remove from ``pithos`` without trashing, or to remove from ``trash``. When moving objects, detect naming conflicts with the ``If-Match`` or ``If-None-Match`` headers. Such conflicts should be resolved by the user.
1046
1047 Object names should use the ``/`` delimiter to impose a hierarchy of folders and files.
1048
1049 The ``shared`` element should be implemented as a read-only view of the ``pithos`` container, using the ``shared`` parameter when listing objects. The ``others`` element, should start with a top-level ``GET`` to retrieve the list of accounts accessible to the user. It is suggested that the client software hides the next step of navigation - the container - if it only includes ``pithos`` and forwards the user directly to the objects.
1050
1051 Public objects are not included in ``shared`` and ``others`` listings. It is suggested that they are marked in a visually distinctive way in ``pithos`` listings (for example using an icon overlay).
1052
1053 A special application menu, or a section in application preferences, should be devoted to managing groups (the ``groups`` element). All group-related actions are implemented at the account level.
1054
1055 Browsing past versions of objects should be available both at the object and the container level. At the object level, a list of past versions can be included in the screen showing details or more information on the object (metadata, permissions, etc.). At the container level, it is suggested that clients use a ``history`` element, which presents to the user a read-only, time-variable view of ``pithos`` contents. This can be accomplished via the ``until`` parameter in listings. Optionally, ``history`` may include ``trash``.
1056
1057 Uploading and downloading data
1058 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1059
1060 By using hashmaps to upload and download objects the corresponding operations can complete much faster.
1061
1062 In the case of an upload, only the missing blocks will be submitted to the server:
1063
1064 * Calculate the hash value for each block of the object to be uploaded. Use the hash algorithm and block size of the destination container.
1065 * Send a hashmap ``PUT`` request for the object.
1066
1067   * Server responds with status ``201`` (Created):
1068
1069     * Blocks are already on the server. The object has been created. Done.
1070
1071   * Server responds with status ``409`` (Conflict):
1072
1073     * Server's response body contains the hashes of the blocks that do not exist on the server.
1074     * For each hash value in the server's response (or all hashes together):
1075
1076       * Send a ``POST`` request to the destination container with the corresponding data.
1077
1078 * Repeat hashmap ``PUT``. Fail if the server's response is not ``201``.
1079
1080 Consulting hashmaps when downloading allows for resuming partially transferred objects. The client should retrieve the hashmap from the server and compare it with the hashmap computed from the respective local file. Any missing parts can be downloaded with ``GET`` requests with the additional ``Range`` header.
1081
1082 Syncing
1083 ^^^^^^^
1084
1085 Consider the following algorithm for synchronizing a local folder with the server. The "state" is the complete object listing, with the corresponding attributes.
1086  
1087 ::
1088
1089   L: local state (stored state from last sync with the server)
1090   C: current state (state computed right before sync)
1091   S: server state
1092
1093   if C == L:
1094       # No local changes
1095       if S == L:
1096           # No remote changes, nothing to do
1097       else:
1098           # Update local state to match that of the server
1099          L = S
1100   else:
1101       # We have local changes
1102       if S == L:
1103           # No remote changes, update the server
1104           S = C
1105           L = S
1106       else:
1107           # Both we and server have changes
1108           if C == S:
1109               # We were lucky, we did the same change
1110               L = S
1111           else:
1112               # We have conflicting changes
1113               resolve conflict
1114
1115 Notes:
1116
1117 * States represent file hashes (either MD5 or Merkle). Deleted or non-existing files are assumed to have a magic hash (e.g. empty string).
1118 * Updating a state (either local or remote) implies downloading, uploading or deleting the appropriate file.
1119
1120 Recommended Practices and Examples
1121 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1122
1123 Assuming an authentication token is obtained, the following high-level operations are available - shown with ``curl``:
1124
1125 * Get account information ::
1126
1127     curl -X HEAD -D - \
1128          -H "X-Auth-Token: 0000" \
1129          https://pithos.dev.grnet.gr/v1/user
1130
1131 * List available containers ::
1132
1133     curl -X GET -D - \
1134          -H "X-Auth-Token: 0000" \
1135          https://pithos.dev.grnet.gr/v1/user
1136
1137 * Get container information ::
1138
1139     curl -X HEAD -D - \
1140          -H "X-Auth-Token: 0000" \
1141          https://pithos.dev.grnet.gr/v1/user/pithos
1142
1143 * Add a new container ::
1144
1145     curl -X PUT -D - \
1146          -H "X-Auth-Token: 0000" \
1147          https://pithos.dev.grnet.gr/v1/user/test
1148
1149 * Delete a container ::
1150
1151     curl -X DELETE -D - \
1152          -H "X-Auth-Token: 0000" \
1153          https://pithos.dev.grnet.gr/v1/user/test
1154
1155 * List objects in a container ::
1156
1157     curl -X GET -D - \
1158          -H "X-Auth-Token: 0000" \
1159          https://pithos.dev.grnet.gr/v1/user/pithos
1160
1161 * List objects in a container (extended reply) ::
1162
1163     curl -X GET -D - \
1164          -H "X-Auth-Token: 0000" \
1165          https://pithos.dev.grnet.gr/v1/user/pithos?format=json
1166
1167   It is recommended that extended replies are cached and subsequent requests utilize the ``If-Modified-Since`` header.
1168
1169 * List metadata keys used by objects in a container
1170
1171   Will be in the ``X-Container-Object-Meta`` reply header, included in container information or object list (``HEAD`` or ``GET``). (**TBD**)
1172
1173 * List objects in a container having a specific meta defined ::
1174
1175     curl -X GET -D - \
1176          -H "X-Auth-Token: 0000" \
1177          https://pithos.dev.grnet.gr/v1/user/pithos?meta=favorites
1178
1179 * Retrieve an object ::
1180
1181     curl -X GET -D - \
1182          -H "X-Auth-Token: 0000" \
1183          https://pithos.dev.grnet.gr/v1/user/pithos/README.txt
1184
1185 * Retrieve an object (specific ranges of data) ::
1186
1187     curl -X GET -D - \
1188          -H "X-Auth-Token: 0000" \
1189          -H "Range: bytes=0-9" \
1190          https://pithos.dev.grnet.gr/v1/user/pithos/README.txt
1191
1192   This will return the first 10 bytes. To get the first 10, bytes 30-39 and the last 100 use ``Range: bytes=0-9,30-39,-100``.
1193
1194 * Add a new object (folder type) (**TBD**) ::
1195
1196     curl -X PUT -D - \
1197          -H "X-Auth-Token: 0000" \
1198          -H "Content-Type: application/directory" \
1199          https://pithos.dev.grnet.gr/v1/user/pithos/folder
1200
1201 * Add a new object ::
1202
1203     curl -X PUT -D - \
1204          -H "X-Auth-Token: 0000" \
1205          -H "Content-Type: text/plain" \
1206          -T EXAMPLE.txt
1207          https://pithos.dev.grnet.gr/v1/user/pithos/folder/EXAMPLE.txt
1208
1209 * Update an object ::
1210
1211     curl -X POST -D - \
1212          -H "X-Auth-Token: 0000" \
1213          -H "Content-Length: 10" \
1214          -H "Content-Type: application/octet-stream" \
1215          -H "Content-Range: bytes 10-19/*" \
1216          -d "0123456789" \
1217          https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt
1218
1219   This will update bytes 10-19 with the data specified.
1220
1221 * Update an object (append) ::
1222
1223     curl -X POST -D - \
1224          -H "X-Auth-Token: 0000" \
1225          -H "Content-Length: 10" \
1226          -H "Content-Type: application/octet-stream" \
1227          -H "Content-Range: bytes */*" \
1228          -d "0123456789" \
1229          https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt
1230
1231 * Update an object (truncate) ::
1232
1233     curl -X POST -D - \
1234          -H "X-Auth-Token: 0000" \
1235          -H "X-Source-Object: /folder/EXAMPLE.txt" \
1236          -H "Content-Range: bytes 0-0/*" \
1237          -H "X-Object-Bytes: 0" \
1238          https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt
1239
1240   This will truncate the object to 0 bytes.
1241
1242 * Add object metadata ::
1243
1244     curl -X POST -D - \
1245          -H "X-Auth-Token: 0000" \
1246          -H "X-Object-Meta-First: first_meta_value" \
1247          -H "X-Object-Meta-Second: second_meta_value" \
1248          https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt
1249
1250 * Delete object metadata ::
1251
1252     curl -X POST -D - \
1253          -H "X-Auth-Token: 0000" \
1254          -H "X-Object-Meta-First: first_meta_value" \
1255          https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt
1256
1257   Metadata can only be "set". To delete ``X-Object-Meta-Second``, reset all metadata.
1258
1259 * Delete an object ::
1260
1261     curl -X DELETE -D - \
1262          -H "X-Auth-Token: 0000" \
1263          https://pithos.dev.grnet.gr/v1/user/folder/EXAMPLE.txt