code.grnet.gr Git - kamaki/blob - kamaki/clients/pithos.py

   1 # Copyright 2011 GRNET S.A. All rights reserved.
   2 #
   3 # Redistribution and use in source and binary forms, with or
   4 # without modification, are permitted provided that the following
   5 # conditions are met:
   6 #
   7 #   1. Redistributions of source code must retain the above
   8 #      copyright notice, this list of conditions and the following
   9 #      disclaimer.
  10 #
  11 #   2. Redistributions in binary form must reproduce the above
  12 #      copyright notice, this list of conditions and the following
  13 #      disclaimer in the documentation and/or other materials
  14 #      provided with the distribution.
  15 #
  16 # THIS SOFTWARE IS PROVIDED BY GRNET S.A. ``AS IS'' AND ANY EXPRESS
  17 # OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  18 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  19 # PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL GRNET S.A OR
  20 # CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  21 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  22 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF
  23 # USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  24 # AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  25 # LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN
  26 # ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  27 # POSSIBILITY OF SUCH DAMAGE.
  28 #
  29 # The views and conclusions contained in the software and
  30 # documentation are those of the authors and should not be
  31 # interpreted as representing official policies, either expressed
  32 # or implied, of GRNET S.A.
  33
  34 import hashlib
  35 import json
  36
  37 from . import ClientError
  38 from .storage import StorageClient
  39
  40
  41 class PithosClient(StorageClient):
  42     """GRNet Pithos API client"""
  43
  44     def put_block(self, data):
  45         path = '/%s/%s?update' % (self.account, self.container)
  46         headers = {'Content-Type': 'application/octet-stream'}
  47         self.raw_http_cmd('POST', path, data, headers, success=202)
  48
  49     def create_object(self, object, f):
  50         meta = self.get_container_meta()
  51         blocksize = int(meta['block-size'])
  52         blockhash = meta['block-hash']
  53
  54         size = 0
  55         hashes = []
  56         data = f.read(blocksize)
  57         while data:
  58             size += len(data)
  59             h = hashlib.new(blockhash)
  60             h.update(data)
  61             hashes.append(h.hexdigest())
  62             data = f.read(blocksize)
  63
  64         path = '/%s/%s/%s?hashmap&format=json' % (self.account, self.container,
  65                 object)
  66         hashmap = dict(bytes=size, hashes=hashes)
  67         req = json.dumps(hashmap)
  68         resp, reply = self.raw_http_cmd('PUT', path, req, success=None)
  69
  70         if resp.status not in (201, 409):
  71             raise ClientError('Invalid response from the server')
  72
  73         if resp.status == 201:
  74             return
  75
  76         hashes = set(reply.split())
  77
  78         f.seek(0)
  79         data = f.read(blocksize)
  80         while data:
  81             h = hashlib.new(blockhash)
  82             h.update(data)
  83             hash = h.hexdigest()
  84             if hash in hashes:
  85                 self.put_block(data)
  86                 hashes.remove(hash)
  87             data = f.read(blocksize)
  88
  89         self.http_put(path, req, success=201)