code.grnet.gr Git - kamaki/blob - kamaki/clients/pithos.py

   1 # Copyright 2011 GRNET S.A. All rights reserved.
   2 #
   3 # Redistribution and use in source and binary forms, with or
   4 # without modification, are permitted provided that the following
   5 # conditions are met:
   6 #
   7 #   1. Redistributions of source code must retain the above
   8 #      copyright notice, this list of conditions and the following
   9 #      disclaimer.
  10 #
  11 #   2. Redistributions in binary form must reproduce the above
  12 #      copyright notice, this list of conditions and the following
  13 #      disclaimer in the documentation and/or other materials
  14 #      provided with the distribution.
  15 #
  16 # THIS SOFTWARE IS PROVIDED BY GRNET S.A. ``AS IS'' AND ANY EXPRESS
  17 # OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  18 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  19 # PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL GRNET S.A OR
  20 # CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  21 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  22 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF
  23 # USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  24 # AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  25 # LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN
  26 # ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  27 # POSSIBILITY OF SUCH DAMAGE.
  28 #
  29 # The views and conclusions contained in the software and
  30 # documentation are those of the authors and should not be
  31 # interpreted as representing official policies, either expressed
  32 # or implied, of GRNET S.A.
  33
  34 import hashlib
  35 import json
  36
  37 from . import ClientError
  38 from .storage import StorageClient
  39
  40
  41 class PithosClient(StorageClient):
  42     """GRNet Pithos API client"""
  43
  44     def put_block(self, data, hash):
  45         path = '/%s/%s?update' % (self.account, self.container)
  46         headers = {'Content-Type': 'application/octet-stream',
  47                    'Content-Length': len(data)}
  48         resp, reply = self.raw_http_cmd('POST', path, data, headers,
  49                                         success=202)
  50         assert reply.strip() == hash, 'Local hash does not match server'
  51
  52     def create_object(self, object, f):
  53         meta = self.get_container_meta()
  54         blocksize = int(meta['block-size'])
  55         blockhash = meta['block-hash']
  56
  57         size = 0
  58         hashes = {}
  59         data = f.read(blocksize)
  60         while data:
  61             bytes = len(data)
  62             h = hashlib.new(blockhash)
  63             h.update(data.rstrip('\x00'))
  64             hash = h.hexdigest()
  65             hashes[hash] = (size, bytes)
  66             size += bytes
  67             data = f.read(blocksize)
  68
  69         path = '/%s/%s/%s?hashmap&format=json' % (self.account, self.container,
  70                                                   object)
  71         hashmap = dict(bytes=size, hashes=hashes)
  72         req = json.dumps(hashmap)
  73         resp, reply = self.raw_http_cmd('PUT', path, req, success=None)
  74
  75         if resp.status not in (201, 409):
  76             raise ClientError('Invalid response from the server')
  77
  78         if resp.status == 201:
  79             return
  80
  81         missing = json.loads(reply)
  82
  83         for hash in missing:
  84             offset, bytes = hashes[hash]
  85             f.seek(offset)
  86             data = f.read(bytes)
  87             self.put_block(data, hash)
  88
  89         self.http_put(path, req, success=201)