code.grnet.gr Git - pithos/blob - snf-pithos-backend/pithos/backends/lib/hashfiler/mapper.py

   1 # Copyright 2011-2012 GRNET S.A. All rights reserved.
   2 #
   3 # Redistribution and use in source and binary forms, with or
   4 # without modification, are permitted provided that the following
   5 # conditions are met:
   6 #
   7 #   1. Redistributions of source code must retain the above
   8 #      copyright notice, this list of conditions and the following
   9 #      disclaimer.
  10 #
  11 #   2. Redistributions in binary form must reproduce the above
  12 #      copyright notice, this list of conditions and the following
  13 #      disclaimer in the documentation and/or other materials
  14 #      provided with the distribution.
  15 #
  16 # THIS SOFTWARE IS PROVIDED BY GRNET S.A. ``AS IS'' AND ANY EXPRESS
  17 # OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  18 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  19 # PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL GRNET S.A OR
  20 # CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  21 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  22 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF
  23 # USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  24 # AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  25 # LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN
  26 # ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  27 # POSSIBILITY OF SUCH DAMAGE.
  28 #
  29 # The views and conclusions contained in the software and
  30 # documentation are those of the authors and should not be
  31 # interpreted as representing official policies, either expressed
  32 # or implied, of GRNET S.A.
  33
  34 from os import makedirs, unlink
  35 from os.path import isdir, realpath, exists, join
  36 from binascii import hexlify
  37
  38 from context_file import ContextFile
  39
  40
  41 class Mapper(object):
  42     """Mapper.
  43        Required constructor parameters: mappath, namelen.
  44     """
  45
  46     mappath = None
  47     namelen = None
  48
  49     def __init__(self, **params):
  50         self.params = params
  51         self.namelen = params['namelen']
  52         mappath = realpath(params['mappath'])
  53         if not isdir(mappath):
  54             if not exists(mappath):
  55                 makedirs(mappath)
  56             else:
  57                 raise ValueError("Variable mappath '%s' is not a directory" % (mappath,))
  58         self.mappath = mappath
  59
  60     def _get_rear_map(self, maphash, create=0):
  61         filename = hexlify(maphash)
  62         dir = join(self.mappath, filename[0:2], filename[2:4], filename[4:6])
  63         if not exists(dir):
  64             makedirs(dir)
  65         name = join(dir, filename)
  66         return ContextFile(name, create)
  67
  68     def _check_rear_map(self, maphash):
  69         filename = hexlify(maphash)
  70         dir = join(self.mappath, filename[0:2], filename[2:4], filename[4:6])
  71         name = join(dir, filename)
  72         return exists(name)
  73
  74     def map_retr(self, maphash, blkoff=0, nr=100000000000000):
  75         """Return as a list, part of the hashes map of an object
  76            at the given block offset.
  77            By default, return the whole hashes map.
  78         """
  79         namelen = self.namelen
  80         hashes = ()
  81
  82         with self._get_rear_map(maphash, 0) as rmap:
  83             if rmap:
  84                 hashes = list(rmap.sync_read_chunks(namelen, nr, blkoff))
  85         return hashes
  86
  87     def map_stor(self, maphash, hashes=(), blkoff=0, create=1):
  88         """Store hashes in the given hashes map."""
  89         namelen = self.namelen
  90         if self._check_rear_map(maphash):
  91             return
  92         with self._get_rear_map(maphash, 1) as rmap:
  93             rmap.sync_write_chunks(namelen, blkoff, hashes, None)
  94