code.grnet.gr Git - snf-image/blob - snf-image-host/pithcat

   1 #!/usr/bin/env python
   2
   3 # Copyright (C) 2011 GRNET S.A.
   4 #
   5 # This program is free software; you can redistribute it and/or modify
   6 # it under the terms of the GNU General Public License as published by
   7 # the Free Software Foundation; either version 2 of the License, or
   8 # (at your option) any later version.
   9 #
  10 # This program is distributed in the hope that it will be useful, but
  11 # WITHOUT ANY WARRANTY; without even the implied warranty of
  12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13 # General Public License for more details.
  14 #
  15 # You should have received a copy of the GNU General Public License
  16 # along with this program; if not, write to the Free Software
  17 # Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
  18 # 02110-1301, USA.
  19
  20 """
  21 A tool that connects to the Pithos backend and returns the size and contents
  22 of a pithos object.
  23
  24 Since the backend does not have a "root" account we use the account given in
  25 the URL as the user when connecting to the backend.
  26 """
  27
  28 from optparse import OptionParser
  29 from sys import exit, stdout, stderr
  30 from os import environ
  31 from binascii import hexlify, unhexlify
  32 from collections import namedtuple
  33
  34 try:
  35     from pithos.backends.modular import ModularBackend
  36 except ImportError:
  37     stderr.write("Pithos backend was not found.\n")
  38     exit(2)
  39
  40
  41 parser = OptionParser(usage='%prog [options] <URL>')
  42 parser.add_option('--db', dest='db', metavar='URI',
  43         help='SQLAlchemy URI of the database [REQUIRED]')
  44 parser.add_option('--data', dest='data', metavar='DIR',
  45         help='path to the directory where data are stored [REQUIRED]')
  46 parser.add_option('-s', action='store_true', dest='size', default=False,
  47         help='print file size and exit')
  48
  49 LocationURL = namedtuple('LocationURL', ['account', 'container', 'object'])
  50 HashmapURL = namedtuple('HashmapURL', ['hash', 'size'])
  51
  52
  53 def parse_url(url):
  54     if url.startswith('pithos://'):
  55         t = url.split('/', 4)
  56         assert len(t) == 5, "Invalid URL"
  57         return LocationURL(*t[2:5])
  58     elif url.startswith('pithosmap://'):
  59         t = url.split('/', 3)
  60         assert len(t) == 4, "Invalid URL"
  61         return HashmapURL(*t[2:4])
  62     else:
  63         raise Exception("Invalid URL")
  64
  65
  66 def print_size(backend, url):
  67     """Writes object's size to stdout."""
  68     url = parse_url(url)
  69     if type(url) is LocationURL:
  70         account, container, object = url
  71         meta = backend.get_object_meta(account, account, container, object,
  72                                        None)
  73         print meta['bytes']
  74     elif type(url) is HashmapURL:
  75         print url.size
  76     else:
  77         raise Exception("Invalid URL")
  78
  79
  80 def print_data(backend, url):
  81     """Writes object's size to stdout."""
  82
  83     url = parse_url(url)
  84     if type(url) is LocationURL:
  85         account, container, object = url
  86         size, hashmap = backend.get_object_hashmap(account, account, container,
  87                 object)
  88     elif type(url) is HashmapURL:
  89         hashmap = [hexlify(x) \
  90                    for x in backend.store.map_get(unhexlify(url.hash))]
  91         size = int(url.size)
  92     else:
  93         raise Exception("Invalid URL")
  94
  95     for hash in hashmap:
  96         block = backend.get_block(hash)
  97         if len(block) > size:
  98             block = block[:size]
  99         stdout.write(block)
 100         size -= len(block)
 101
 102
 103 def main():
 104     options, args = parser.parse_args()
 105     if len(args) != 1:
 106         parser.print_help()
 107         exit(1)
 108
 109     url = args[0]
 110
 111     if not options.data and 'PITHCAT_INPUT_DATA' not in environ:
 112         stderr.write("Pithos data directory path is missing.\n")
 113         exit(1)
 114
 115     data_path = environ['PITHCAT_INPUT_DATA'] if not options.data else \
 116             options.data
 117
 118     if not options.db and 'PITHCAT_INPUT_DB' not in environ:
 119         stderr.write("Pithos database uri is missing.\n")
 120         exit(1)
 121
 122     db_uri = environ['PITHCAT_INPUT_DB'] if not options.db else options.db
 123
 124     backend = ModularBackend(None, db_uri, None, data_path)
 125
 126     if options.size:
 127         print_size(backend, url)
 128     else:
 129         print_data(backend, url)
 130
 131 if __name__ == '__main__':
 132     main()