locking: Change locking order, move NAL after instances
[ganeti-local] / test / ganeti.cli_unittest.py
index f1e1e38..5cb4869 100755 (executable)
@@ -1,7 +1,7 @@
 #!/usr/bin/python
 #
 
-# Copyright (C) 2008 Google Inc.
+# Copyright (C) 2008, 2011 Google Inc.
 #
 # This program is free software; you can redistribute it and/or modify
 # it under the terms of the GNU General Public License as published by
@@ -22,6 +22,7 @@
 """Script for unittesting the cli module"""
 
 import unittest
+import time
 from cStringIO import StringIO
 
 import ganeti
@@ -32,6 +33,7 @@ from ganeti import cli
 from ganeti import errors
 from ganeti import utils
 from ganeti import objects
+from ganeti import qlang
 from ganeti.errors import OpPrereqError, ParameterError
 
 
@@ -41,14 +43,14 @@ class TestParseTimespec(unittest.TestCase):
   def testValidTimes(self):
     """Test valid timespecs"""
     test_data = [
-      ('1s', 1),
-      ('1', 1),
-      ('1m', 60),
-      ('1h', 60 * 60),
-      ('1d', 60 * 60 * 24),
-      ('1w', 60 * 60 * 24 * 7),
-      ('4h', 4 * 60 * 60),
-      ('61m', 61 * 60),
+      ("1s", 1),
+      ("1", 1),
+      ("1m", 60),
+      ("1h", 60 * 60),
+      ("1d", 60 * 60 * 24),
+      ("1w", 60 * 60 * 24 * 7),
+      ("4h", 4 * 60 * 60),
+      ("61m", 61 * 60),
       ]
     for value, expected_result in test_data:
       self.failUnlessEqual(cli.ParseTimespec(value), expected_result)
@@ -56,10 +58,10 @@ class TestParseTimespec(unittest.TestCase):
   def testInvalidTime(self):
     """Test invalid timespecs"""
     test_data = [
-      '1y',
-      '',
-      'aaa',
-      's',
+      "1y",
+      "",
+      "aaa",
+      "s",
       ]
     for value in test_data:
       self.failUnlessRaises(OpPrereqError, cli.ParseTimespec, value)
@@ -84,6 +86,7 @@ class TestSplitKeyVal(unittest.TestCase):
     """Test how we handle splitting an empty string"""
     self.failUnlessEqual(cli._SplitKeyVal("option", ""), {})
 
+
 class TestIdentKeyVal(unittest.TestCase):
   """Testing case for cli.check_ident_key_val"""
 
@@ -101,6 +104,17 @@ class TestIdentKeyVal(unittest.TestCase):
     self.assertEqual(cikv("-foo"), ("foo", None))
     self.assertRaises(ParameterError, cikv, "-foo:a=c")
 
+    # Check negative numbers
+    self.assertEqual(cikv("-1:remove"), ("-1", {
+      "remove": True,
+      }))
+    self.assertEqual(cikv("-29447:add,size=4G"), ("-29447", {
+      "add": True,
+      "size": "4G",
+      }))
+    for i in ["-:", "-"]:
+      self.assertEqual(cikv(i), ("", None))
+
 
 class TestToStream(unittest.TestCase):
   """Test the ToStream functions"""
@@ -114,7 +128,7 @@ class TestToStream(unittest.TestCase):
                  ]:
       buf = StringIO()
       cli._ToStream(buf, data)
-      self.failUnlessEqual(buf.getvalue(), data+'\n')
+      self.failUnlessEqual(buf.getvalue(), data + "\n")
 
   def testParams(self):
       buf = StringIO()
@@ -265,15 +279,15 @@ class TestFormatQueryResult(unittest.TestCase):
       ]
 
     response = objects.QueryResponse(fields=fields, data=[
-      [(constants.QRFS_NORMAL, "nodeA"), (constants.QRFS_NORMAL, 128),
-       (constants.QRFS_NORMAL, False), (constants.QRFS_NORMAL, 1468006),
-       (constants.QRFS_NORMAL, [])],
-      [(constants.QRFS_NORMAL, "other"), (constants.QRFS_NORMAL, 512),
-       (constants.QRFS_NORMAL, True), (constants.QRFS_NORMAL, 16),
-       (constants.QRFS_NORMAL, [1, 2, 3])],
-      [(constants.QRFS_NORMAL, "xyz"), (constants.QRFS_NORMAL, 1024),
-       (constants.QRFS_NORMAL, True), (constants.QRFS_NORMAL, 4096),
-       (constants.QRFS_NORMAL, [{}, {}])],
+      [(constants.RS_NORMAL, "nodeA"), (constants.RS_NORMAL, 128),
+       (constants.RS_NORMAL, False), (constants.RS_NORMAL, 1468006),
+       (constants.RS_NORMAL, [])],
+      [(constants.RS_NORMAL, "other"), (constants.RS_NORMAL, 512),
+       (constants.RS_NORMAL, True), (constants.RS_NORMAL, 16),
+       (constants.RS_NORMAL, [1, 2, 3])],
+      [(constants.RS_NORMAL, "xyz"), (constants.RS_NORMAL, 1024),
+       (constants.RS_NORMAL, True), (constants.RS_NORMAL, 4096),
+       (constants.RS_NORMAL, [{}, {}])],
       ])
 
     self.assertEqual(cli.FormatQueryResult(response, unit="h", header=True),
@@ -295,10 +309,10 @@ class TestFormatQueryResult(unittest.TestCase):
       ]
 
     response = objects.QueryResponse(fields=fields, data=[
-      [(constants.QRFS_NORMAL, "a"), (constants.QRFS_NORMAL, 1024),
-       (constants.QRFS_NORMAL, 0)],
-      [(constants.QRFS_NORMAL, "b"), (constants.QRFS_NORMAL, 144996),
-       (constants.QRFS_NORMAL, 1291746295)],
+      [(constants.RS_NORMAL, "a"), (constants.RS_NORMAL, 1024),
+       (constants.RS_NORMAL, 0)],
+      [(constants.RS_NORMAL, "b"), (constants.RS_NORMAL, 144996),
+       (constants.RS_NORMAL, 1291746295)],
       ])
 
     self.assertEqual(cli.FormatQueryResult(response, unit="m", header=True),
@@ -319,10 +333,10 @@ class TestFormatQueryResult(unittest.TestCase):
       ]
 
     response = objects.QueryResponse(fields=fields, data=[
-      [(constants.QRFS_NORMAL, "x"), (constants.QRFS_NORMAL, ["a", "b", "c"]),
-       (constants.QRFS_NORMAL, 1234)],
-      [(constants.QRFS_NORMAL, "y"), (constants.QRFS_NORMAL, range(10)),
-       (constants.QRFS_NORMAL, 1291746295)],
+      [(constants.RS_NORMAL, "x"), (constants.RS_NORMAL, ["a", "b", "c"]),
+       (constants.RS_NORMAL, 1234)],
+      [(constants.RS_NORMAL, "y"), (constants.RS_NORMAL, range(10)),
+       (constants.RS_NORMAL, 1291746295)],
       ])
 
     override = {
@@ -349,10 +363,10 @@ class TestFormatQueryResult(unittest.TestCase):
       ]
 
     response = objects.QueryResponse(fields=fields, data=[
-      [(constants.QRFS_NORMAL, "instance1.example.com"),
-       (constants.QRFS_NORMAL, 21125), (constants.QRFS_NORMAL, "Hello World!")],
-      [(constants.QRFS_NORMAL, "mail.other.net"),
-       (constants.QRFS_NORMAL, -9000), (constants.QRFS_NORMAL, "a,b,c")],
+      [(constants.RS_NORMAL, "instance1.example.com"),
+       (constants.RS_NORMAL, 21125), (constants.RS_NORMAL, "Hello World!")],
+      [(constants.RS_NORMAL, "mail.other.net"),
+       (constants.RS_NORMAL, -9000), (constants.RS_NORMAL, "a,b,c")],
       ])
 
     for sep in [":", "|", "#", "|||", "###", "@@@", "@#@"]:
@@ -379,24 +393,37 @@ class TestFormatQueryResult(unittest.TestCase):
                                    kind=constants.QFT_BOOL),
       objects.QueryFieldDefinition(name="nodata", title="NoData",
                                    kind=constants.QFT_TEXT),
+      objects.QueryFieldDefinition(name="offline", title="OffLine",
+                                   kind=constants.QFT_TEXT),
       ]
 
     response = objects.QueryResponse(fields=fields, data=[
-      [(constants.QRFS_NORMAL, 1), (constants.QRFS_UNKNOWN, None),
-       (constants.QRFS_NORMAL, False), (constants.QRFS_NORMAL, "")],
-      [(constants.QRFS_NORMAL, 2), (constants.QRFS_UNKNOWN, None),
-       (constants.QRFS_NODATA, None), (constants.QRFS_NORMAL, "x")],
-      [(constants.QRFS_NORMAL, 3), (constants.QRFS_UNKNOWN, None),
-       (constants.QRFS_NORMAL, False), (constants.QRFS_UNAVAIL, None)],
+      [(constants.RS_NORMAL, 1), (constants.RS_UNKNOWN, None),
+       (constants.RS_NORMAL, False), (constants.RS_NORMAL, ""),
+       (constants.RS_OFFLINE, None)],
+      [(constants.RS_NORMAL, 2), (constants.RS_UNKNOWN, None),
+       (constants.RS_NODATA, None), (constants.RS_NORMAL, "x"),
+       (constants.RS_OFFLINE, None)],
+      [(constants.RS_NORMAL, 3), (constants.RS_UNKNOWN, None),
+       (constants.RS_NORMAL, False), (constants.RS_UNAVAIL, None),
+       (constants.RS_OFFLINE, None)],
       ])
 
     self.assertEqual(cli.FormatQueryResult(response, header=True,
-                                           separator="|"),
+                                           separator="|", verbose=True),
       (cli.QR_UNKNOWN, [
-      "ID|unk|Unavail|NoData",
-      "1|(unknown)|N|",
-      "2|(unknown)|(nodata)|x",
-      "3|(unknown)|N|(unavail)",
+      "ID|unk|Unavail|NoData|OffLine",
+      "1|(unknown)|N||(offline)",
+      "2|(unknown)|(nodata)|x|(offline)",
+      "3|(unknown)|N|(unavail)|(offline)",
+      ]))
+    self.assertEqual(cli.FormatQueryResult(response, header=True,
+                                           separator="|", verbose=False),
+      (cli.QR_UNKNOWN, [
+      "ID|unk|Unavail|NoData|OffLine",
+      "1|??|N||*",
+      "2|??|?|x|*",
+      "3|??|N|-|*",
       ]))
 
   def testNoData(self):
@@ -433,23 +460,32 @@ class TestFormatQueryResult(unittest.TestCase):
                                    kind=constants.QFT_BOOL),
       objects.QueryFieldDefinition(name="nodata", title="NoData",
                                    kind=constants.QFT_TEXT),
+      objects.QueryFieldDefinition(name="offline", title="OffLine",
+                                   kind=constants.QFT_TEXT),
       ]
 
     response = objects.QueryResponse(fields=fields, data=[
-      [(constants.QRFS_NORMAL, 1), (constants.QRFS_NORMAL, False),
-       (constants.QRFS_NORMAL, "")],
-      [(constants.QRFS_NORMAL, 2), (constants.QRFS_NODATA, None),
-       (constants.QRFS_NORMAL, "x")],
-      [(constants.QRFS_NORMAL, 3), (constants.QRFS_NORMAL, False),
-       (constants.QRFS_UNAVAIL, None)],
+      [(constants.RS_NORMAL, 1), (constants.RS_NORMAL, False),
+       (constants.RS_NORMAL, ""), (constants.RS_OFFLINE, None)],
+      [(constants.RS_NORMAL, 2), (constants.RS_NODATA, None),
+       (constants.RS_NORMAL, "x"), (constants.RS_NORMAL, "abc")],
+      [(constants.RS_NORMAL, 3), (constants.RS_NORMAL, False),
+       (constants.RS_UNAVAIL, None), (constants.RS_OFFLINE, None)],
       ])
 
     self.assertEqual(cli.FormatQueryResult(response, header=False,
-                                           separator="|"),
+                                           separator="|", verbose=True),
       (cli.QR_INCOMPLETE, [
-      "1|N|",
-      "2|(nodata)|x",
-      "3|N|(unavail)",
+      "1|N||(offline)",
+      "2|(nodata)|x|abc",
+      "3|N|(unavail)|(offline)",
+      ]))
+    self.assertEqual(cli.FormatQueryResult(response, header=False,
+                                           separator="|", verbose=False),
+      (cli.QR_INCOMPLETE, [
+      "1|N||*",
+      "2|?|x|abc",
+      "3|N|-|*",
       ]))
 
   def testInvalidFieldType(self):
@@ -707,5 +743,272 @@ class TestParseNicOption(unittest.TestCase):
                       [(3, { "mode": [], })])
 
 
-if __name__ == '__main__':
+class TestFormatResultError(unittest.TestCase):
+  def testNormal(self):
+    for verbose in [False, True]:
+      self.assertRaises(AssertionError, cli.FormatResultError,
+                        constants.RS_NORMAL, verbose)
+
+  def testUnknown(self):
+    for verbose in [False, True]:
+      self.assertRaises(NotImplementedError, cli.FormatResultError,
+                        "#some!other!status#", verbose)
+
+  def test(self):
+    for status in constants.RS_ALL:
+      if status == constants.RS_NORMAL:
+        continue
+
+      self.assertNotEqual(cli.FormatResultError(status, False),
+                          cli.FormatResultError(status, True))
+
+      result = cli.FormatResultError(status, True)
+      self.assertTrue(result.startswith("("))
+      self.assertTrue(result.endswith(")"))
+
+
+class TestGetOnlineNodes(unittest.TestCase):
+  class _FakeClient:
+    def __init__(self):
+      self._query = []
+
+    def AddQueryResult(self, *args):
+      self._query.append(args)
+
+    def CountPending(self):
+      return len(self._query)
+
+    def Query(self, res, fields, qfilter):
+      if res != constants.QR_NODE:
+        raise Exception("Querying wrong resource")
+
+      (exp_fields, check_filter, result) = self._query.pop(0)
+
+      if exp_fields != fields:
+        raise Exception("Expected fields %s, got %s" % (exp_fields, fields))
+
+      if not (qfilter is None or check_filter(qfilter)):
+        raise Exception("Filter doesn't match expectations")
+
+      return objects.QueryResponse(fields=None, data=result)
+
+  def testEmpty(self):
+    cl = self._FakeClient()
+
+    cl.AddQueryResult(["name", "offline", "sip"], None, [])
+    self.assertEqual(cli.GetOnlineNodes(None, cl=cl), [])
+    self.assertEqual(cl.CountPending(), 0)
+
+  def testNoSpecialFilter(self):
+    cl = self._FakeClient()
+
+    cl.AddQueryResult(["name", "offline", "sip"], None, [
+      [(constants.RS_NORMAL, "master.example.com"),
+       (constants.RS_NORMAL, False),
+       (constants.RS_NORMAL, "192.0.2.1")],
+      [(constants.RS_NORMAL, "node2.example.com"),
+       (constants.RS_NORMAL, False),
+       (constants.RS_NORMAL, "192.0.2.2")],
+      ])
+    self.assertEqual(cli.GetOnlineNodes(None, cl=cl),
+                     ["master.example.com", "node2.example.com"])
+    self.assertEqual(cl.CountPending(), 0)
+
+  def testNoMaster(self):
+    cl = self._FakeClient()
+
+    def _CheckFilter(qfilter):
+      self.assertEqual(qfilter, [qlang.OP_NOT, [qlang.OP_TRUE, "master"]])
+      return True
+
+    cl.AddQueryResult(["name", "offline", "sip"], _CheckFilter, [
+      [(constants.RS_NORMAL, "node2.example.com"),
+       (constants.RS_NORMAL, False),
+       (constants.RS_NORMAL, "192.0.2.2")],
+      ])
+    self.assertEqual(cli.GetOnlineNodes(None, cl=cl, filter_master=True),
+                     ["node2.example.com"])
+    self.assertEqual(cl.CountPending(), 0)
+
+  def testSecondaryIpAddress(self):
+    cl = self._FakeClient()
+
+    cl.AddQueryResult(["name", "offline", "sip"], None, [
+      [(constants.RS_NORMAL, "master.example.com"),
+       (constants.RS_NORMAL, False),
+       (constants.RS_NORMAL, "192.0.2.1")],
+      [(constants.RS_NORMAL, "node2.example.com"),
+       (constants.RS_NORMAL, False),
+       (constants.RS_NORMAL, "192.0.2.2")],
+      ])
+    self.assertEqual(cli.GetOnlineNodes(None, cl=cl, secondary_ips=True),
+                     ["192.0.2.1", "192.0.2.2"])
+    self.assertEqual(cl.CountPending(), 0)
+
+  def testNoMasterFilterNodeName(self):
+    cl = self._FakeClient()
+
+    def _CheckFilter(qfilter):
+      self.assertEqual(qfilter,
+        [qlang.OP_AND,
+         [qlang.OP_OR] + [[qlang.OP_EQUAL, "name", name]
+                          for name in ["node2", "node3"]],
+         [qlang.OP_NOT, [qlang.OP_TRUE, "master"]]])
+      return True
+
+    cl.AddQueryResult(["name", "offline", "sip"], _CheckFilter, [
+      [(constants.RS_NORMAL, "node2.example.com"),
+       (constants.RS_NORMAL, False),
+       (constants.RS_NORMAL, "192.0.2.12")],
+      [(constants.RS_NORMAL, "node3.example.com"),
+       (constants.RS_NORMAL, False),
+       (constants.RS_NORMAL, "192.0.2.13")],
+      ])
+    self.assertEqual(cli.GetOnlineNodes(["node2", "node3"], cl=cl,
+                                        secondary_ips=True, filter_master=True),
+                     ["192.0.2.12", "192.0.2.13"])
+    self.assertEqual(cl.CountPending(), 0)
+
+  def testOfflineNodes(self):
+    cl = self._FakeClient()
+
+    cl.AddQueryResult(["name", "offline", "sip"], None, [
+      [(constants.RS_NORMAL, "master.example.com"),
+       (constants.RS_NORMAL, False),
+       (constants.RS_NORMAL, "192.0.2.1")],
+      [(constants.RS_NORMAL, "node2.example.com"),
+       (constants.RS_NORMAL, True),
+       (constants.RS_NORMAL, "192.0.2.2")],
+      [(constants.RS_NORMAL, "node3.example.com"),
+       (constants.RS_NORMAL, True),
+       (constants.RS_NORMAL, "192.0.2.3")],
+      ])
+    self.assertEqual(cli.GetOnlineNodes(None, cl=cl, nowarn=True),
+                     ["master.example.com"])
+    self.assertEqual(cl.CountPending(), 0)
+
+  def testNodeGroup(self):
+    cl = self._FakeClient()
+
+    def _CheckFilter(qfilter):
+      self.assertEqual(qfilter,
+        [qlang.OP_OR, [qlang.OP_EQUAL, "group", "foobar"],
+                      [qlang.OP_EQUAL, "group.uuid", "foobar"]])
+      return True
+
+    cl.AddQueryResult(["name", "offline", "sip"], _CheckFilter, [
+      [(constants.RS_NORMAL, "master.example.com"),
+       (constants.RS_NORMAL, False),
+       (constants.RS_NORMAL, "192.0.2.1")],
+      [(constants.RS_NORMAL, "node3.example.com"),
+       (constants.RS_NORMAL, False),
+       (constants.RS_NORMAL, "192.0.2.3")],
+      ])
+    self.assertEqual(cli.GetOnlineNodes(None, cl=cl, nodegroup="foobar"),
+                     ["master.example.com", "node3.example.com"])
+    self.assertEqual(cl.CountPending(), 0)
+
+
+class TestFormatTimestamp(unittest.TestCase):
+  def testGood(self):
+    self.assertEqual(cli.FormatTimestamp((0, 1)),
+                     time.strftime("%F %T", time.localtime(0)) + ".000001")
+    self.assertEqual(cli.FormatTimestamp((1332944009, 17376)),
+                     (time.strftime("%F %T", time.localtime(1332944009)) +
+                      ".017376"))
+
+  def testWrong(self):
+    for i in [0, [], {}, "", [1]]:
+      self.assertEqual(cli.FormatTimestamp(i), "?")
+
+
+class TestFormatUsage(unittest.TestCase):
+  def test(self):
+    binary = "gnt-unittest"
+    commands = {
+      "cmdA":
+        (NotImplemented, NotImplemented, NotImplemented, NotImplemented,
+         "description of A"),
+      "bbb":
+        (NotImplemented, NotImplemented, NotImplemented, NotImplemented,
+         "Hello World," * 10),
+      "longname":
+        (NotImplemented, NotImplemented, NotImplemented, NotImplemented,
+         "Another description"),
+      }
+
+    self.assertEqual(list(cli._FormatUsage(binary, commands)), [
+      "Usage: gnt-unittest {command} [options...] [argument...]",
+      "gnt-unittest <command> --help to see details, or man gnt-unittest",
+      "",
+      "Commands:",
+      (" bbb      - Hello World,Hello World,Hello World,Hello World,Hello"
+       " World,Hello"),
+      "            World,Hello World,Hello World,Hello World,Hello World,",
+      " cmdA     - description of A",
+      " longname - Another description",
+      "",
+      ])
+
+
+class TestParseArgs(unittest.TestCase):
+  def testNoArguments(self):
+    for argv in [[], ["gnt-unittest"]]:
+      try:
+        cli._ParseArgs("gnt-unittest", argv, {}, {}, set())
+      except cli._ShowUsage, err:
+        self.assertTrue(err.exit_error)
+      else:
+        self.fail("Did not raise exception")
+
+  def testVersion(self):
+    for argv in [["test", "--version"], ["test", "--version", "somethingelse"]]:
+      try:
+        cli._ParseArgs("test", argv, {}, {}, set())
+      except cli._ShowVersion:
+        pass
+      else:
+        self.fail("Did not raise exception")
+
+  def testHelp(self):
+    for argv in [["test", "--help"], ["test", "--help", "somethingelse"]]:
+      try:
+        cli._ParseArgs("test", argv, {}, {}, set())
+      except cli._ShowUsage, err:
+        self.assertFalse(err.exit_error)
+      else:
+        self.fail("Did not raise exception")
+
+  def testUnknownCommandOrAlias(self):
+    for argv in [["test", "list"], ["test", "somethingelse", "--help"]]:
+      try:
+        cli._ParseArgs("test", argv, {}, {}, set())
+      except cli._ShowUsage, err:
+        self.assertTrue(err.exit_error)
+      else:
+        self.fail("Did not raise exception")
+
+  def testInvalidAliasList(self):
+    cmd = {
+      "list": NotImplemented,
+      "foo": NotImplemented,
+      }
+    aliases = {
+      "list": NotImplemented,
+      "foo": NotImplemented,
+      }
+    assert sorted(cmd.keys()) == sorted(aliases.keys())
+    self.assertRaises(AssertionError, cli._ParseArgs, "test",
+                      ["test", "list"], cmd, aliases, set())
+
+  def testAliasForNonExistantCommand(self):
+    cmd = {}
+    aliases = {
+      "list": NotImplemented,
+      }
+    self.assertRaises(errors.ProgrammerError, cli._ParseArgs, "test",
+                      ["test", "list"], cmd, aliases, set())
+
+
+if __name__ == "__main__":
   testutils.GanetiTestProgram()