Add infrastructure for building numeric namefield filters
[ganeti-local] / lib / constants.py
index f88233e..af3df19 100644 (file)
@@ -22,6 +22,7 @@
 """Module holding different constants."""
 
 import re
+import socket
 
 from ganeti import _autoconf
 from ganeti import _vcsversion
@@ -119,6 +120,7 @@ CPU_PINNING_ALL_XEN = "0-63"
 # A KVM-specific implementation detail - the following value is used
 # to set CPU affinity to all processors (#0 through #31), per taskset
 # man page.
+# FIXME: This only works for machines with up to 32 CPU cores
 CPU_PINNING_ALL_KVM = 0xFFFFFFFF
 
 # Wipe
@@ -138,19 +140,9 @@ RUN_DIRS_MODE = 0775
 SOCKET_DIR = RUN_GANETI_DIR + "/socket"
 SECURE_DIR_MODE = 0700
 SECURE_FILE_MODE = 0600
-SOCKET_DIR_MODE = 0750
 CRYPTO_KEYS_DIR = RUN_GANETI_DIR + "/crypto"
-CRYPTO_KEYS_DIR_MODE = SECURE_DIR_MODE
 IMPORT_EXPORT_DIR = RUN_GANETI_DIR + "/import-export"
-IMPORT_EXPORT_DIR_MODE = 0755
 ADOPTABLE_BLOCKDEV_ROOT = "/dev/disk/"
-# keep RUN_GANETI_DIR first here, to make sure all get created when the node
-# daemon is started (this takes care of RUN_DIR being tmpfs)
-SUB_RUN_DIRS = [
-  RUN_GANETI_DIR,
-  BDEV_CACHE_DIR,
-  DISK_LINKS_DIR,
-  ]
 LOCK_DIR = _autoconf.LOCALSTATEDIR + "/lock"
 SSCONF_LOCK_FILE = LOCK_DIR + "/ganeti-ssconf.lock"
 # User-id pool lock directory
@@ -182,6 +174,7 @@ TOOLSDIR = _autoconf.TOOLSDIR
 CONF_DIR = SYSCONFDIR + "/ganeti"
 USER_SCRIPTS_DIR = CONF_DIR + "/scripts"
 ENABLE_CONFD = _autoconf.ENABLE_CONFD
+HS_CONFD = _autoconf.HS_CONFD
 
 #: Lock file for watcher, locked in shared mode by watcher; lock in exclusive
 # mode to block watcher (see L{cli._RunWhileClusterStoppedHelper.Call}
@@ -234,7 +227,6 @@ DEFAULT_NLD_PORT = DAEMONS_PORTS[NLD][1]
 
 FIRST_DRBD_PORT = 11000
 LAST_DRBD_PORT = 14999
-MASTER_SCRIPT = "ganeti-master"
 
 LOG_DIR = _autoconf.LOCALSTATEDIR + "/log/ganeti/"
 DAEMONS_LOGFILES = {
@@ -276,9 +268,13 @@ EXPORT_CONF_FILE = "config.ini"
 XEN_BOOTLOADER = _autoconf.XEN_BOOTLOADER
 XEN_KERNEL = _autoconf.XEN_KERNEL
 XEN_INITRD = _autoconf.XEN_INITRD
-XEN_CMD = "xm"
+XEN_CMD_XM = "xm"
+XEN_CMD_XL = "xl"
+# FIXME: This will be made configurable using hvparams in Ganeti 2.7
+XEN_CMD = _autoconf.XEN_CMD
 
 KVM_PATH = _autoconf.KVM_PATH
+KVM_KERNEL = _autoconf.KVM_KERNEL
 SOCAT_PATH = _autoconf.SOCAT_PATH
 SOCAT_USE_ESCAPE = _autoconf.SOCAT_USE_ESCAPE
 SOCAT_USE_COMPRESS = _autoconf.SOCAT_USE_COMPRESS
@@ -531,18 +527,6 @@ EXPORT_MODES = frozenset([
   EXPORT_MODE_REMOTE,
   ])
 
-# Lock recalculate mode
-LOCKS_REPLACE = "replace"
-LOCKS_APPEND = "append"
-
-# Lock timeout (sum) before we should go into blocking acquire (still
-# can be reset by priority change); computed as max time (10 hours)
-# before we should actually go into blocking acquire given that we
-# start from default priority level; in seconds
-LOCK_ATTEMPTS_TIMEOUT = 10 * 3600 / 20.0
-LOCK_ATTEMPTS_MAXWAIT = 15.0
-LOCK_ATTEMPTS_MINWAIT = 1.0
-
 # instance creation modes
 INSTANCE_CREATE = "create"
 INSTANCE_IMPORT = "import"
@@ -636,6 +620,10 @@ IP6_ADDRESS_ANY = "::"
 IP4_VERSION = 4
 IP6_VERSION = 6
 VALID_IP_VERSIONS = frozenset([IP4_VERSION, IP6_VERSION])
+# for export to htools
+IP4_FAMILY = socket.AF_INET
+IP6_FAMILY = socket.AF_INET6
+
 TCP_PING_TIMEOUT = 10
 GANETI_RUNAS = "root"
 DEFAULT_VG = "xenvg"
@@ -782,8 +770,10 @@ HV_VHOST_NET = "vhost_net"
 HV_KVM_USE_CHROOT = "use_chroot"
 HV_CPU_MASK = "cpu_mask"
 HV_MEM_PATH = "mem_path"
+HV_PASSTHROUGH = "pci_pass"
 HV_BLOCKDEV_PREFIX = "blockdev_prefix"
 HV_REBOOT_BEHAVIOR = "reboot_behavior"
+HV_CPU_TYPE = "cpu_type"
 
 HVS_PARAMETER_TYPES = {
   HV_BOOT_ORDER: VTYPE_STRING,
@@ -836,8 +826,10 @@ HVS_PARAMETER_TYPES = {
   HV_KVM_USE_CHROOT: VTYPE_BOOL,
   HV_CPU_MASK: VTYPE_STRING,
   HV_MEM_PATH: VTYPE_STRING,
+  HV_PASSTHROUGH: VTYPE_STRING,
   HV_BLOCKDEV_PREFIX: VTYPE_STRING,
   HV_REBOOT_BEHAVIOR: VTYPE_STRING,
+  HV_CPU_TYPE: VTYPE_STRING,
   }
 
 HVS_PARAMETERS = frozenset(HVS_PARAMETER_TYPES.keys())
@@ -918,6 +910,7 @@ BE_MINMEM = "minmem"
 BE_VCPUS = "vcpus"
 BE_AUTO_BALANCE = "auto_balance"
 BE_ALWAYS_FAILOVER = "always_failover"
+BE_SPINDLE_USE = "spindle_use"
 
 BES_PARAMETER_TYPES = {
   BE_MAXMEM: VTYPE_SIZE,
@@ -925,6 +918,7 @@ BES_PARAMETER_TYPES = {
   BE_VCPUS: VTYPE_INT,
   BE_AUTO_BALANCE: VTYPE_BOOL,
   BE_ALWAYS_FAILOVER: VTYPE_BOOL,
+  BE_SPINDLE_USE: VTYPE_INT,
   }
 
 BES_PARAMETER_COMPAT = {
@@ -940,6 +934,7 @@ ISPEC_CPU_COUNT = "cpu-count"
 ISPEC_DISK_COUNT = "disk-count"
 ISPEC_DISK_SIZE = "disk-size"
 ISPEC_NIC_COUNT = "nic-count"
+ISPEC_SPINDLE_USE = "spindle-use"
 
 ISPECS_PARAMETER_TYPES = {
   ISPEC_MEM_SIZE: VTYPE_INT,
@@ -947,6 +942,7 @@ ISPECS_PARAMETER_TYPES = {
   ISPEC_DISK_COUNT: VTYPE_INT,
   ISPEC_DISK_SIZE: VTYPE_INT,
   ISPEC_NIC_COUNT: VTYPE_INT,
+  ISPEC_SPINDLE_USE: VTYPE_INT,
   }
 
 ISPECS_PARAMETERS = frozenset(ISPECS_PARAMETER_TYPES.keys())
@@ -956,6 +952,7 @@ ISPECS_MAX = "max"
 ISPECS_STD = "std"
 IPOLICY_DTS = "disk-templates"
 IPOLICY_VCPU_RATIO = "vcpu-ratio"
+IPOLICY_SPINDLE_RATIO = "spindle-ratio"
 
 IPOLICY_ISPECS = frozenset([
   ISPECS_MIN,
@@ -965,6 +962,7 @@ IPOLICY_ISPECS = frozenset([
 
 IPOLICY_PARAMETERS = frozenset([
   IPOLICY_VCPU_RATIO,
+  IPOLICY_SPINDLE_RATIO,
   ])
 
 IPOLICY_ALL_KEYS = (IPOLICY_ISPECS |
@@ -1527,8 +1525,6 @@ JOB_QUEUE_SERIAL_FILE = QUEUE_DIR + "/serial"
 JOB_QUEUE_ARCHIVE_DIR = QUEUE_DIR + "/archive"
 JOB_QUEUE_DRAIN_FILE = QUEUE_DIR + "/drain"
 JOB_QUEUE_SIZE_HARD_LIMIT = 5000
-JOB_QUEUE_DIRS = [QUEUE_DIR, JOB_QUEUE_ARCHIVE_DIR]
-JOB_QUEUE_DIRS_MODE = SECURE_DIR_MODE
 
 JOB_ID_TEMPLATE = r"\d+"
 JOB_FILE_RE = re.compile(r"^job-(%s)$" % JOB_ID_TEMPLATE)
@@ -1588,9 +1584,21 @@ OP_PRIO_SUBMIT_VALID = frozenset([
 
 OP_PRIO_DEFAULT = OP_PRIO_NORMAL
 
+# Lock recalculate mode
+LOCKS_REPLACE = "replace"
+LOCKS_APPEND = "append"
+
+# Lock timeout (sum) before we should go into blocking acquire (still
+# can be reset by priority change); computed as max time (10 hours)
+# before we should actually go into blocking acquire given that we
+# start from default priority level; in seconds
+# TODO
+LOCK_ATTEMPTS_TIMEOUT = 10 * 3600 / (OP_PRIO_DEFAULT - OP_PRIO_HIGHEST)
+LOCK_ATTEMPTS_MAXWAIT = 15.0
+LOCK_ATTEMPTS_MINWAIT = 1.0
+
 # Execution log types
 ELOG_MESSAGE = "message"
-ELOG_PROGRESS = "progress"
 ELOG_REMOTE_IMPORT = "remote-import"
 ELOG_JQUEUE_TEST = "jqueue-test"
 
@@ -1612,18 +1620,29 @@ JQT_ALL = frozenset([
   ])
 
 # Query resources
+QR_CLUSTER = "cluster"
 QR_INSTANCE = "instance"
 QR_NODE = "node"
 QR_LOCK = "lock"
 QR_GROUP = "group"
 QR_OS = "os"
+QR_JOB = "job"
+QR_EXPORT = "export"
 
 #: List of resources which can be queried using L{opcodes.OpQuery}
-QR_VIA_OP = frozenset([QR_INSTANCE, QR_NODE, QR_GROUP, QR_OS])
+QR_VIA_OP = frozenset([
+  QR_CLUSTER,
+  QR_INSTANCE,
+  QR_NODE,
+  QR_GROUP,
+  QR_OS,
+  QR_EXPORT,
+  ])
 
 #: List of resources which can be queried using Local UniX Interface
 QR_VIA_LUXI = QR_VIA_OP.union([
   QR_LOCK,
+  QR_JOB,
   ])
 
 #: List of resources which can be queried using RAPI
@@ -1684,6 +1703,8 @@ RSS_DESCRIPTION = {
 MAX_NICS = 8
 MAX_DISKS = 16
 
+# SSCONF file prefix
+SSCONF_FILEPREFIX = "ssconf_"
 # SSCONF keys
 SS_CLUSTER_NAME = "cluster_name"
 SS_CLUSTER_TAGS = "cluster_tags"
@@ -1718,7 +1739,7 @@ HVC_DEFAULTS = {
     HV_USE_BOOTLOADER: False,
     HV_BOOTLOADER_PATH: XEN_BOOTLOADER,
     HV_BOOTLOADER_ARGS: "",
-    HV_KERNEL_PATH: "/boot/vmlinuz-2.6-xenU",
+    HV_KERNEL_PATH: XEN_KERNEL,
     HV_INITRD_PATH: "",
     HV_ROOT_PATH: "/dev/sda1",
     HV_KERNEL_ARGS: "ro",
@@ -1743,11 +1764,12 @@ HVC_DEFAULTS = {
     HV_MIGRATION_MODE: HT_MIGRATION_NONLIVE,
     HV_USE_LOCALTIME: False,
     HV_BLOCKDEV_PREFIX: "hd",
+    HV_PASSTHROUGH: "",
     HV_REBOOT_BEHAVIOR: INSTANCE_REBOOT_ALLOWED,
     HV_CPU_MASK: CPU_PINNING_ALL,
     },
   HT_KVM: {
-    HV_KERNEL_PATH: "/boot/vmlinuz-2.6-kvmU",
+    HV_KERNEL_PATH: KVM_KERNEL,
     HV_INITRD_PATH: "",
     HV_KERNEL_ARGS: "ro",
     HV_ROOT_PATH: "/dev/vda1",
@@ -1792,6 +1814,7 @@ HVC_DEFAULTS = {
     HV_MEM_PATH: "",
     HV_REBOOT_BEHAVIOR: INSTANCE_REBOOT_ALLOWED,
     HV_CPU_MASK: CPU_PINNING_ALL,
+    HV_CPU_TYPE: "",
     },
   HT_FAKE: {
     },
@@ -1815,6 +1838,7 @@ BEC_DEFAULTS = {
   BE_VCPUS: 1,
   BE_AUTO_BALANCE: True,
   BE_ALWAYS_FAILOVER: False,
+  BE_SPINDLE_USE: 1,
   }
 
 NDC_DEFAULTS = {
@@ -1900,6 +1924,8 @@ NICC_DEFAULTS = {
   NIC_LINK: DEFAULT_BRIDGE,
   }
 
+# All of the following values are quite arbitrarily - there are no
+# "good" defaults, these must be customised per-site
 IPOLICY_DEFAULTS = {
   ISPECS_MIN: {
     ISPEC_MEM_SIZE: 128,
@@ -1907,6 +1933,7 @@ IPOLICY_DEFAULTS = {
     ISPEC_DISK_COUNT: 1,
     ISPEC_DISK_SIZE: 1024,
     ISPEC_NIC_COUNT: 1,
+    ISPEC_SPINDLE_USE: 1,
     },
   ISPECS_MAX: {
     ISPEC_MEM_SIZE: 32768,
@@ -1914,6 +1941,7 @@ IPOLICY_DEFAULTS = {
     ISPEC_DISK_COUNT: MAX_DISKS,
     ISPEC_DISK_SIZE: 1024 * 1024,
     ISPEC_NIC_COUNT: MAX_NICS,
+    ISPEC_SPINDLE_USE: 12,
     },
   ISPECS_STD: {
     ISPEC_MEM_SIZE: 128,
@@ -1921,9 +1949,11 @@ IPOLICY_DEFAULTS = {
     ISPEC_DISK_COUNT: 1,
     ISPEC_DISK_SIZE: 1024,
     ISPEC_NIC_COUNT: 1,
+    ISPEC_SPINDLE_USE: 1,
     },
   IPOLICY_DTS: DISK_TEMPLATES,
   IPOLICY_VCPU_RATIO: 4.0,
+  IPOLICY_SPINDLE_RATIO: 32.0,
   }
 
 MASTER_POOL_SIZE_DEFAULT = 10
@@ -1937,6 +1967,7 @@ CONFD_REQ_CLUSTER_MASTER = 3
 CONFD_REQ_NODE_PIP_LIST = 4
 CONFD_REQ_MC_PIP_LIST = 5
 CONFD_REQ_INSTANCES_IPS_LIST = 6
+CONFD_REQ_NODE_DRBD = 7
 
 # Confd request query fields. These are used to narrow down queries.
 # These must be strings rather than integers, because json-encoding
@@ -1958,6 +1989,7 @@ CONFD_REQS = frozenset([
   CONFD_REQ_NODE_PIP_LIST,
   CONFD_REQ_MC_PIP_LIST,
   CONFD_REQ_INSTANCES_IPS_LIST,
+  CONFD_REQ_NODE_DRBD,
   ])
 
 CONFD_REPL_STATUS_OK = 0
@@ -2056,4 +2088,4 @@ FAKE_OP_MASTER_TURNUP = "OP_CLUSTER_IP_TURNUP"
 FAKE_OP_MASTER_TURNDOWN = "OP_CLUSTER_IP_TURNDOWN"
 
 # Do not re-export imported modules
-del re, _vcsversion, _autoconf
+del re, _vcsversion, _autoconf, socket