Experimental support for non-redundant instances
[ganeti-local] / Ganeti / HTools / Cluster.hs
index 2474fa4..a85b9ad 100644 (file)
@@ -15,6 +15,7 @@ module Ganeti.HTools.Cluster
     , Solution(..)
     , Table(..)
     , Removal
+    , Score
     -- * Generic functions
     , totalResources
     -- * First phase functions
@@ -39,6 +40,7 @@ import Data.List
 import Data.Maybe (isNothing, fromJust)
 import Text.Printf (printf)
 import Data.Function
+import Control.Monad
 
 import qualified Ganeti.HTools.Container as Container
 import qualified Ganeti.HTools.Instance as Instance
@@ -83,6 +85,10 @@ data IMove = Failover                -- ^ Failover the instance (f)
 data Table = Table NodeList InstanceList Score [Placement]
              deriving (Show)
 
+-- | Constant node index for a non-moveable instance
+noSecondary :: Int
+noSecondary = -1
+
 -- General functions
 
 -- | Cap the removal list if needed.
@@ -202,7 +208,7 @@ those nodes.
 computeBadItems :: NodeList -> InstanceList ->
                    ([Node.Node], [Instance.Instance])
 computeBadItems nl il =
-  let bad_nodes = verifyN1 $ Container.elems nl
+  let bad_nodes = verifyN1 $ filter (not . Node.offline) $ Container.elems nl
       bad_instances = map (\idx -> Container.find idx il) $
                       sort $ nub $ concat $
                       map (\ n -> (Node.slist n) ++ (Node.plist n)) bad_nodes
@@ -473,8 +479,10 @@ checkMove nodes_idx ini_tbl victims =
         -- iterate over all instances, computing the best move
         best_tbl =
             foldl'
-            (\ step_tbl elem -> compareTables step_tbl $
-                                checkInstanceMove nodes_idx ini_tbl elem)
+            (\ step_tbl elem ->
+                 if Instance.snode elem == noSecondary then step_tbl
+                    else compareTables step_tbl $
+                         checkInstanceMove nodes_idx ini_tbl elem)
             ini_tbl victims
         Table _ _ _ best_plc = best_tbl
     in
@@ -693,15 +701,15 @@ This function converts a text in tabular format as generated by
 supplied conversion function.
 
 -}
-loadTabular :: String -> ([String] -> (String, a))
-            -> (a -> Int -> a) -> ([(String, Int)], [(Int, a)])
-loadTabular text_data convert_fn set_fn =
-    let lines_data = lines text_data
-        rows = map (sepSplit '|') lines_data
-        kerows = (map convert_fn rows)
-        idxrows = map (\ (idx, (k, v)) -> ((k, idx), (idx, set_fn v idx)))
-                  (zip [0..] kerows)
-    in unzip idxrows
+loadTabular :: (Monad m) => String -> ([String] -> m (String, a))
+            -> (a -> Int -> a) -> m ([(String, Int)], [(Int, a)])
+loadTabular text_data convert_fn set_fn = do
+  let lines_data = lines text_data
+      rows = map (sepSplit '|') lines_data
+  kerows <- mapM convert_fn rows
+  let idxrows = map (\ (idx, (k, v)) -> ((k, idx), (idx, set_fn v idx)))
+                (zip [0..] kerows)
+  return $ unzip idxrows
 
 -- | For each instance, add its index to its primary and secondary nodes
 fixNodes :: [(Int, Node.Node)]
@@ -714,13 +722,20 @@ fixNodes nl il =
                     pdx = Instance.pnode inst
                     sdx = Instance.snode inst
                     pold = fromJust $ lookup pdx accu
-                    sold = fromJust $ lookup sdx accu
                     pnew = Node.setPri pold idx
-                    snew = Node.setSec sold idx
                     ac1 = deleteBy assocEqual (pdx, pold) accu
-                    ac2 = deleteBy assocEqual (sdx, sold) ac1
-                    ac3 = (pdx, pnew):(sdx, snew):ac2
-                in ac3) nl il
+                    ac2 = (pdx, pnew):ac1
+                in
+                  if sdx /= noSecondary then
+                      let
+                          sold = fromJust $ lookup sdx accu
+                          snew = Node.setSec sold idx
+                          ac3 = deleteBy assocEqual (sdx, sold) ac2
+                          ac4 = (sdx, snew):ac3
+                      in ac4
+                  else
+                      ac2
+           ) nl il
 
 -- | Compute the longest common suffix of a NameList list that
 -- | starts with a dot
@@ -741,42 +756,77 @@ stripSuffix suffix lst =
     let sflen = length suffix in
     map (\ (key, name) -> (key, take ((length name) - sflen) name)) lst
 
+-- | Safe 'read' function returning data encapsulated in a Result
+tryRead :: (Monad m, Read a) => String -> String -> m a
+tryRead name s =
+    let sols = readsPrec 0 s
+    in case sols of
+         (v, ""):[] -> return v
+         (_, e):[] -> fail $ name ++ ": leftover characters when parsing '"
+                      ++ s ++ "': '" ++ e ++ "'"
+         _ -> fail $ name ++ ": cannot parse string '" ++ s ++ "'"
+
+-- | Lookups a node into an assoc list
+lookupNode :: (Monad m) => String -> String -> [(String, Int)] -> m Int
+lookupNode node inst ktn =
+    case lookup node ktn of
+      Nothing -> fail $ "Unknown node '" ++ node ++ "' for instance " ++ inst
+      Just idx -> return idx
+
+-- | Load a node from a field list
+loadNode :: (Monad m) => [String] -> m (String, Node.Node)
+loadNode (name:tm:nm:fm:td:fd:fo:[]) = do
+  new_node <-
+      if any (== "?") [tm,nm,fm,td,fd] || fo == "Y" then
+          return $ Node.create 0 0 0 0 0 True
+      else do
+        vtm <- tryRead name tm
+        vnm <- tryRead name nm
+        vfm <- tryRead name fm
+        vtd <- tryRead name td
+        vfd <- tryRead name fd
+        return $ Node.create vtm vnm vfm vtd vfd False
+  return (name, new_node)
+loadNode s = fail $ "Invalid/incomplete node data: '" ++ (show s) ++ "'"
+
+-- | Load an instance from a field list
+loadInst :: (Monad m) =>
+            [(String, Int)] -> [String] -> m (String, Instance.Instance)
+loadInst ktn (name:mem:dsk:status:pnode:snode:[]) = do
+  pidx <- lookupNode pnode name ktn
+  sidx <- (if null snode then return noSecondary
+           else lookupNode snode name ktn)
+  vmem <- tryRead name mem
+  vdsk <- tryRead name dsk
+  when (sidx == pidx) $ fail $ "Instance " ++ name ++
+           " has same primary and secondary node - " ++ pnode
+  let newinst = Instance.create vmem vdsk status pidx sidx
+  return (name, newinst)
+loadInst _ s = fail $ "Invalid/incomplete instance data: '" ++ (show s) ++ "'"
+
 {-| Initializer function that loads the data from a node and list file
     and massages it into the correct format. -}
 loadData :: String -- ^ Node data in text format
          -> String -- ^ Instance data in text format
-         -> (Container.Container Node.Node,
-             Container.Container Instance.Instance,
-             String, NameList, NameList)
-loadData ndata idata =
-    let
-    {- node file: name t_mem n_mem f_mem t_disk f_disk -}
-        (ktn, nl) = loadTabular ndata
-                    (\ (name:tm:nm:fm:td:fd:[]) ->
-                         (name,
-                          Node.create (read tm) (read nm)
-                                  (read fm) (read td) (read fd)))
-                    Node.setIdx
-    {- instance file: name mem disk status pnode snode -}
-        (kti, il) = loadTabular idata
-                    (\ (name:mem:dsk:status:pnode:snode:[]) ->
-                         (name,
-                          Instance.create (read mem) (read dsk)
-                              status
-                              (fromJust $ lookup pnode ktn)
-                              (fromJust $ lookup snode ktn)))
-                    Instance.setIdx
-        nl2 = fixNodes nl il
-        il3 = Container.fromAssocList il
-        nl3 = Container.fromAssocList
-             (map (\ (k, v) -> (k, Node.buildPeers v il3 (length nl2))) nl2)
-        xtn = swapPairs ktn
-        xti = swapPairs kti
-        common_suffix = longestDomain (xti ++ xtn)
-        stn = stripSuffix common_suffix xtn
-        sti = stripSuffix common_suffix xti
-    in
-      (nl3, il3, common_suffix, stn, sti)
+         -> Result (Container.Container Node.Node,
+                    Container.Container Instance.Instance,
+                    String, NameList, NameList)
+loadData ndata idata = do
+  {- node file: name t_mem n_mem f_mem t_disk f_disk -}
+  (ktn, nl) <- loadTabular ndata loadNode Node.setIdx
+      {- instance file: name mem disk status pnode snode -}
+  (kti, il) <- loadTabular idata (loadInst ktn) Instance.setIdx
+  let
+      nl2 = fixNodes nl il
+      il3 = Container.fromAssocList il
+      nl3 = Container.fromAssocList
+            (map (\ (k, v) -> (k, Node.buildPeers v il3 (length nl2))) nl2)
+      xtn = swapPairs ktn
+      xti = swapPairs kti
+      common_suffix = longestDomain (xti ++ xtn)
+      stn = stripSuffix common_suffix xtn
+      sti = stripSuffix common_suffix xti
+  return (nl3, il3, common_suffix, stn, sti)
 
 -- | Compute the amount of memory used by primary instances on a node.
 nodeImem :: Node.Node -> InstanceList -> Int
@@ -793,7 +843,6 @@ nodeIdsk node il =
     in sum . map Instance.dsk .
        map rfind $ (Node.plist node) ++ (Node.slist node)
 
-
 -- | Check cluster data for consistency
 checkData :: NodeList -> InstanceList -> NameList -> NameList
           -> ([String], NodeList)