k8s的資源分配

awkj 發(fā)布于2019-07-01 16:18 / 1014人閱讀

摘要：整個(gè)名稱空間下的資源配額利用搭建部署服務(wù)，并在正式的場(chǎng)合使用時(shí)，幾乎是肯定要引入一個(gè)用戶概念的。如下創(chuàng)建一個(gè)創(chuàng)建了后我們每次創(chuàng)建一個(gè)也即都要指定它的資源配額，否則即便創(chuàng)建成功，容器也不能起來。

限制每個(gè)實(shí)例

在創(chuàng)建一個(gè)replicationcontroller（以下簡(jiǎn)稱rc）時(shí)，我們可以在創(chuàng)建文件中指定pod的資源配額，如下面的json：


 {
    "kind": "ReplicationController",
    "apiVersion": "v1",
    "metadata": {
        "name": "eatcpu",
        "creationTimestamp": null
    },
    "spec": {
        "replicas": 2,
        "selector": {
            "name": "huang"
        },
        "template": {
            "metadata": {
                "name": "cpu",
                "labels": {
                    "name": "huang"
                }
            },
            "spec": {
                "containers": [
                    {
                        "name": "eatcpucontainer",
                        "image": "registry.hub.abc.com.cn/eatcpu:v1.1",
                        "resources": {
                        "request": {
                                "cpu": "1.0",
                                "memory": "1.0Gi"
                            },
                            "limits": {
                                "cpu": "1.2",
                                "memory": "1.1Gi"
                            }
                        },
                        "command": [
                            "/deadloop",
                            "-max_procs=4"
                        ]
                    }
                ]
            }
        }
    },
    "status": {
        "replicas": 0
    }
}

當(dāng)然實(shí)際上json不用寫這么復(fù)雜，關(guān)鍵是：

 "resources": {
             "limits": {
                      "cpu": "1.0",
                      "memory": "1.0Gi"
            },
            "limits": {
                    "cpu": "1.2",
                    "memory": "1.1Gi"
              }
         },

這句的意思是給這個(gè)rc的每個(gè)pod分配cpu額度的最低要求是1.0（即1個(gè)CPU核心），內(nèi)存的最低要求是1.0Gi，對(duì)CPU的限制是不能超過1.2個(gè)核心，內(nèi)存則是1.1Gi。
當(dāng)我們執(zhí)行create命令的時(shí)候，若scheduler組件檢查各個(gè)nodes發(fā)現(xiàn)沒有滿足1個(gè)空閑cpu核心和1Gi空閑內(nèi)存的機(jī)器，那么這個(gè)pod就不能被創(chuàng)建，若rc要?jiǎng)?chuàng)建3個(gè)pod，整個(gè)集群只能滿足創(chuàng)建2個(gè)，那么第三個(gè)pod會(huì)被放入隊(duì)列中，等待集群有足夠資源時(shí)再創(chuàng)建出來。

另外，若pod在運(yùn)行過程中持續(xù)地消耗內(nèi)存，超過了1.1G，pod會(huì)被銷毀并重啟，但當(dāng)cpu消耗超過配額時(shí)，k8s不會(huì)做出相應(yīng)的措施。

k8s1.3左右的版本增加了horizontalAutoScale特性，當(dāng)CPU在一定時(shí)間內(nèi)高于一個(gè)閾值時(shí)，會(huì)出發(fā)控制器對(duì)其進(jìn)行水平擴(kuò)容。

整個(gè)名稱空間下的資源配額

利用k8s搭建部署服務(wù)，并在正式的場(chǎng)合使用時(shí)，幾乎是肯定要引入一個(gè)“用戶”概念的。可以使用namespace來實(shí)現(xiàn)用戶的隔離。并使用quota為每個(gè)用戶指定配額。
注：這里差不多是翻譯github上原文，引用的幾個(gè)yaml也出自于彼處，有興趣的可以直接去看官文。

k8s下默認(rèn)的namespace是default，我們可以手動(dòng)添加一個(gè)namespace：

$ kubectl create -f namespace.yaml
$ kubectl get namespaces
NAME            LABELS             STATUS
default                      Active
quota-example                Active

接著我們創(chuàng)建一個(gè)quota，quota可以指定某個(gè)namespace有多少的資源配額，包括cpu，內(nèi)存，persistentvolumeclaims（據(jù)說是內(nèi)存），pod數(shù)量，rc數(shù)量等等。
如下創(chuàng)建一個(gè)quota：

$ kubectl create -f quota.yaml --namespace=quota-example
$ kubectl describe quota quota --namespace=quota-example
Name:                   quota
Namespace:              quota-example
Resource                Used    Hard
--------                ----    ----
cpu                     0       20
memory                  0       1Gi
persistentvolumeclaims  0       10
pods                    0       10
replicationcontrollers  0       20
resourcequotas          1       1
secrets                 1       10
services                0       5

創(chuàng)建了quota后我們每次創(chuàng)建一個(gè)rc(也即pods)都要指定它的資源配額，否則即便創(chuàng)建成功，容器也不能run起來。
指定配額的方法見標(biāo)題1，但是那是對(duì)一個(gè)集群中的pod統(tǒng)一制定，我們也可以統(tǒng)一指定該namespace下的所有pods的配額，即創(chuàng)建一個(gè)limits：

$ kubectl create -f limits.yaml --namespace=quota-example
limitranges/limits
$ kubectl describe limits limits --namespace=quota-example
Name:           limits
Namespace:      quota-example
Type            Resource        Min     Max     Default
----            --------        ---     ---     ---
Container       memory          -       -       512Mi
Container       cpu             -       -       100m

現(xiàn)在我們可以正常地run一個(gè)rc了，并且，在容器成功跑起來后，我們可以統(tǒng)一地看到該namespace下的資源使用情況：

kubectl describe quota quota --namespace=quota-example
Name:                   quota
Namespace:              default
Resource                Used            Hard
--------                ----            ----
cpu                     100m            20
memory                  536870912       1Gi
persistentvolumeclaims  0               10
pods                    1               10
replicationcontrollers  1               20
resourcequotas          1               1
secrets                 1               10
services                0               5