基于Heapster的HPA

luxixing 發(fā)布于2019-06-28 16:56 / 2777人閱讀

摘要：基于的概述，簡(jiǎn)稱，是中實(shí)現(xiàn)水平自動(dòng)伸縮的功能。它可以根據(jù)使用率或應(yīng)用自定義自動(dòng)擴(kuò)展數(shù)量支持和節(jié)點(diǎn)擴(kuò)縮容層面，集群的持續(xù)監(jiān)控，一旦發(fā)現(xiàn)無(wú)法被，則基于進(jìn)行擴(kuò)展，即節(jié)點(diǎn)的自動(dòng)擴(kuò)縮容，具體內(nèi)容在后續(xù)文章中介紹。

基于Heapster的HPA 概述

Horizontal Pod Autoscaling，簡(jiǎn)稱HPA，是Kubernetes中實(shí)現(xiàn)POD水平自動(dòng)伸縮的功能。自動(dòng)擴(kuò)展主要分為兩種:

水平擴(kuò)展(scale out)，針對(duì)于實(shí)例數(shù)目的增減

垂直擴(kuò)展(scal up)，即單個(gè)實(shí)例可以使用的資源的增減, 比如增加cpu和增大內(nèi)存

HPA屬于前者。它可以根據(jù)CPU使用率或應(yīng)用自定義metrics自動(dòng)擴(kuò)展Pod數(shù)量(支持 replication controller、deployment 和 replica set)

節(jié)點(diǎn)擴(kuò)縮容層面，k8s集群的Cluster Autoscaler持續(xù)監(jiān)控Pods，一旦發(fā)現(xiàn)Pods無(wú)法被schedule，則基于PodConditoin進(jìn)行擴(kuò)展，即node節(jié)點(diǎn)的自動(dòng)擴(kuò)縮容，具體內(nèi)容在后續(xù)文章中介紹。

監(jiān)控?cái)?shù)據(jù)獲取

Heapster: heapster收集Node節(jié)點(diǎn)上的cAdvisor數(shù)據(jù)，并按照kubernetes的資源類型來(lái)集合資源。但是在v1.11中已經(jīng)被廢棄（heapster監(jiān)控?cái)?shù)據(jù)可用，但HPA不再?gòu)膆eapster拿數(shù)據(jù)）

metric-server: 在v1.8版本中引入，官方將其作為heapster的替代者。metric-server依賴于kube-aggregator，因此需要在apiserver中開(kāi)啟相關(guān)參數(shù)。v1.11中HPA從metric-server獲取監(jiān)控?cái)?shù)據(jù)

工作流程

1.創(chuàng)建HPA資源，設(shè)定目標(biāo)CPU使用率限額，以及最大、最小實(shí)例數(shù), 一定要設(shè)置Pod的資源限制參數(shù): request, 否則HPA不會(huì)工作。

2.控制管理器每隔30s(可以通過(guò)–horizontal-pod-autoscaler-sync-period修改)查詢metrics的資源使用情況

3.然后與創(chuàng)建時(shí)設(shè)定的值和指標(biāo)做對(duì)比(平均值之和/限額)，求出目標(biāo)調(diào)整的實(shí)例個(gè)數(shù)

4.目標(biāo)調(diào)整的實(shí)例數(shù)不能超過(guò)1中設(shè)定的最大、最小實(shí)例數(shù)，如果沒(méi)有超過(guò)，則擴(kuò)容；超過(guò)，則擴(kuò)容至最大的實(shí)例個(gè)數(shù)

如何部署：

1.6-1.8版本默認(rèn)使用heapster

1.11版本及以上默認(rèn)使用metric-server（需多帶帶安裝，并開(kāi)啟參數(shù)）

1.部署和運(yùn)行php-apache并將其暴露成為服務(wù)

2.創(chuàng)建HPA

如果為1.8及以下的k8s集群，指標(biāo)正常，如果為1.11集群，需要執(zhí)行如下操作。

4.向php-apache服務(wù)增加負(fù)載，驗(yàn)證自動(dòng)擴(kuò)縮容

啟動(dòng)一個(gè)容器，并通過(guò)一個(gè)循環(huán)向php-apache服務(wù)器發(fā)送無(wú)限的查詢請(qǐng)求（請(qǐng)?jiān)诹硪粋€(gè)終端中運(yùn)行以下命令）

5.觀察HPA是否生效

用yaml創(chuàng)建HPA的方式為：

實(shí)現(xiàn)細(xì)節(jié)

HPA由一個(gè)控制循環(huán)實(shí)現(xiàn)，循環(huán)周期由--horizontal-pod-autoscaler-sync-period 標(biāo)志指定，默認(rèn)是30秒，每個(gè)周期內(nèi)，controller-manager會(huì)查詢HPA中定義的metric的資源利用率。

如上例子，pod的request定義為200M，而HPA定義的target為50%，即HPA將通過(guò)增加或者減少Pod副本的數(shù)量（通過(guò)Deployment）以保持所有Pod的平均CPU利用率在50%以內(nèi)(即200*0.5=100M以內(nèi)），循環(huán)周期到達(dá)時(shí)，獲取pod的1分鐘內(nèi)的平均cpu利用率（從heaspter),發(fā)現(xiàn)超過(guò)了100M，為332M，于是通過(guò)下面的公式，決定最終的pod數(shù)量

TargetNumOfPods = ceil(sum(CurrentPodsCPUUtilization) / Target)

即 332/50 =6.xxx ceil為向上取整，得到7。如果得到的結(jié)果大于10，則為10

因?yàn)槊看蜨PA生效都會(huì)創(chuàng)建或者刪除pod，而這些操作其實(shí)會(huì)影響到metric監(jiān)控值，如創(chuàng)建pod會(huì)暫時(shí)性的升高cpu，因此每次擴(kuò)容都要間隔3分鐘，縮容需要間隔5分鐘。且需要滿足：avg（CurrentPodsConsumption）/ Target下降9%，進(jìn)行縮容，增加至10%才進(jìn)行擴(kuò)容

這樣做好處是：
1、判斷的精度高，不會(huì)頻繁的擴(kuò)縮pod，造成集群壓力大。
2、避免頻繁的擴(kuò)縮pod，防止應(yīng)用訪問(wèn)不穩(wěn)定

實(shí)現(xiàn)hpa的條件：
1、hpa不能autoscale daemonset類型control
2、要實(shí)現(xiàn)autoscale，pod必須設(shè)置request

參考：https://github.com/kubernetes...

本文為容器監(jiān)控實(shí)踐系列文章，完整內(nèi)容見(jiàn)：container-monitor-book