摘要:調度擴展自帶了一個默認調度器,其內置了很多節點預選和優選的調度算法,一般調度場景下可以滿足要求。我們就需要對調度器進行擴展,以達到調度適合業務場景的目的。可以參考故采用第三種實現擴展調度程序的方案。以保證和擴展調度程序的通信。
kube-scheduler調度擴展
Kubernetes 自帶了一個默認調度器kube-scheduler,其內置了很多節點預選和優選的調度算法,一般調度場景下可以滿足要求。但是在一些特殊場景下,默認調度器不能滿足我們復雜的調度需求。我們就需要對調度器進行擴展,以達到調度適合業務場景的目的。
背景中間件redis容器化后,需要兩主不能在同一個節點上,一對主從不能在同一節點上;elasticsearch容器化后,兩個data實例不能在同一節點上。在這類場景下,默認調度器內置的預選、優選算法不能滿足需求,我們有以下三種選擇:
將新的調度算法添加到默認調度程序中,并重新編譯鏡像,最終該鏡像運行的實例作為kubernetes集群調度器;
參考kube-scheduler實現滿足自己業務場景的調度程序,并編譯鏡像,將該程序作為獨立的調度器運行到kubernetes集群內,需要用該調度器調度的pod實例,在spec.schedulerName里指定該調度器;
實現“調度擴展程序“:默認調度器kube-scheduler在進行預選時會調用該擴展程序進行過濾節點;在優選時會調用該擴展程序進行給節點打分,或者在bind操作時,調用該擴展器進行bind操作。
對上述三種方式進行評估:
第一種:將自己的調度算法添加到默認調度器kube-scheduler中,對原生代碼侵入性較高,而且隨著kubernetes版本升級,維護成本也較高;
第二種:默認調度器里內置了很多優秀調度算法,如:檢查節點資源是否充足;端口是否占用;volume是否被其他pod掛載;親和性;均衡節點資源利用等,如果完全使用自己開發的調度器程序,可能在達到了實際場景調度需求同時,失去更佳的調度方案,除非集成默認調度器中的算法到自己獨立調度程序中,但這無疑是不現實的;
第三種:通過啟動參數的policy配置,選用某些默認調度器中的預選、優選調度算法的同時,也可以調用外部擴展調度程序的算法,計算得到最優的調度節點,無需修改kube-scheduler代碼,只需要在啟動參數中增加配置文件即可將默認調度程序和擴展調度程序相互關聯。
可以參考:
https://github.com/kubernetes...
故采用第三種:實現擴展調度程序的方案。
整體架構kube-scheduler在調度pod實例時,首先獲取到Node1、Node2、Node3三個節點信息,進行默認的預選階段,篩選滿足要求的節點,其次再調用擴展程序中的預選算法,選出剩下的節點,假設預選階段Node3上資源不足被過濾掉,預選結束后只剩Node1和Node2;Node1和Node2進入kube-scheduler默認的優選階段進行節點打分,其次再調用擴展調度程序中的優選算法進行打分,kube-scheduler會將所有算法的打分結果進行加權求和,獲得分數最高的節點作為pod最終bind節點,然后kube-scheduler調用apiserver進行bind操作。
實現步驟 實現擴展調度程序代碼編寫擴展調度器程序代碼,根據實際業務調度場景編寫預選邏輯、優選邏輯:
實現預選接口,入參為schedulerapi.ExtenderArgs,出參為schedulerapi.ExtenderFilterResult:
實現優選接口,入參為schedulerapi.ExtenderArgs,出參為schedulerapi.HostPriorityList:
暴露http接口:
參考:
https://github.com/ll83744879...
默認調度器部署由于kubernetes集群內已經有了一個名為default-scheduler的默認調度器,為了不影響集群正常調度功能,下面會創建一個名為my-kube-scheduler的調度器,這個調度器和default-scheduler除了啟動參數不一樣外,鏡像無差別。
1、創建一個名為my-scheduler-config的configmaps,data下的config.yaml文件指定了調度器的一些參數,包括leader選舉,調度算法策略的選擇(指定另一個configmaps),以及指定調度器的名稱為my-kube-scheduler。
相應的創建一個my-scheduler-policy的configmaps,里面指定了選擇哪些預選、優選策略,以及外部擴展調度程序的urlPrefix、擴展預選URI、擴展優選URI、擴展pod優先級搶占URI、擴展bind URI、擴展優選算法的權重等。
以保證my-kube-scheduler和擴展調度程序的通信。
apiVersion: v1 kind: ConfigMap metadata: name: my-scheduler-config namespace: kube-system data: config.yaml: | apiVersion: kubescheduler.config.k8s.io/v1alpha1 kind: KubeSchedulerConfiguration schedulerName: my-kube-scheduler algorithmSource: policy: configMap: namespace: kube-system name: my-scheduler-policy leaderElection: leaderElect: false lockObjectName: my-kube-scheduler lockObjectNamespace: kube-system --- apiVersion: v1 kind: ConfigMap metadata: name: my-scheduler-policy namespace: kube-system data: policy.cfg : | { "kind" : "Policy", "apiVersion" : "v1", "predicates" : [ {"name" : "PodFitsHostPorts"}, {"name" : "PodFitsResources"}, {"name" : "NoDiskConflict"}, {"name" : "MatchNodeSelector"}, {"name" : "HostName"} ], "priorities" : [ {"name" : "LeastRequestedPriority", "weight" : 1}, {"name" : "BalancedResourceAllocation", "weight" : 1}, {"name" : "ServiceSpreadingPriority", "weight" : 1}, {"name" : "EqualPriority", "weight" : 1} ], "extenders" : [{ "urlPrefix": "http://10.168.107.12:80/scheduler", "filterVerb": "predicates/always_true", "prioritizeVerb": "priorities/zero_score", "preemptVerb": "preemption", "bindVerb": "", "weight": 1, "enableHttps": false, "nodeCacheCapable": false }], "hardPodAffinitySymmetricWeight" : 10 }
2、在my-kube-scheduler yaml文件中將configmaps:my-scheduler-config以文件的形式掛載到容器內/my-scheduler目錄下,并在啟動參數中指定--config=/my-scheduler/config.yaml,使用和默認調度器一樣的鏡像。
增加掛載:
擴展調度器鏡像制作和部署1、編譯擴展調度程序my-scheduler-extender鏡像,以下為Dockerfile:
推送my-scheduler-extender鏡像到harbor:
2、創建外部擴展程序my-scheduler-extender的deployment,如下為yaml描述:
apiVersion: apps/v1 kind: Deployment metadata: name: my-scheduler-extender namespace: kube-system labels: app: my-scheduler-extender spec: replicas: 1 selector: matchLabels: app: my-scheduler-extender template: metadata: labels: app: my-scheduler-extender spec: containers: - name: my-scheduler-extender image: 192.168.26.46/k8s-deploy/my-scheduler-extender:v1.0 imagePullPolicy: Always livenessProbe: httpGet: path: /version port: 80 readinessProbe: httpGet: path: /version port: 80 ports: - containerPort: 80驗證
查看my-kube-scheduler pod日志,加載到了policy里的extender信息,獲取到了擴展調度器的接口地址:
創建一個nginx的pod,指定schedulerName為my-kube-scheduler:
查看擴展調度器pod日志,發現默認調度器會調用extender擴展調度器,如下為extender日志打印的入參、出參:
從而可以通過編寫擴展調度程序,對默認調度器的預選和優選算法進行擴展。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/33163.html
摘要:調度擴展自帶了一個默認調度器,其內置了很多節點預選和優選的調度算法,一般調度場景下可以滿足要求。我們就需要對調度器進行擴展,以達到調度適合業務場景的目的。可以參考故采用第三種實現擴展調度程序的方案。以保證和擴展調度程序的通信。 kube-scheduler調度擴展 Kubernetes 自帶了一個默認調度器kube-scheduler,其內置了很多節點預選和優選的調度算法,一般調度場景...
摘要:代碼的組織結構中,仍然是作為一個放在代碼中,在根目錄下的目錄中,目錄是其編譯入口,目錄是其主要核心代碼。而如果通過指定啟動,參數中的算法都來自的方法。登記時會提供自己本身包含的兩類算法的集合。 kube-scheduler代碼的組織結構(ver:1.9.2) 1.9中,kube-scheduler仍然是作為一個plugin放在k8s代碼中,在k8s根目錄下的plugin目錄中,cmd/...
摘要:我們要學習,就有首先了解的技術范圍基礎理論知識庫等,要學習,肯定要有入門過程,在這個過程中,學習要從易到難,先從基礎學習。組件組件一個集群是由一組被稱為節點的機器或虛擬機組成,節點有兩種類型。我們要學習 Kubernetes,就有首先了解 Kubernetes 的技術范圍、基礎理論知識庫等,要學習 Kubernetes,肯定要有入門過程,在這個過程中,學習要從易到難,先從基礎學習。 接...
摘要:簡稱,是在年發布的一個開源項目。網絡要能夠通信,必須部署網絡,是其中一個可選方案。最常使用,可以管理多個副本,并確保按照期望的狀態運行,底層調用。用于每個最多只運行一個副本的場景。 Kubernetes 簡稱 k8s,是 google 在 2014 年發布的一個開源項目。 Kubernetes 解決了哪些問題? 真實的生產環境應用會包含多個容器,而這些容器還很可能會跨越多個服務器主機部...
摘要:又因為是谷歌出品的,依賴了很多谷歌自己的鏡像,所以對于國內的同學環境搭建的難度又增加了一層。 帶著問題學 Kubernetes 架構 摘要:本文屬于原創,歡迎轉載,轉載請保留出處:https://github.com/jasonGeng88/blog 打開這篇文章的同學,想必對 docker 都不會陌生。docker 是一種虛擬容器技術,它上手比較簡單,只需在宿主機上起一個 docke...
閱讀 1669·2021-11-17 09:33
閱讀 3531·2021-11-16 11:40
閱讀 3055·2019-08-30 11:23
閱讀 1048·2019-08-29 16:36
閱讀 2464·2019-08-29 13:23
閱讀 1738·2019-08-29 12:59
閱讀 1542·2019-08-29 12:42
閱讀 1979·2019-08-28 18:22