網(wǎng)易云深度剖析Kubernetes優(yōu)化與實(shí)踐

fai1017 發(fā)布于2019-06-28 11:01 / 2034人閱讀

摘要：最后，張曉龍透露未來(lái)網(wǎng)易云會(huì)在以下三個(gè)方面繼續(xù)深耕研發(fā)高性能容器，跟進(jìn)開(kāi)源社區(qū)最新版本并適配，加大參與社區(qū)力度并反饋社區(qū)。文章來(lái)源網(wǎng)易云社區(qū)

歡迎訪問(wèn)網(wǎng)易云社區(qū)，了解更多網(wǎng)易技術(shù)產(chǎn)品運(yùn)營(yíng)經(jīng)驗(yàn)。

10 月 15 日，聚焦 Kubernetes 中國(guó)行業(yè)應(yīng)用與技術(shù)落地的首屆中國(guó) Kubernetes 用戶大會(huì)（KEUC）在杭州成功舉辦。本次大會(huì)吸引了來(lái)自全球各地的技術(shù)精英齊聚一堂，共同探討、分享 Kubernetes 最前沿技術(shù)和成果，對(duì)于 Kubernetes從理論到落地推廣，并走向國(guó)際化有著極為深遠(yuǎn)的意義。

大會(huì)的Keynote環(huán)節(jié)中，網(wǎng)易云基礎(chǔ)設(shè)施部技術(shù)總監(jiān)張曉龍帶來(lái)了題為“容器及其編排技術(shù)在網(wǎng)易公有云的應(yīng)用”的演講。

網(wǎng)易從2012年就開(kāi)始使用LXC工具部署內(nèi)部業(yè)務(wù)，2014年研究容器并基于Docker部署面向網(wǎng)易內(nèi)部產(chǎn)品的消息推送服務(wù)，2015年開(kāi)始研究容器編排并基于kubernetes實(shí)現(xiàn)網(wǎng)易自身的容器編排服務(wù)，2016年將公有云基礎(chǔ)設(shè)施服務(wù)（云主機(jī)、云網(wǎng)絡(luò)、云硬盤）與已有容器及其編排服務(wù)深度整合并優(yōu)化，并發(fā)布網(wǎng)易云容器服務(wù)（蜂巢容器云），目前在研發(fā)面向高性能場(chǎng)景的公有云裸金屬容器。

網(wǎng)易云容器服務(wù)的目標(biāo)是面向海量互聯(lián)網(wǎng)用戶提供按需使用、高性能、安全可靠的公有容器云，為了完成這個(gè)目標(biāo)，主要遇到了四大挑戰(zhàn)：

多租戶隔離：實(shí)現(xiàn)容器系統(tǒng)內(nèi)核、網(wǎng)絡(luò)的隔離，實(shí)現(xiàn)容器的安全可靠；

資源動(dòng)態(tài)管理：容器的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)資源按需動(dòng)態(tài)分配與回收；

高可擴(kuò)展：實(shí)現(xiàn)大規(guī)模容器下的高效編排管理；

高性能：提供高網(wǎng)絡(luò)吞吐量、高IOPS的容器。

網(wǎng)易云深度整合IaaS與容器及其編排服務(wù)

網(wǎng)易云將基礎(chǔ)設(shè)施與容器編排服務(wù)做了深度整合與優(yōu)化，實(shí)現(xiàn)了容器網(wǎng)絡(luò)/內(nèi)核的租戶隔離；基礎(chǔ)設(shè)施的性能優(yōu)化可直接提升容器性能；實(shí)現(xiàn)容器運(yùn)行資源按需動(dòng)態(tài)管理；將資源管理和容器編排分層，降低容器集群管理的復(fù)雜性。

此外，網(wǎng)易云通過(guò)對(duì)社區(qū)原生集群編排的一系列優(yōu)化，實(shí)現(xiàn)了Kubernetes單集群容器管理能力相比官方1.6版本6倍的性能提升，同時(shí)實(shí)現(xiàn)了多個(gè)Kubernetes集群并行擴(kuò)展的能力，使得我們可以面向海量互聯(lián)網(wǎng)業(yè)務(wù)提供大規(guī)模容器集群的管理。

最后，網(wǎng)易云結(jié)合計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)層面的基礎(chǔ)設(shè)施實(shí)現(xiàn)了容器的高性能：

計(jì)算層面：容器直接運(yùn)行于裸機(jī)，消除KVM虛擬化/IO路徑的開(kāi)銷，計(jì)算性能提升15%；

網(wǎng)絡(luò)層面：基于DPDK/SR-IOV實(shí)現(xiàn)高速網(wǎng)絡(luò)包轉(zhuǎn)發(fā)，網(wǎng)絡(luò)包處理能力接近150W；

存儲(chǔ)層面：容器使用自研高性能分布式塊存儲(chǔ)后端，磁盤寫性能3W+ IOPS/300Mbps。

最后，張曉龍透露未來(lái)網(wǎng)易云會(huì)在以下三個(gè)方面繼續(xù)深耕：研發(fā)GPU/FPGA 高性能容器，跟進(jìn)開(kāi)源社區(qū)最新版本并適配，加大參與社區(qū)力度并反饋社區(qū)。

在Kubernetes技術(shù)論壇中，網(wǎng)易云首席解決方案架構(gòu)師劉超分享了“網(wǎng)易云如何基于大規(guī)模Kubernetes集群支持高并發(fā)應(yīng)用”。

網(wǎng)易云首席解決方案架構(gòu)師劉超

首先，劉超以網(wǎng)易考拉海購(gòu)為例，介紹了大規(guī)模云原生應(yīng)用的支撐痛點(diǎn)。考拉在拆分為微服務(wù)后，各個(gè)服務(wù)間的關(guān)聯(lián)關(guān)系是非常復(fù)雜的。為了支撐這個(gè)復(fù)雜的應(yīng)用，會(huì)對(duì)Kubernetes集群產(chǎn)生以下需求：首先，在入口需要有高性能負(fù)載均衡器承載外部大規(guī)模的流量，流量進(jìn)來(lái)后需要高性能私有網(wǎng)絡(luò)來(lái)支撐組件間的相互訪問(wèn)；其次，要保證容器網(wǎng)絡(luò)和虛擬機(jī)網(wǎng)絡(luò)互通，使得容器可以訪問(wèn)PaaS平臺(tái)的服務(wù)：此外，還包括高可用、服務(wù)發(fā)現(xiàn)、統(tǒng)一的配置中心等需求。

劉超分別從架構(gòu)、網(wǎng)絡(luò)、負(fù)載均衡、服務(wù)發(fā)現(xiàn)等方面介紹了網(wǎng)易云如何解決大規(guī)模云原生應(yīng)用的痛點(diǎn)，從而支撐考拉業(yè)務(wù)的。

網(wǎng)易云容器服務(wù)平臺(tái)架構(gòu)

上圖是網(wǎng)易云容器服務(wù)平臺(tái)的架構(gòu)，網(wǎng)易云的容器服務(wù)部署在底層的IaaS平臺(tái)之上，需要?jiǎng)討B(tài)依賴底層的計(jì)算資源來(lái)創(chuàng)建云網(wǎng)絡(luò)、云硬盤、Node節(jié)點(diǎn)等資源。通過(guò)網(wǎng)易云自研Netease Controller組件，可以監(jiān)聽(tīng)事件事先準(zhǔn)備好底層的硬件資源；

云網(wǎng)絡(luò)方面，網(wǎng)易云自研的CNI插件部署在每個(gè)虛擬機(jī)節(jié)點(diǎn)上，每當(dāng)發(fā)現(xiàn)有Pod起來(lái)的時(shí)候，就會(huì)調(diào)用CNI插件，從IaaS平臺(tái)上虛擬出一張網(wǎng)卡打到虛擬機(jī)里。

容器服務(wù)的網(wǎng)絡(luò)模型

在IaaS平臺(tái)或虛擬機(jī)中部署容器，通常會(huì)遇到二次虛擬的問(wèn)題，即物理機(jī)到虛擬機(jī)的一次虛擬和虛擬機(jī)到容器的一次虛擬，對(duì)吞吐量會(huì)產(chǎn)生很大影響，如左圖所示。為了解決這個(gè)問(wèn)題，網(wǎng)易云將虛擬機(jī)的網(wǎng)卡打到容器中（右圖），容器看到的網(wǎng)絡(luò)和虛擬機(jī)看到的網(wǎng)絡(luò)是同一個(gè)二層網(wǎng)絡(luò)，一方面的好處是只有一層overlay，另一方面虛擬機(jī)和容器之間可以相互訪問(wèn)，使得虛擬機(jī)和容器混合部署的應(yīng)用可以無(wú)感知地遷移，并且容器也可以訪問(wèn)虛擬機(jī)上的PaaS服務(wù)。

負(fù)載均衡方面，網(wǎng)易云也開(kāi)發(fā)了一個(gè)Load Blancer Controller，要起一個(gè)負(fù)載均衡的時(shí)候，會(huì)調(diào)用Load Balancer Manager去創(chuàng)建一個(gè)虛擬的Load Balancer。我們的負(fù)載均衡包含2層，一層是物理的負(fù)載均衡，所有租戶共享；另外一層是虛擬機(jī)中的HAProxy，負(fù)載均衡和虛擬機(jī)或容器的連接通過(guò)OVS的二層網(wǎng)絡(luò)就可以搞定。

Kubernetes默認(rèn)使用用kube-proxy實(shí)現(xiàn)服務(wù)發(fā)現(xiàn)，考拉和云音樂(lè)等大型應(yīng)用更傾向于使用其做外部的服務(wù)發(fā)現(xiàn)，可以簡(jiǎn)化配置；而內(nèi)部的服務(wù)發(fā)現(xiàn)通常沿用容器化前的服務(wù)發(fā)現(xiàn)方案Dubbok，一方面因?yàn)镈ubbok的功能更強(qiáng)大，另一方面避免底層平臺(tái)的綁定。

網(wǎng)易云為您提供容器服務(wù)，歡迎點(diǎn)擊免費(fèi)試用。

文章來(lái)源：網(wǎng)易云社區(qū)