從Kubernetes到“云原生全家桶”，網(wǎng)易如何讓業(yè)務(wù)部署提效280%？

zhunjiee 發(fā)布于2019-06-28 11:19 / 811人閱讀

摘要：近日，網(wǎng)易云輕舟微服務(wù)團(tuán)隊(duì)接受了的采訪，分享了網(wǎng)易云在云原生領(lǐng)域尤其是方面的實(shí)踐經(jīng)驗(yàn)。影響根據(jù)網(wǎng)易云團(tuán)隊(duì)的數(shù)據(jù)，使研發(fā)效率提高了以上，部署效率提高了。無論是否使用網(wǎng)易云產(chǎn)品，網(wǎng)易云都鼓勵其他公司嘗試。

近日，網(wǎng)易云輕舟微服務(wù)團(tuán)隊(duì)接受了CNCF的采訪，分享了網(wǎng)易云在云原生領(lǐng)域尤其是Kubernetes方面的實(shí)踐經(jīng)驗(yàn)。以下為案例全文：

公司：網(wǎng)易
地點(diǎn)：中國杭州
行業(yè)：互聯(lián)網(wǎng)技術(shù)

挑戰(zhàn)
它的游戲業(yè)務(wù)是世界上最大的游戲業(yè)務(wù)之一，但這并不是網(wǎng)易為中國消費(fèi)者提供的唯一服務(wù)。該公司還經(jīng)營電子商務(wù)、廣告、音樂流媒體、在線教育和電子郵件平臺。2015年，為這些業(yè)務(wù)提供基礎(chǔ)設(shè)施的網(wǎng)易云團(tuán)隊(duì)，意識到當(dāng)時的研發(fā)流程已經(jīng)不能滿足業(yè)務(wù)的發(fā)展需求。“我們的用戶需要自己準(zhǔn)備所有基礎(chǔ)設(shè)施。”網(wǎng)易云架構(gòu)師、輕舟微服務(wù)技術(shù)負(fù)責(zé)人馮常健說，“我們希望通過基于Serverless的容器服務(wù)，為他們提供一套自動化的基礎(chǔ)設(shè)施和工具。”

解決方案
“該系統(tǒng)可以在一個集群中支持30,000個節(jié)點(diǎn)。在生產(chǎn)環(huán)境中，曾達(dá)到過單個集群10,000個節(jié)點(diǎn)的數(shù)據(jù)。內(nèi)部大部分互聯(lián)網(wǎng)業(yè)務(wù)正在使用該系統(tǒng)進(jìn)行開發(fā)、測試和生產(chǎn)。”

曾宇星，網(wǎng)易云架構(gòu)師

在考慮建立自己的業(yè)務(wù)流程解決方案后，網(wǎng)易云決定將其私有云平臺建立在Kubernetes上，誕生于Google的事實(shí)讓網(wǎng)易云團(tuán)隊(duì)相信它可以跟上網(wǎng)易的規(guī)模。“經(jīng)過2到3個月的評估，我們相信它可以滿足我們的需求。”馮常健說。該團(tuán)隊(duì)在2015年Kubernetes 1.0版本發(fā)布之前就開始使用Kubernetes，目前可以在單集群中支持30,000個節(jié)點(diǎn)，在生產(chǎn)環(huán)境集群中曾達(dá)到過單集群運(yùn)行10,000個節(jié)點(diǎn)。而且，網(wǎng)易云還使用了CNCF基金會下的Prometheus、Envoy、Harbor、gRPC和Helm等項(xiàng)目。基于其內(nèi)部平臺的經(jīng)驗(yàn)，該公司向外部客戶推出了基于Kubernetes的云和面向微服務(wù)的解決方案—— 網(wǎng)易輕舟微服務(wù)平臺。

影響
根據(jù)網(wǎng)易云團(tuán)隊(duì)的數(shù)據(jù)，Kubernetes使研發(fā)效率提高了100％以上，部署效率提高了280％。“在過去，如果我們想進(jìn)行升級，需要與其他團(tuán)隊(duì)甚至其他部門的同事協(xié)作。”馮常健說，“我們需要專門的人員來準(zhǔn)備一切，之前通常會花費(fèi)大約半個小時的工作，現(xiàn)在5分鐘內(nèi)就可以完成。”新平臺還支持GPU和CPU資源的混合部署，這些改進(jìn)也提高了資源的利用率。
“我們放棄了Kubernetes的一些概念，僅使用了標(biāo)準(zhǔn)化的框架。”馮常健說，“我們利用Kubernetes的可編程性，以便我們可以構(gòu)建一個平臺來滿足內(nèi)部客戶的升級和部署需求。”

最初，網(wǎng)易云聚焦于構(gòu)建容器平臺來更好地管理資源，后續(xù)通過添加監(jiān)控等工具，開始致力于提升對微服務(wù)架構(gòu)的支持，這意味著網(wǎng)易云又集成了Prometheus，Envoy，Harbor，gRPC和Helm等CNCF項(xiàng)目。據(jù)馮常健介紹：“我們正在努力提供一個簡單和標(biāo)準(zhǔn)的流程，以使得我們的用戶可以利用我們的最佳實(shí)踐”。

并且這個團(tuán)隊(duì)也在繼續(xù)做出改進(jìn)，比如電商業(yè)務(wù)需要混合部署，在過去這需要使用2套獨(dú)立的平臺：基礎(chǔ)設(shè)施平臺和Kubernetes平臺。最近，網(wǎng)易云在此基礎(chǔ)上研發(fā)了一套跨平臺的應(yīng)用，實(shí)現(xiàn)2個平臺的一站式部署。

社區(qū)與生態(tài)
“我們是一個專注于面向微服務(wù)解決方案的團(tuán)隊(duì)，通過與社區(qū)的合作，我們可以獲得經(jīng)驗(yàn)并從中受益，我們可以看到社區(qū)的關(guān)注點(diǎn)和面臨的挑戰(zhàn)，并參與其中。”

馮常健，網(wǎng)易云架構(gòu)師、輕舟微服務(wù)技術(shù)負(fù)責(zé)人

基于內(nèi)部平臺的使用經(jīng)驗(yàn)，網(wǎng)易云開始對外提供基于Kubernetes的云平臺和面向微服務(wù)的一站式解決方案——輕舟微服務(wù)平臺。馮常健說：“我們希望將這些內(nèi)部業(yè)務(wù)遇到的問題和經(jīng)驗(yàn)產(chǎn)品化，滿足外部客戶的需求。”

無論是否使用網(wǎng)易云產(chǎn)品，網(wǎng)易云都鼓勵其他公司嘗試Kubernetes。“只要公司擁有一支成熟的團(tuán)隊(duì)和足夠的開發(fā)者，我認(rèn)為Kubernetes是一種非常好的技術(shù)，可以幫助到企業(yè)。”網(wǎng)易云Kubernetes開發(fā)者李嵐清說。
作為最終用戶和云服務(wù)提供商，網(wǎng)易云在社區(qū)中也非常活躍，積極學(xué)習(xí)其它公司的經(jīng)驗(yàn)，并分享其實(shí)踐案例。網(wǎng)易云團(tuán)隊(duì)也一直在參與Harbor和Envoy項(xiàng)目的社區(qū)貢獻(xiàn)，基于網(wǎng)易的規(guī)模體量提供測試反饋。馮常健說：“我們是一個專注于面向微服務(wù)解決方案的團(tuán)隊(duì)，通過與社區(qū)的合作，我們可以獲得經(jīng)驗(yàn)并從中受益，我們可以看到社區(qū)的關(guān)注點(diǎn)和面臨的挑戰(zhàn)，并參與其中。”

文章來源：網(wǎng)易云社區(qū)