摘要：容器云將支持應(yīng)用的一鍵式部署交付，提供負(fù)載均衡，私有域名綁定，性能監(jiān)控等應(yīng)用生命周期管理服務(wù)。本容器云平臺(tái)，對(duì)接持續(xù)集成發(fā)布系統(tǒng)。

在移動(dòng)互聯(lián)網(wǎng)時(shí)代，新的技術(shù)需要新技術(shù)支持環(huán)境、新的軟件交付流程和IT架構(gòu)，從而實(shí)現(xiàn)架構(gòu)平臺(tái)化，交付持續(xù)化，業(yè)務(wù)服務(wù)化。容器將成為新一代應(yīng)用的標(biāo)準(zhǔn)交付件，容器云將幫助企業(yè)用戶構(gòu)建研發(fā)流程和云平臺(tái)基礎(chǔ)設(shè)施。縮短應(yīng)用向云端交付的周期，降低運(yùn)營門檻。加速向互聯(lián)網(wǎng)技術(shù)和業(yè)務(wù)的雙轉(zhuǎn)型。容器云將對(duì)接各類代碼托管庫，實(shí)現(xiàn)自動(dòng)化持續(xù)集成和DOCKER鏡像構(gòu)建，為新一代應(yīng)用交付和開發(fā)運(yùn)維一體化奠定了基礎(chǔ)。容器云將支持應(yīng)用的一鍵式部署交付，提供負(fù)載均衡，私有域名綁定，性能監(jiān)控等應(yīng)用生命周期管理服務(wù)。是微服務(wù)架構(gòu)，輕量級(jí)應(yīng)用部署和運(yùn)維的理想平臺(tái)。未來IT界會(huì)以容器化應(yīng)用作為交付的標(biāo)準(zhǔn)。容器云為開發(fā)者和企業(yè)提供了一個(gè)快速構(gòu)建、集成、部署、運(yùn)行容器化應(yīng)用的平臺(tái)，從而提高應(yīng)用開發(fā)的迭代效率，簡化運(yùn)維環(huán)節(jié)，降低運(yùn)維成本。
對(duì)于企業(yè)來說，容器云價(jià)值體現(xiàn)在：

作為內(nèi)部技術(shù)紐帶，多應(yīng)用統(tǒng)一部署平臺(tái)，提高開發(fā)效率，減少運(yùn)維成本。

平臺(tái)產(chǎn)品化過程中，投入少且產(chǎn)出價(jià)值高。可依托現(xiàn)有的IaaS平臺(tái)資源，相對(duì)于傳統(tǒng)的承接項(xiàng)目獲益的方式，容器云會(huì)積累寶貴的客戶資源及數(shù)據(jù)資源，這些無形資產(chǎn)最終會(huì)為公司贏得巨大戰(zhàn)略價(jià)值。

增加云企業(yè)辨識(shí)度，如果只具有IaaS層服務(wù)的云平臺(tái)是不完整的，對(duì)用戶的云服務(wù)是不充分的，應(yīng)該具有為用戶提供全方位的云服務(wù)體系，應(yīng)該具有先進(jìn)且高附加值的云平臺(tái)。

基于Kubernetes實(shí)現(xiàn)的容器云平臺(tái)，就功用而言可以分為四大部分：

自動(dòng)化容器的部署、升級(jí)和復(fù)制；

隨時(shí)擴(kuò)展或收縮容器規(guī)模，實(shí)現(xiàn)容器的彈性擴(kuò)展；

以集群的方式運(yùn)行、管理跨機(jī)器的容器，并且提供容器間的負(fù)載均衡；

Kubernetes的自我修復(fù)機(jī)制使得容器集群總是運(yùn)行在用戶期望的狀態(tài)。

未來容器云也可能會(huì)成為云管理平臺(tái)的統(tǒng)治者，也還會(huì)有更多的應(yīng)用在容器云上原生運(yùn)行起來。因?yàn)閷?duì)于容器云，它可以把很多分散的物理計(jì)算資源抽象成一個(gè)大的資源池，利用這些資源來執(zhí)行用戶的計(jì)算任務(wù)。對(duì)于用戶來說，操作一個(gè)分散的集群資源就像在使用一臺(tái)計(jì)算機(jī)。人工智能的集中式爆發(fā)，機(jī)器學(xué)習(xí)的訓(xùn)練過程對(duì)于快速迭代的高要求，讓能夠輕量級(jí)接入，并且可以對(duì)用戶提供秒級(jí)響應(yīng)的容器云發(fā)揮了巨大的優(yōu)勢(shì)。師出同門的Google Tensorflow項(xiàng)目很早也進(jìn)行了與Kubernetes的集成，人工智能平臺(tái)上實(shí)現(xiàn)了Spark on Kubernetes和 Hadoop on Kubernetes。無論是容器技術(shù)，還是DevOps和微服務(wù)，都說明靈活、彈性、輕量化的IT應(yīng)用模式逐漸形成。而這種模式的形成對(duì)于復(fù)雜產(chǎn)品的快速開發(fā)有著積極意義，谷歌等IT巨頭對(duì)產(chǎn)業(yè)的貢獻(xiàn)，讓初創(chuàng)企業(yè)與大型IT企業(yè)之間的差距縮短，迎來最好的IT時(shí)代。容器云架構(gòu)方案，具有六大功能模塊，每個(gè)部分包含對(duì)應(yīng)的容器技術(shù)棧。具體架構(gòu)如下

后端存儲(chǔ)主要采用 Ceph 驅(qū)動(dòng)。Ceph 獨(dú)一無二地用統(tǒng)一的系統(tǒng)提供了對(duì)象、塊、和文件存儲(chǔ)功能，它可靠性高、管理簡便、并且是自由軟件。 Ceph 的強(qiáng)大足以改變貴公司的 IT 基礎(chǔ)架構(gòu)、和管理海量數(shù)據(jù)。 Ceph 可提供極大的伸縮性——供成千用戶訪問 PB 乃至 EB 級(jí)的數(shù)據(jù)。 Ceph 節(jié)點(diǎn)以普通硬件和智能守護(hù)進(jìn)程作為支撐點(diǎn)， Ceph 存儲(chǔ)集群組織起了大量節(jié)點(diǎn)，它們之間靠相互通訊來復(fù)制數(shù)據(jù)、并動(dòng)態(tài)地重分布數(shù)據(jù)。Ceph在容器云中主要應(yīng)用場(chǎng)景是有狀態(tài)服務(wù)。包括關(guān)系型數(shù)據(jù)庫和nosql數(shù)據(jù)庫等數(shù)據(jù)需要持久化的業(yè)務(wù)。

底層容器網(wǎng)絡(luò)我們最初使用的是Calico。 Calico基本架構(gòu)圖 Calico是一個(gè)純?nèi)龑泳W(wǎng)絡(luò)，沒有引入一個(gè)DP，沒有封包。在主機(jī)內(nèi)部做另外一個(gè)容器，可以三條到達(dá)終端，你可以知道是誰出了問題，調(diào)試的時(shí)候很容易，很好管理。容器內(nèi)的應(yīng)用數(shù)據(jù)傳出來，和二層完全隔離，對(duì)于我們絕大多數(shù)的應(yīng)用來講只需要三層就夠了，很少有應(yīng)用處理二層。而且Calico支持豐富的網(wǎng)絡(luò)策略，可以實(shí)現(xiàn)多租戶管理，對(duì)于未來對(duì)外提供容器云服務(wù)至關(guān)重要。

Kubernetes是谷歌開源的容器集群管理系統(tǒng)，是Google多年大規(guī)模容器管理技術(shù)Borg的開源版本，主要功能包括：

1.基于容器的應(yīng)用部署、維護(hù)和滾動(dòng)升級(jí)

2.負(fù)載均衡和服務(wù)發(fā)現(xiàn)

3.跨機(jī)器和跨地區(qū)的集群調(diào)度

4.自動(dòng)伸縮

5.無狀態(tài)服務(wù)和有狀態(tài)服務(wù)

6.廣泛的Volume支持

7.插件機(jī)制保證擴(kuò)展性

Kubernetes發(fā)展非常迅速，已經(jīng)成為容器編排領(lǐng)域的領(lǐng)導(dǎo)者。Kubernetes提供了很多的功能，它可以簡化應(yīng)用程序的工作流，加快開發(fā)速度。通常，一個(gè)成功的應(yīng)用編排系統(tǒng)需要有較強(qiáng)的自動(dòng)化能力，這也是為什么 Kubernetes 被設(shè)計(jì)作為構(gòu)建組件和工具的生態(tài)系統(tǒng)平臺(tái)，以便更輕松地部署、擴(kuò)展和管理應(yīng)用程序。用戶可以使用Label以自己的方式組織管理資源，還可以使用Annotation來自定義資源的描述信息，比如為管理工具提供狀態(tài)檢查等。此外，Kubernetes控制器也是構(gòu)建在跟開發(fā)人員和用戶使用的相同的API之上。用戶還可以編寫自己的控制器和調(diào)度器，也可以通過各種插件機(jī)制擴(kuò)展系統(tǒng)的功能。這種設(shè)計(jì)使得可以方便地在Kubernetes之上構(gòu)建各種應(yīng)用系統(tǒng)。目前整個(gè)kubernetes集群采用高可用部署，架構(gòu)如下圖：

容器監(jiān)控的對(duì)象主要包括 Kubernetes 集群（各組件）、應(yīng)用服務(wù)、Pod、容器及網(wǎng)絡(luò)等。這些對(duì)象主要表現(xiàn)為以下三個(gè)方面： 1.Kubernetes 集群自身健康狀態(tài)監(jiān)控（5個(gè)基礎(chǔ)組件、Docker、Etcd、Calico等） 2.系統(tǒng)性能的監(jiān)控，比如：CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)、filesystem 及 processes 等； 3.業(yè)務(wù)資源狀態(tài)監(jiān)控，主要包括：rc/rs/deployment、Pod、Service 等； 針對(duì)容器的整體運(yùn)行狀況及性能狀況監(jiān)控，采用了自研的監(jiān)控系統(tǒng)實(shí)現(xiàn)整體IT資源的統(tǒng)一監(jiān)控。

容器平臺(tái)的日志系統(tǒng)一般包括：Kubernetes 組件的日志，資源的事件日志及容器所運(yùn)行的應(yīng)用的日志。本容器云平臺(tái)，使用fluentd（以DaemonSet的方式啟動(dòng)）來收集日志，并將收集的日志發(fā)送給統(tǒng)一日志平臺(tái)。

CI/CD（持續(xù)集成與部署）模塊肩負(fù)著 DevOps 的重任，是開發(fā)與運(yùn)維人員的橋梁，它實(shí)現(xiàn)了業(yè)務(wù)（應(yīng)用）從代碼到服務(wù)的自動(dòng)上線，滿足了開發(fā)過程中一鍵的持續(xù)集成與部署的需求。本容器云平臺(tái)，對(duì)接持續(xù)集成&發(fā)布系統(tǒng)。除此之外，實(shí)現(xiàn)服務(wù)擴(kuò)縮容，彈性伸縮（HPA）、負(fù)載均衡、灰度發(fā)布等，也加入了代碼質(zhì)量檢查（Sonar）、自動(dòng)化測(cè)試及性能測(cè)試插件等，這些都是 CI/CD PaaS 平臺(tái)的重要組成部分。

通過可視化界面，可以簡單方便的實(shí)現(xiàn)對(duì)資源的部署、管理與監(jiān)控，包括：資源編排。可以實(shí)現(xiàn)以下功能: 1.全面監(jiān)控:主機(jī)、路由器、硬盤、公網(wǎng)IP、負(fù)載均衡器都具備完整全面的歷史監(jiān)控和實(shí)時(shí)監(jiān)控信息。 2.開放式的圖形化操作: 直觀展示主機(jī)及其相關(guān)資源，并可以直接操作圖形，所有改動(dòng)自動(dòng)更新。 3.操作日志記錄: 記錄下用戶所有重要操作歷史，方便定位和查找。 4.網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)展示: 用圖形展示復(fù)雜的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，連接私有網(wǎng)絡(luò)和主機(jī)更加方便直觀。 5.備份鏈可視化操作: 對(duì)于備份各節(jié)點(diǎn)一目了然，同時(shí)可直接操作新建備份及回滾到之前的狀態(tài)。 6.自動(dòng)伸縮策略: 根據(jù)資源監(jiān)控信息定義自動(dòng)伸縮策略，調(diào)節(jié)資源配置或集群規(guī)模，無需人工介入。 7.通知列表: 用于接收監(jiān)控告警通知、定時(shí)器任務(wù)或自動(dòng)伸縮策略的執(zhí)行結(jié)果。 8.快速的系統(tǒng)構(gòu)建: 使用資源編排，可以在短短幾分鐘內(nèi)迅速復(fù)制一套已存在的擁有復(fù)雜拓?fù)涞南到y(tǒng)；或者迅速規(guī)劃您的系統(tǒng)架構(gòu)并評(píng)估成本；還可以實(shí)現(xiàn)資源拓?fù)涞目鐓^(qū)域復(fù)用。 9.豐富的模板創(chuàng)建方式: 在控制臺(tái)中，用戶可以從無到有構(gòu)建模板；也可以從系統(tǒng)推薦的常見模板入手創(chuàng)建，或基于已經(jīng)創(chuàng)建的模板繼續(xù)完善；還可以將已經(jīng)存在的資源抽取出一套拓?fù)潢P(guān)系成為模板。

caas平臺(tái)衍生出來的整個(gè)devops體系是至關(guān)重要的。最終實(shí)現(xiàn)打通日志，監(jiān)控和apm數(shù)據(jù)，算法實(shí)現(xiàn)根因分析，也就是AIOPS。能夠快速定位故障。快速反饋到運(yùn)維和開發(fā)，形成一個(gè)閉環(huán)。
Gartner定義的AIOps平臺(tái)擁有11項(xiàng)能力，包括歷史數(shù)據(jù)管理( Historical data management) 、流數(shù)據(jù)管理( Streaming data management )、日志數(shù)據(jù)提取( Log data ingestion) 、網(wǎng)絡(luò)數(shù)據(jù)提取( Wire data ingestion )、算法數(shù)據(jù)提取( Metric data ingestion )、文本和NLP文檔提取( Document text ingestion )、自動(dòng)化模型的發(fā)現(xiàn)和預(yù)測(cè)( Automated pattern discovery and prediction )、異常檢測(cè)( Anomaly detection )、根因分析( Root cause determination )、按需交付( On-premises delivery )和軟件服務(wù)交付( Software as a service )等。當(dāng)然這是后續(xù)和正在做的工作。