摘要：騰訊云在年底決定開發容器產品隨后組建容器技術團隊并進行技術選型通過對不同編排工具的分析對比最終選擇作為容器編排引擎并且迅速在年初推出容器解決方案為用戶提供托管的一站式服務。但是騰訊云最終選擇了現在看來這個選擇無比正確。

Kubernetes 很火,一大批互聯網公司早已領先一步,搭建起專有的 PaaS平臺,傳統企業們看到的 Kubernetes的趨勢,亦不甘落后,在試水的道上一路狂奔。

雖然,Kubernetes很火,并不代表可以“上手即用”,基于 Kubernetes的容器編排也不是簡單的“拿來主義”。在容器圈,除了 Kubernetes,還存在著 Mesos、Swarm等分屬不同陣營的容器集群管理工具,以及基于這些工具的多個容器云提供商。

騰訊云在 2016年底決定開發容器產品,隨后組建容器技術團隊并進行技術選型,通過對不同編排工具的分析對比,最終選擇 Kubernetes 作為容器編排引擎,并且迅速在 2017 年初推出容器解決方案 CCS,為用戶提供托管 Kubernetes 的一站式服務。

隨著業務量的增加,騰訊云容器團隊基于 Kubernetes,不停的增加和完善容器監控、日志處理、容器 Registry 等關鍵特性,來保障用戶業務的平穩運行。在整個 2017 年的運營過程中,管理了數千個集群、數十萬容器,以及業務高峰期的成倍擴容。

那么,在 16年底,Kubernetes并未大熱時,騰訊云為何偏偏在諸多主流的編排引擎當中選擇 Kubernetes?騰訊云 Kubernetes架構和資源調度原理是什么樣的?在用戶托管服務中,又為何采用 Kubernetes來托管用戶 Kubernetes集群的 Master?作為國內最大基于 Kubernetes的容器服務提供商,騰訊云在 Kubernetes上還有哪些應用實踐…… 本文將帶著這些疑問,為你一一揭開騰訊云基于 Kubernetes的 PaaS平臺神秘面紗。

為何選用 Kubernetes?

容器技術無疑是近幾年最熱門的技術之一,很多公司或者行業已經把容器作為自己的測試環境以及正式環境,正式上跑一些業務。騰訊緊隨外界技術發展的潮流,在三年之前,騰訊云的基礎平臺部門開始容器方面的技術實踐,經過三年時間的積累,騰訊云目前已經有很多業務跑在容器平臺上。

在最開始的容器產品技術選型階段,騰訊云也曾對比過 Kubernetes、Docker Swarm、 Mesos:

Kubernetes的核心是如何解決自動部署,擴展和管理容器化(containerized)應用程序。它支持資源調度、服務發現、服務編排、資源邏輯隔離、服務自愈、安全配置管理等。

Mesos是一個分布式內核,核心理念是數據中心操作系統(DCOS),為了解決 IaaS層的網絡、計算和存儲問題,所以 Mesos的核心是解決物理資源層的問題。它同時支持 Marathon、 Kubernetes 和 Swarm 等多種框架,Mesosphere 也是 Kubernetes 生態的一員。

Swarm:從 Docker1.12版本開始,Swarm隨 Docker一起默認安裝發布,也由于隨 Docker引擎一起發布,無需額外安裝,配置簡單。它支持服務注冊、服務發現,內置 Overlay Network以及 Load Balancer。Swarm是與 Docker CLI非常類似的操作命令,對熟悉 Docker的人非常容易上手學習。

綜上來看,每一種工具都有自己的核心理念。

但是,騰訊云最終選擇了 Kubernetes, 現在看來這個選擇無比正確。 在技術選型上,除了編排引擎自身的核心特性,騰訊云也主要從以下幾個方面進行了評估。

注:表格里的材料是當初選型時調研的情況,上述編排工具現在的特性已經有了新變化。

從整個行業來看,業界的技術架構正在大規模向微服務遷移,容器技術天生就是部署微服務的最佳方式,騰訊云擁有海量的業務架構,而 Kubernetes 的使用讓部署大規模的微服務更加容易,這也是騰訊云選擇 Kubernetes的主要原因,另外騰訊云選擇 Kubernetes還考慮了其它優勢,如:

出身名門 Google,其開發和設計受到了 Google著名的 Borg系統的影響;

GitHub上關注 Kubernetes項目和提交代碼的開發者非常多,社區活躍,如果遇到問題,通過社區咨詢和解決 問題速度也會比較快。

Kubernetes可以很好的支持有狀態的服務。

Kubernetes 是近 3 年來社區熱度最高的項目,Linux 基金會也成立了 CNCF來加強社區運作,不僅對 Kubernetes 進行管理,還對相關項目進行有序的運作,保證了整個技術棧穩定和蓬勃的發展。Kubernetes技術相比Docker swarm和Mesos 學習難度更高,騰訊云為此提供了免費容器實驗室, 幫助開發者快速入門學習kubernetes,感性趣的讀者可以點擊【閱讀原文】了解詳情。

騰訊云目前有哪些容器解決方案?

騰訊云 PaaS平臺發展至今已有了豐富的容器解決方案, 包括但不限于:騰訊云 Kubernetes托管服務、單容器實例服務、TencentHub服務、Flow Engine服務、CCI持續集成服務等,以及基于 Kuberentes 的 TensorFlow 和 Spark 解決方案,幫助用戶在使用容器解決方案的同時進行數據計算和模型訓練。

騰訊云 Kubernetes服務:基于原生 kubernetes 提供以容器為核心的、高度可擴展的高性能容器管理服務。騰訊云容器服務完全兼容原生 kubernetes API ,擴展了騰訊云的 CBS、CLB 等 kubernetes 插件,為容器化的應用提供高效部署、資源調度、服務發現和動態伸縮等一系列完整功能,解決用戶開發、測試及運維過程的環境一致性問題,提高大規模容器集群管理的便捷性,幫助用戶降低成本,提高效率。

單容器實例服務:基于 Clear Linux 技術提供的單容器實例解決方案,通過單容器實例服務享受容器的便捷、虛擬機級別的隔離, 像使用虛擬機一樣如絲般順滑的來使用容器,非常試用于通過容器來進行批量計算、通過容器來快速部署個人站點。不依賴 VM的容器在配置和使用時間上更靈活,提供了一種更低成本的計算資源。目前,但容器實例服務正在內測階段。

TencentHub服務:在云原生應用盛行的今天,僅僅提供 Git 服務或 Container 鏡像存儲的 Hub 已經無法滿足用戶在日常開發和運維過程中的種種需求。構造支持多種文件格式、容器鏡像格式、編排方案的云原生 Hub 能更好的降低用戶的架構向云原生遷移。 TencentHub不僅僅提供一個私有鏡像的存儲,同時提供了 Helm包、二進制文件等文件存儲。

DevOps 產品:DevOps 任務容器化、資源及執行全托管至 Kubernetes、提供給用戶一個全生命周期的 Workflow,完成容器構建、測試和部署等 DevOps 流程,支持用戶通過界面拖拽定義 Workflow ,支持 Workflow 定義文件導入等功能,和騰訊云已有基礎服務和 DevOps 服務打通。核心引擎開源到容器社區,組件庫作為配套功能同時開源。