摘要：今天小數(shù)給大家?guī)硪黄夹g(shù)正能量滿滿的分享來自社區(qū)線上群分享的實錄，分享嘉賓是數(shù)人云肖德時。第二級調(diào)度由被稱作的組件組成。它們是最小的部署單元，由統(tǒng)一創(chuàng)建調(diào)度管理。

今天小數(shù)給大家?guī)硪黄夹g(shù)正能量滿滿的分享——來自KVM社區(qū)線上群分享的實錄，分享嘉賓是數(shù)人云CTO肖德時。

嘉賓介紹：
肖德時，數(shù)人云CTO
十五年計算機行業(yè)從業(yè)經(jīng)驗，曾為紅帽 Engineering Service 部門內(nèi)部工具組 Team Leader，Docker/Mesos 社區(qū)代碼貢獻者。現(xiàn)負責數(shù)人云云計算的研發(fā)及架構(gòu)設計工作，深入研究 Docker，Mesos 集群， 云計算等領(lǐng)域。

Docker提供了業(yè)界領(lǐng)先的容器引擎，基于 Apache 2.0 版權(quán)開放源代碼

允許應用可以攜帶運行環(huán)境在任意的主機上運行（容器技術(shù)）

2014年6月9日發(fā)布v1.0版本

實現(xiàn)了在主流 Linux 系統(tǒng)中可以使用 Docker容器

號稱“虛擬化2.0”的產(chǎn)物，去掉了hypervisor部分

容器更好的利用了硬件資源，輕量的執(zhí)行效率優(yōu)于傳統(tǒng)虛擬化

結(jié)合 DevOps 社區(qū)的最佳實踐，提升了應用發(fā)布、部署的流程

迅速吸引開發(fā)人員和運維人員的興趣，并大量使用

Docker 已經(jīng)在業(yè)界領(lǐng)軍企業(yè)的產(chǎn)品中被積極采納，已知的企業(yè)有：IBM、Microsoft、Google、Amazon、VMWare、Red Hat等等

Docker 公司已獲得超過10億美元的VC 投資

Docker 技術(shù)已發(fā)展有2年多時間，2016年開始走向成熟技術(shù)發(fā)展

1.Docker Engine: A “Hypervisor” for Containers

2.容器技術(shù)不是新概念，在 Unix 時代存在多年

3.容器技術(shù)在 Linux 技術(shù)棧中的分布

4.部署方式已經(jīng)轉(zhuǎn)變?yōu)?VMs 和 Images

VMs 和 Images 在云端場景大量使用

AWS Xen and Amazon Machine Images

SoftLayer Xen and Standard/Flex Images

Microsoft Azure – Customized Hyper-V and VM Images

Google Compute Engine – KVM

OpenStack – KVM

類似技術(shù)也在傳統(tǒng)數(shù)據(jù)中心采用

VMWare vSphere

Citrix Xen

KVM

Microsoft Hyper-V

5.Docker Containers vs. Traditional VMs

傳統(tǒng) VMs 包括有浪費資源的 Guest OS，而 Docker通過分層共享通用的 OS 和類庫部分

基于集裝箱分發(fā)的成功經(jīng)驗，一個應用容器是包含了一個應用程序運行時的完整部署單元，用來保證部署過程中自動化、版本控制和快速部署的實現(xiàn)

應用部署的難點主要集中在應用的二進制本身和應用的依賴的部署（Java JRE,Ruby Gems,Python, App Server等等）

Docker images 包括了應用依賴庫和應用程序本身

1.Dockerfiles:

描述了容器的組織內(nèi)容，以及在啟動后執(zhí)行什么命令

通常一容器一進程模式

Dockerfiles 應該作為源碼的一部分放在代碼倉庫中

2.Docker layers 是一層一層依賴堆疊在一起，每層只保存不一樣的內(nèi)容

3.鏡像倉庫

4.DockerHub ，DockerCloud

Enterprise Technology Research通過6年數(shù)據(jù)統(tǒng)計得出 Docker 是最有投資價值的企業(yè)

IBM 研究院評測(2014)顯示 Docker 能達到和 KVM 同樣的性能，接近裸機的執(zhí)行性能

《An Updated Performance Comparison of Virtual Machines and Linux Containers》

1.DockerCon14 Europe宣布

Docker 編排服務

Docker Machine

Docker Swarm

Docker compose

Docker Hub Enterprise

2.Docker Machine是一個簡化Docker安裝的命令行工具，通過一個簡單的命令行即可在相應的平臺上安裝Docker，比如VirtualBox、 Digital Ocean、Microsoft Azure。

3.Docker Swarm是 Docker原生的集群編排工具，它能管理多個 Docker 主機，組成一臺虛擬的容器集群主機
4.支持 etcd，consul，zookeeper 3種服務發(fā)現(xiàn)系統(tǒng)
5.支持集成到Bluemix，Mesos，Kubernetes，AWS, Azure

6.Docker Compose是一個可以簡化多容器應用組合的編排工具，通過使用Compose，你可以在一個配置文件中定義應用的組件，包括容器、配置、連接、卷等，然后你可以通過一個簡單的命令將所有的組件組合并運行。

1.因為 Docker 全新的設計理念，讓應用必須重構(gòu)才能很好的在 Docker 上運行。十二要素應用和微服務架構(gòu)都是很好的指導方法

http://12factor.net/zh_cn/

http://www.slideshare.net/adrianco
http://martinfowler.com/articles/microservices.html
2.專注于Docker 的操作系統(tǒng)將受到關(guān)注，它被稱之為“極簡 OS”，這些操作系統(tǒng)提供如下關(guān)鍵特性：

通過隔離技術(shù)和精簡的系統(tǒng)接口提升安全能力

鏡像變的更小，啟動速度加快

提供事務級別組件升級和回滾

3.“極簡 OS”包括如下：

CoreOS

Red Hat’s Project Atomic

Ubuntu’s Snappy Ubuntu Core

RancherOS

Microsoft’s Nano Server

1.單臺主機上的容器之間網(wǎng)絡互聯(lián)可以很容易做到，但是當容器需要跨越主機之間的網(wǎng)絡互聯(lián)，復雜度就提高了。

2.通過選擇以下方案得到解決：

服務發(fā)現(xiàn)

Docker Swarm

Etcd

Consul

Zookeeper

軟件定義網(wǎng)絡(SDN)

Docker Networking

Weave

Coreos’ Flannel

Project Calico

3.企業(yè)特性在現(xiàn)代虛擬化平臺中很常見，但Docker 缺失，這些特性如下：

細粒度的管理控制權(quán)限

容器熱遷移

備份和恢復選項

超大規(guī)模部署的管理工具

審計和日志支持

符合安全規(guī)范

4.Docker 社區(qū)正在設法解決這些缺失，并且第三方廠商也在推出這些領(lǐng)域的解決方案

容器安全受到多方面的重視，潛在的漏洞都會得到關(guān)注，安全風險領(lǐng)域包括：

Docker engine daemon以 root 用戶運行

缺乏安全參數(shù)

Docker API 入口

鏡像完整性簽名

容器可以執(zhí)行system calls

容器可以訪問主機文件系統(tǒng)

Docker 社區(qū)正在協(xié)作解決這些安全問題

在多租戶部署場景下安全問題關(guān)注度最高：

"These containers aren"t secure. They don"t have that kind of isolation. They"re sharing so much of their underlying operating system that they can"t be effectively secured, at least not to the kind of level of risk that we"d be comfortable running two different customers in containers side by side" – Microsoft Azure CTO Mark Russinovich

5.CoreOS 發(fā)布Rocket 引擎 v1.0

App Container Image

App Container Runtime

opencontainers/runc (libcontainer)

04/14/2015 – Docker Raises $95M Series D Round for Its Container Platform

Docker 正在構(gòu)建全平臺的容器服務支持

有策略的收購：Orchard，Kitematic，Socketplane，Tutum

通過企業(yè)合作增強企業(yè)特性
（IBM，Amazon，Google，Red Hat，VMWare，Microsoft，等等）

通過與 Microsoft 的合作，增加對 Windows Containers 的支持

成為微服務架構(gòu)的默認部署方式

成為 Images 和 Containers 的業(yè)界標準

Mesos是Apache下的開源分布式資源管理框架，它被稱為是分布式系統(tǒng)的內(nèi)核。Mesos最初是由加州大學伯克利分校的AMPLab開發(fā)的，后在Twitter、Netflix、AirBnb、Autodesk、Apple 等得到廣泛使用，國內(nèi)有愛奇藝、360、小米、去哪兒等公司也在使用 Mesos 技術(shù)。

Mesos實現(xiàn)了兩級調(diào)度架構(gòu)，它可以管理多種類型的應用程序。第一級調(diào)度是Master的守護進程，管理Mesos集群中所有節(jié)點上運行的Slave守護進程。集群由物理服務器或虛擬服務器組成，用于運行應用程序的任務，比如Java、Mysql Cluster、Hadoop 等。第二級調(diào)度由被稱作Framework的“組件”組成。Framework包括調(diào)度器（Scheduler）和執(zhí)行器（Executor）進程，其中每個節(jié)點上都會運行執(zhí)行器。Mesos能和不同類型的Framework通信，每種Framework由相應的應用集群管理。Mesos Master協(xié)調(diào)全部的Slave，并確定每個節(jié)點的可用資源，聚合計算跨節(jié)點的所有可用資源的報告，然后向注冊到Master的Framework（作為Master的客戶端）發(fā)出資源邀約。Framework可以根據(jù)應用程序的需求，選擇接受或拒絕來自master的資源邀約。一旦接受邀約，Master即協(xié)調(diào)Framework和Slave，調(diào)度參與節(jié)點上任務，并在容器中執(zhí)行，以使多種類型的任務，比如Hadoop和Cassandra，可以在同一個節(jié)點上同時運行。

假如你剛?cè)腴T集群計算，那么Kubernetes將會是很好的出發(fā)點；它快捷，易用，輕量的方式來處理集群導向開發(fā)的集成和體驗。它提供了非常高瞻遠矚式的可移植性，讓它得以支持多家提供商（微軟，IBM，紅帽，CoreOS，Mesosphere, Kismatic, VMware等等)。

Kubernetes是一個開源項目，由Google Cloud Platform組開發(fā)，給全球的虛擬機帶來了容器集群管理的能力，當然還包括裸機硬件。它能和當代的操作系統(tǒng)很好的一起工作，例如：Ubuntu, RedHat, Project Atomic/CentOS, 或者CoreOS。這些系統(tǒng)提供了輕量的計算節(jié)點來受你托管。Kubernetes是用Golang語言寫的，它輕量、模塊化、可移植還有擴展性。Google的Kubernetes開發(fā)組正在和數(shù)個不同背景的技術(shù)公司一起制定基于Kubernetes作為標準的計算集群的標準方案。這個想法就是借鑒Google在構(gòu)建分布式應用上積累的經(jīng)驗來幫助需要構(gòu)建分布式應用的開發(fā)者。這些核心的理念包括以下一些基本概念：

? Pods --- 是連接在一起的容器組合并共享文件卷。它們是最小的部署單元，由Kubernetes統(tǒng)一創(chuàng)建、調(diào)度、管理。Pods是可以直接創(chuàng)建的，但推薦的做法是你使用replication controller，即使是創(chuàng)建一個Pod。

? Replication controllers --- 管理Pods的生命周期。它們確保指定數(shù)量的Pods會一直運行，通過創(chuàng)建和殺掉Pods可以保證到這個效果。

? Labels --- 它被用來管理和選取基于鍵值對為基礎的對象組。

? Services --- 提供獨立、可靠名稱和地址的Pods集合。它就像一個基礎版本的負載均衡器。

所以，伴隨著Kubernetes，你將獲得一些簡單、易用的即起即用性，可一致性和擴展性。當加入“分布式”這個術(shù)語到你管理的事情上，這個事情將是一個真正輕量的方式。在一個集群里運行應用程序，不再擔心多帶帶的主機。在這個例子中，一個集群是一個靈活的資源就像一個虛擬機。它是一個邏輯計算單元，你可以啟動它，使用它，調(diào)整集群大小，關(guān)閉它，既快速也容易。

對于Mesos，這里有很多基本觀點的重疊定義，但是產(chǎn)品確實有一些不用的點在他們的生命周期之中，并且有一個亮點。Mesos是一個分布式系統(tǒng)內(nèi)核，編織不同類型的主機放在一起當一臺邏輯計算電腦。它的出現(xiàn)是基于你擁有大量的物理機資源讓你能夠使用，來創(chuàng)建大型的靜態(tài)計算集群。很重要的事情是它能讓很多現(xiàn)代可擴展的計算處理應用能運行的很好在Mesos集群之上（Hadoop, Kafka和Spark)。它非常棒的地方在于可以在同樣的基礎資源環(huán)境里同時可以運行這些計算處理應用，包括同時運行微服務時代的容器類型的應用。有些地方它確實比Kubernetes重，但是它越來越易用，這要歸功于Mesosphere公司的團隊貢獻。

現(xiàn)在讓這個事情更有趣的是Mesos已經(jīng)開始采用并加入更多Kubernetes的概念來支持Kubernetes API。假如你需要Mesos的特性，這樣會是一個網(wǎng)橋連接Mesos，以讓你的Kubernetes程序能到更多兼容性的特性（比如：高可靠Master，更多調(diào)度的概念，以及管理大量節(jié)點的能力）。并且它已經(jīng)很好的適配到生產(chǎn)環(huán)境中（Kubernetes仍然是一個預覽版測試階段，V1的調(diào)度將在1到2個月被發(fā)布出來）。
假如你已經(jīng)有了特殊的環(huán)境（Spark, Hadoop, Kafka等等），Mesos將給你一個框架，讓你插入這些系統(tǒng)到你的集群里，并且可以混合運行一些Kubernetes程序。Mesos給你提供了一個安全閥，在你需要這些計算能力但社區(qū)還沒有提供實現(xiàn)的情況下可以實現(xiàn)支持。

假如你來自虛擬機的世界，或者傳統(tǒng)的服務器架構(gòu)，Kubernetes將是很好的選則。Mesos需要一個自定義的"Framework"來支持例如運行 MariaDB，但是Kubernetes的容器化應用卻可以直接運行，并不需要任何修改。這是一個進入可擴展容器集群的最佳辦法。

2015年我去西雅圖參加 Mesos Conf 時，會議規(guī)模在600多人左右，所以Mesos應該是在2015年開始發(fā)展迅猛起來的。現(xiàn)在Mesos社區(qū)貢獻代碼的主要是Mesosphere，Twitter，IBM和Intel 等，大多數(shù)committer都來自Mesosphere。但是，這個社區(qū)的組織非常穩(wěn)定，Mesosphere 并不會強制增加新 Feature，大家都是在一起討論過程中去實現(xiàn) Roadmap 中的新特性。讓我在參與過程中，可以很方便的和世界各地的開發(fā)者一起交流自己的觀點。大家交流的方式是按照 Apache 項目傳統(tǒng)的方式-郵件列表來組織的，只要按照 Apache 的開發(fā)模式，你可以很容易的融入到社區(qū)里面。只是需要很長時間，你才能真正成為 Committer。這個也是 Apache 項目的一個特點。

Mesos的生態(tài)系統(tǒng)我也是在2015年才開始真正關(guān)注，我首先關(guān)注到Spark 的原生支持非常好，接著看到 Mesos 對大數(shù)據(jù)的整個生態(tài)圈是全面支持的。這個是 Mesos 社區(qū)的一個天然優(yōu)勢。然后對于各類應用，業(yè)界也貢獻了很多好用的框架，比如 Marathon、Chronos、Spark、Kubernetes、Cassandra、Elasticsearch、Swarm 等等。所以，這個讓我有了很大的想象空間。這些Frameworks，我可以任意的組合和調(diào)配，完全滿足我對新功能的探索和定制工作。

目前我比較關(guān)注的點和當前 Docker 有關(guān)系：Unified Container Mesos-2840，Mesos 之前是直接通過命令行來調(diào)用 Docker的。從之前的用戶反饋也大量反應出用戶對 Docker 使用兼容性的苦惱。所以，Mesos 的開發(fā)者在設想我們能不能把 Docker 的依賴去掉，自己實現(xiàn)一套 Docker client 端，和 Docker 的服務端實際上是通過 API 來約束。這個設計實現(xiàn)后，還可以同時支持 CoreOS 的 rkt 引擎。讓Mesos 支持的容器生態(tài)圈更加繁榮。

對于行業(yè)使用場景，主要是需要參考業(yè)界的使用案例。比如浙江移動的 DCOS 在秒殺業(yè)務中的使用。去哪兒的 Mesos 日志處理模塊的處理。我們可以參考的案例非常多，足以支持我們對 Mesos 在互聯(lián)網(wǎng)高并發(fā)、生物、教育等等行業(yè)找到最佳實踐。
對于秒殺業(yè)務，大家都會把關(guān)注點集中在性能上。但是如果沒有一個分布式的架構(gòu)，怎么可能發(fā)揮應用的完整性能呢？這個時候 Mesos 這個框架就是一個很好的參考。它提供了一個分布式的 Core 框架模型。秒殺的場景下，讓應用做成無狀態(tài)的水平擴展來支撐流量成為可能。

分布式框架下，程序的組織方式也會被迫使做一些改變，慢慢往微服務架構(gòu)方向轉(zhuǎn)變。所以，秒殺業(yè)務本身可以有很多種解決方法，但是你可以選擇Mesos 來構(gòu)建這個池化的環(huán)境，讓業(yè)務流量被支撐。當然微服務的改造如果沒有 Docker 這個標準的隔離組件，業(yè)務上是需要做很多工作才能支持微服務環(huán)境的。用了 Docker 之后，同一臺機器是可以安裝多份實例的，這個好處就是應用本身是一個單體模型的程序，通過 Docker 來動態(tài)的創(chuàng)建多實例。多個實例設計成無狀態(tài)，并且交互也通過 REST API 來限制接口，這個時候，這個微服務模型就出來了。當然，秒殺系統(tǒng)包含了隊列、數(shù)據(jù)庫、過濾規(guī)則引擎等模塊，如何合理的解構(gòu)出微服務模塊又是另一個應用開發(fā)的話題，這里不表。總的來說，Mesos+Docker 的技術(shù)引進確實給秒殺系統(tǒng)的資源利用率提高了，業(yè)務結(jié)構(gòu)也變得更模塊化。方便的開發(fā)模型和動態(tài)的資源利用是對秒殺業(yè)務系統(tǒng)的最直接的好處。

生物算是一個典型的分布式計算的業(yè)務場景，生物云計算最大的需求是算法的計算，但是這個計算需要耗費的資源是非常高的。如何把原有的老算法程序跑在分布式環(huán)境下是一個難題。為了匹配這個業(yè)務場景，發(fā)現(xiàn) Mesos 是一個可靠的集群方案。注意，生物公司的算法程序已經(jīng)有了，涉及算法的復雜性，遷移過程是需要時間的，但生物的業(yè)務不能等這個遷移過程，這個需要有一個隔離環(huán)境來解決。這個時候，Docker 的優(yōu)勢就發(fā)揮出來了。Docker 是能隔離的，所以，對于老程序，你用 Docker 是可以容器化的，并且直接就可以把老程序丟到機器上跑。天然的隔離性讓一臺機器可以跑多個算法實例，實現(xiàn)資源的高利用率。除此之外，生物公司還可以繼續(xù)用 Spark 等大數(shù)據(jù)技術(shù)實現(xiàn)老算法的遷移，在不影響業(yè)務的情況下，還能自主創(chuàng)新。一套集群既可以跑老業(yè)務算法，又可以跑新業(yè)務算法，做到業(yè)務不中斷情況下更新技術(shù)棧的效果。

對于教育行業(yè)，Mesos+Docker 的用處主要是提供一個固定的資源池。然后通過 Docker 的隔離封裝，給學員提供可以重復練習的實驗 Lab環(huán)境。對于環(huán)境，其實 Docker 起到的作用是至關(guān)重要的。如果學員需要 Linux 主機，通過啟動一個 Docker 容器就可以提供 Linux 環(huán)境。但目前支持的類型比較有限，最好是單容器的環(huán)境支持是最好的。

微信群 |《運維前線》
Q1：想學習Mesos，Docker，有沒有比較好的學習線路，謝謝
A1：先從 Docker 學起，然后根據(jù)需要在使用 Mesos 搭建你的業(yè)務平臺

Q2：Docker允許在CentOS6是否穩(wěn)定？
A2：Docker 已經(jīng)不做支持。

Q3：Docker 管理大規(guī)模訪問量的服務器存在什么不足？
A3：目前瓶頸就是多緯度的管理，這方面 Mesos 可以支持更好一點。

Q4：“有些地方它確實比Kubernetes重，但是它越來越易用”。能否請嘉賓談談到底哪方面比較重？如何在實戰(zhàn)中規(guī)避這些問題？謝謝
A4：Mesos 支持大數(shù)據(jù)和容器，肯定重。實戰(zhàn)中我們也是摸索中實踐來看看。畢竟已經(jīng)有很多企業(yè)案例可以參考了。

Q5：用Docker來部署Hadoop集群是否可行，會不會因為是容器套容器而影響性能？目前在下正在研究將Hadoop集成到Docker容器中，這樣在離線環(huán)境可以快速部署Hadoop集群（我們現(xiàn)有業(yè)務，需要部署很多這樣的集群，除了Docker有沒有其他的方式？）。
A5：可以做到快速部署 Hadoop，需要PaaS 層做調(diào)度。

Q6：Mesos+Docker 最近經(jīng)常踩的坑是啥？能稍微說下讓大家少走彎路
A6：目前最常見的問題就是系統(tǒng)兼容性，dm/aufs，但這些問題都是 Docker 本來就有的，我們通過實踐已經(jīng)取得很好的收益。
微信群 | 云實名
Q1：微軟的兩種容器（Windows Server Container、Hyper-V Container），對Docker有什么影響？
A1：我理解微軟的容器技術(shù)是和 Docker 公司合作一起推廣的，其實是助推了 Docker 的商業(yè)版圖。

Q2：容器是不是打破了運行庫的共享性，原來在一臺電腦上安裝一套運行庫就可以了，現(xiàn)在每個容器里都要安裝多帶帶的運行庫了。我的理解對嗎？
A2：不需要，它可以復用運行庫，因為 image layter 是分層的。

Q3：剛才PPT里說到了Docker的網(wǎng)絡環(huán)境需要解決方案，例如多個主機上的容器的互聯(lián)，我知道Kubernetes是要借助Flannel或者Ovs的，不知道Mesos是怎么做的
A3：Mesos 也可以用 Flannel or Ovs，不過 Mesos 社區(qū)正在推 Calico。我這里使用Weave

Q4：Docker容器的隔離最大或者最深能到什么程度？
A4： Docker 1.10已經(jīng)可以完整隔離Kernel Namespace 層的資源。可以大膽使用 Docker 了。

Q5：我感覺好像除了共用一個內(nèi)核，其他都隔離了。不知道對不對
A5：現(xiàn)在真的可以這么理解了 Docker Rocks

Q6：如果我備份整個系統(tǒng)的話，Docker會被保護嗎？換句話說，Docker有哪些是常駐內(nèi)存的，有哪些是寫磁盤的？
A6：Docker 容器是一個進程，所以都是寫到磁盤的。
QQ群
Q1：Docker 跟Openstack本質(zhì)區(qū)別是什么，有管理平臺么
A1：按照之前的發(fā)展之路，你會發(fā)現(xiàn)，Docker 和 Openstack 是融合的。對于 Docker 的管理平臺，目前 Docker 官方有 Docker Datacenter 版本提供管理

Q2：數(shù)人云在Mesos/Docker的商業(yè)支持上主要有什么看點，或者說選擇數(shù)人云的理由是什么
A2：目前我們支持：
1） 自動彈性伸縮--最大化提高資源利用率
2） 支持高并發(fā)--適用于企業(yè)大規(guī)模生產(chǎn)環(huán)境，實現(xiàn)百萬并發(fā)
3） OpenAPI--快速接入第三方服務無縫交互

Q3：如何看待Docker前段時間推出的Datacenter組件的定位呢？
A3：Datacenter 是 Docker 商業(yè)化的一次嘗試，目前來看，反應非常好。Docker 公司也需要盈利。

Q4：Mesos集群中的網(wǎng)絡互連是怎么實現(xiàn)的？
A4：目前 Mesos 社區(qū)對網(wǎng)絡主要推薦試用 Calico，但 Docker 的 Weave也推薦你使用