摘要：今天小數給大家?guī)淼氖菙等嗽乒こ處熃馃畹姆窒恚嘘P于自動快速部署服務相關組件的一些實踐。當與相遇，雙劍合璧，一切變得如此簡單有趣。通過將服務注冊到來做健康檢查。

今天小數給大家?guī)淼氖菙等嗽乒こ處熃馃畹姆窒恚嘘P于自動快速部署DCOS服務相關組件的一些實踐。
當Ansible與Docker相遇，雙劍合璧，一切變得如此簡單有趣。

本次分享將包括以下內容：

云平臺部署使用的服務、組件

Docker化服務組件

初始化安裝控制主機

集群主機系統(tǒng)檢測

使用Ansible初始化集群主機

使用Ansible安裝、檢測DCOS相關服務

Ansible 批量管理配置服務

初始化主機、批量安裝各服務使用

test yum repo 部署軟件包源

啟動一個簡單 http 服務，把安裝使用的軟件包全放到這個項目中

Docker 輕量級容器服務

Cadvisor 監(jiān)控服務

test-registry 組件安裝使用鏡像倉庫

Haproxy 負載均衡組件

Keepalived 高可用組件

部署在master1 和 master2 兩臺主機，通過檢查這兩臺主機部署的haproxy進行VIP 漂移。

MySQL數據庫

自研組件

Consul 服務發(fā)現、健康檢查、健值存儲外訪問的切換

Zookeeper Mesos Marathon

DCOS 核心組件，負責集群資源管理，應用調試

上面簡單介紹了安裝整個 DCOS 服務的完整過程，在安裝各組件前，我們都會先檢測是否已經安裝了該服務，如果已經存在會中止安裝，人工檢查后，再進行后續(xù)操作。

test-yumrepo 是一個簡單的 yum 源服務，里面放置了安裝 DOCS 需要使用的所有 rpm 包，使用 createrepo 命令進行創(chuàng)建和更新yum 源。

在安裝 DCOS 前會把組件鏡像全 push 到 registry ,不設置認證用戶，配置申請好的證書。

使用這個 registry 時，只需要添加域名解析就可以。

registry 的數據目錄，直接復制目錄到其它主機。

再啟動 registry 服務容器就可以直接使用，而不需要導入導出浪費時間。

因為 docker 鏡像是分層的，不同的鏡像，也會共用一些公共的鏡像層。

使用這個原理，鏡像大多數的服務都使用相同的 base 鏡像，這樣所有的鏡像都放置到 registry 中，就可以減少占用磁盤的容量。

DCOS 自研的控制界臺

用它來做各服務的健康檢查、服務發(fā)現、MySQL主從切換等。

consul 分為server 和 client ，我們注冊、注銷服務都是通過 client API 進行,這樣的好處是 client 上的主機服務都綁定在 client 端，健康檢查也都是通過 client 端進行本地檢查。

服務本身的狀態(tài)查詢查詢則是通過 Server 端。

consul 有多種服務發(fā)現機制，我們使用的是比較簡單的 dns 模式，通過 consul 自帶的 DNS 解析功能實現的。

各服務安裝好后，通過調用 consul 的 API 注冊服務。

需要服務發(fā)現的組件通過 docker run 參數 添加 --dns , 在容器內部就可以解析到 consul 中注冊的服務地址 , 例如： 訪問數據庫的配置就可以設置為 mysql.service.consul:3306, 這樣的配置。(當然支持srv 服務可以直接用)

haproxy做為平臺服務的負載均衡服務，對外服務配置服務時，配置的是 consul 中的服務域名。

這里有個坑，原來使用 haproxy 1.5 版本, 后端服務使用域名時，啟動后只解析一次(和nginx類似)，這時如果解析到的服務掛掉，訪問haproxy頁面時會503.
查詢官網得知 haproxy 1.6 支持了動態(tài) dns 域名解析的配置，后升級為 haproxy 1.6。

下面是動態(tài) dns 解析相關的配置內容：

最初的MySQL主從切換是基于 haproxy+keepalived 來做高可用的。

這種機制下，MySQL主從切換的簡單需求需要引入2個開源組件，架構上也非常復雜。

為了減輕架構復雜度和可維護性，我們將主從切換改為了使用 Consul 進行主從切換。MySQL是安裝了兩臺，一主一從，設置權限時，主是讀寫的，從是普通用戶只讀權限。

通過將服務注冊到 consul 來做健康檢查。

MySQL Master 和 Slave 注冊到一共注冊四個服務到Consul, 如下代碼：

正常情況 mysql-vip.service.consul 解析到 主mysql ip。

這里會分兩種情況切換到從解析：

主MySQL掛掉后，ip解析到從mysql ip，mysql-vip 切換到從Mysql IP

主庫的 consul 掛掉也會導致服務無法解析，即使 mysql-master 正常，所以如果 consul 掛掉也會被激活切換。

請注意：因為MySQL從是只讀的，相當于降級服務。

參考以前寫的文章：容器公司如何用容器進行產品迭代
http://blog.dataman-inc.com/s...

dockerfile 的語法比較簡單，類似shell， 常用的命令主要有：

FROM 依賴的基礎鏡像

RUN 執(zhí)行的shell命令

ADD 添加本地文件目錄或下載網絡中的文件并且解壓到鏡像中

COPY 復制本地文件或目錄到鏡像中

ENTRYPOINT docker容器啟動時的默認命令

CMD docker容器啟動時的默認參數

參考：https://docs.docker.com/engin...

下面是dockerfile的示例

docker 鏡像的默認啟動命令可以是一個自定義的 shell 腳本，例如我們編寫一個 entrypoint.sh 腳本，可以在啟動腳本中做很多事情，比如初始化服務、拉取配置、替換變量等等。

Dockerfile

Zookeeper啟動腳本：
cat /data/run/dataman_zookeeper.sh

參考 https://docs.docker.com/engin...

https://github.com/Dataman-Cl...

啟動test yum repo，把 test yum repo 配置到當前主機的/etc/yum.repos.d/test.repo

配置內容如下：

然后就可以很方便的安裝一些必要的工具服務。

test yum repo的使用方法

其中 --disablerepo=* 是禁用其它 yum repo, --enablerepo=repo 是開啟數人云 testrepo ,這樣做是為了防止其它 的yum repo 影響 yum 安裝 的過程，減少出錯。

安裝需要部署DOCS需要使用的服務,和一些調試工具
yum --disablerepo=* --enablerepo=testrepo install -y net-tools iptables ansible 等。

修改 NTP server 的配置。

安裝機準備好 yum repo 和 test registry, 我們就可以準備安裝 DCOS集群了。

安裝前我們會先檢測當前安裝機的服務是否是我們要求的主機狀態(tài)，檢查包括：

yum repo 狀態(tài)正常

test registry 狀態(tài)正常

NTP server 狀態(tài)正常

然后修改ansible 配置ansible/inventory/hosts。

規(guī)劃好主機列表及角色，內容示例如下：

修改自定義的主配置文件config.cfg，這個配置中主要包含了，集群使用的 DCOS master 列表，mysql 主機、用戶、初始密碼，Keepalived 主機、VIP地址，以后面各服務就從這兩個配置中讀取內容生成最終配置，再進行安裝。

在安裝服務前會檢測各主機：

系統(tǒng)版本、內核版本檢測

文件系統(tǒng)檢測

磁盤容量檢測

如果檢測到的結果異常會跟中止安裝。

前面的初步檢測步驟通過后，我們就會對集群主機進行初始化操作。

包含的內容有：

基礎操作
防火墻、selinux 等

主機名
設置主機機名解析

NTP 客戶端
設置 ntp 服務

Docker
安裝配置等

安裝運維調試工具
出問題檢查的各種工具，比如 netstatdig等

主機初始化后的環(huán)境檢查
以上初始化的檢查

最終我們通過 Ansible 完成了將整套的分布式部署抽象成了兩步完成：

在一個配置文件中配置整套安裝方案的服務；

執(zhí)行安裝腳本。

這個服務并不是完美的，還有很多可以優(yōu)化的，比如大數量主機安裝的效能問題等，我們會持續(xù)對其進行改進。

歡迎大家一起交流、探討經驗。謝謝大家。

Q1：現在Docker的版本更新也很快，那數人云是怎么來考慮這個版本的，每次跟著更新，還是延后多少個小版本？
A1：每次Docker更新我們都在在內部進行測試，經過一段時間的驗證，沒有什么大坑的時候，就更新。沒有特定的，延后固定幾個版本。

Q2：此前看到一篇文章說，Docker是沒有后向兼容的，每次更新版本都會非常痛苦。你們是怎么處理這個問題？
A2：這個問題我們也很煩惱，我們是一臺一臺主機的升級，不會影響業(yè)務的正常使用。DCOS集群本身是高可用的，所以宕機1、2臺也不會有問題。

（承接上一問）
Q3：一般來說，DCOS集群我們都建議上百臺主機，那一個DCOS集群升級一次大概要耗時多久？
A3：升級的話，提前規(guī)劃，按應用或集群的角色劃分好批次 比如說 Master不能同時升級，兩個MySQL主從不能同時升級，Elasticsearh 集群不能同時升級等 提前進行docker pull 預熱 100臺主機，完整升級一次預計要半小時左右。這個半小時不包含準備時間。

Q4：你們docker volume怎么解決的？
A4：例如MySQL這種需要持久化數據 的服務，我們是發(fā)到固定主機。如果是Elasticsearch，這種本身已經有數據同步的服務，我們是直接掛載出來，指定一個主機范圍。

Q5：能分享下數人云在DCOS+DevOps方面的經驗么？
A5：這次分享的集群安裝就是我們DevOps的一部分，我們的應用和組件都是Docker化的，使用ansible docker run或調用marathon api 進行、更新發(fā)布應用，平時的工作主機就是Docker化服務和把這些服務發(fā)到DCOS集群中。