摘要：配置網絡參照生產環境配置中的和子網章節。特別注意觀察和的子網是否與已有網絡沖突如果有沖突則參考網絡的中的方法修改子網。部署使用的是的監控方案。創建應用網絡創建你也可以改成自己的名字參考網絡的檢查子網與是否配置正確。

原文

本文只是一種實際部署方案的例子，涉及到的技術有（除Docker/Docker Swarm外）：

Docker overlay network

Fluentd

Prometheus stack

vegasbrianc的Prometheus監控方案

步驟大綱：

部署Docker machine

基本配置

配置網絡

啟動Fluentd日志服務

部署Docker swarm集群

配置網絡

添加Node

部署Prometheus stack

給Node打Label

創建監控網絡

啟動service

部署應用

識別stateless與stateful

創建應用網絡

給Node打Label

啟動service

準備若干Linux服務器（本例使用Ubuntu 16.04），參照Docker CE 鏡像源站提到的步驟安裝Docker CE。

參照Docker Daemon生產環境配置。

參照Docker Daemon生產環境配置中的mtu和子網章節。

參考使用Fluentd收集Docker容器日志。

到一臺機器上執行docker swarm init，這個機器將作為manager node。

執行docker node ls會看到類似下面的結果：

$ docker node ls

ID                           HOSTNAME  STATUS  AVAILABILITY  MANAGER STATUS
dxn1zf6l61qsb1josjja83ngz *  manager1  Ready   Active        Leader

如果你計劃不會把工作負載跑在manager node上，那么使用docker drain：

docker node update --availability drain 

可參考Docker Swarm基本命令清單。

參考Docker Overlay網絡的MTU。

特別注意

觀察docker_gwbridge和ingress的子網是否與已有網絡沖突：

$ docker network inspect -f "{{json .IPAM}}" docker_gwbridge
{"Driver":"default","Options":null,"Config":[{"Subnet":"172.18.0.0/16","Gateway":"172.18.0.1"}]}

$ docker network inspect -f "{{json .IPAM}}" ingress
{"Driver":"default","Options":null,"Config":[{"Subnet":"10.255.0.0/16","Gateway":"10.255.0.1"}]}

如果有沖突則參考Docker Overlay網絡的MTU中的方法修改子網。

參考Docker Swarm基本命令清單。

使用的是vegasbrianc的Prometheus監控方案。

整個監控方案包含一下幾個組件：

Prometheus

Node-exporter，運行在每個node上

Alertmanager

cAdvisor，運行在每個node上

Grafana

挑選一臺Node作為運行監控服務的機器。給這個node打上label：

$ docker node update --label-add for-monitor-stack=1 

$ docker network create -d overlay --attachable monitor-net

參考參考Docker Overlay網絡的MTU檢查子網與MTU是否配置正確。

clone vegasbrianc的Prometheus監控方案 項目代碼。

使用我修改過的docker-stack.yml

啟動service：

$ docker stack deploy 
  --with-registry-auth 
  --prune 
  -c docker-stack.yml 
  p8s-monitor-stack

訪問地址：

Prometheus：http://<任意swarm node ip>:9000

Node-exporter：http://<任意swarm node ip>:9010

Alertmanager：http://<任意swarm node ip>:9020

cAdvisor：http://<任意swarm node ip>:9030

Grafana：http://<任意swarm node ip>:9040，用戶名admin，密碼foobar

如果你的應用由多個組件（service）組成，那么在部署它們之前你得識別出哪些是stateless service哪些是stateful service。

針對每個service你自問以下三個問題：

這個service崩潰之后，是不是只需要重啟它就可以了，而不需要關心數據恢復？

這個service是否可以在node之間任意遷移，且不需要分布式存儲？

這個service是否無需固定IP？

如果上述回答都是Yes，那么這個service就是stateless的，只要有一個是No，則這個service是stateful的。

對于stateless service，你可以：

用docker stack deploy部署

用docker service create部署

對于stateful service，你可以：

用docker run部署

用docker-compose up部署

如果沒有固定IP的要求，那么你也可以用docker stack deploy/docker service create部署，前提是你得保證這個service只會固定在一臺機器上運行。

有時候你的應用既有stateless service又有stateful service，這時需要把他們掛載到同一個overlay網絡里，這樣它們之間就能夠互相通信了。

創建app-net（你也可以改成自己的名字）

$ docker network create -d overlay --attachable app-net

參考Docker Overlay網絡的MTU檢查子網與MTU是否配置正確。

如果你對于Service部署在哪個Node上有要求，那么你得給Node打上Label：

$ docker node update --label-add =1 

然后在docker-compose.yaml里添加約束條件：

version: "3.7"
services:
  busybox:
    image: busybox
    deploy:
      placement:
        constraints:
          - node.labels. == 1

對于stateless service，編寫docker-compose.yaml，里面寫了同時掛載app-net和monitor-net，比如：

version: "3.7"
services:
  busybox:
    image: busybox
    networks:
      app-net:
      monitor-net:
        aliases:
          - busybox
...
networks:
  app-net:
    external: true
  monitor-net:
    external: true

注意上面設置了busybox service在monitor-net中的別名，這是因為如果你用docker stack deploy部署，那么busybox的名字默認是_busybox，這樣對于prometheus而言此名字不穩定，不便于配置詳見Prometehus監控Docker Swarm Overlay網絡中的容器。

然后用docker stack deploy部署：

$ docker stack deploy 
  --with-registry-auth 
  --prune 
  -c docker-compose.yaml
  

如果用docker service create則：

$ docker service create 
 --network app-net 
 --network monitor-net 
 --name  
 ... 其他參數
 

下面舉例docker run啟動stateful service的方法：

$ docker run -d 
  --name  
  --network app-net 
  ... 其他參數 
  
  
# 然后再掛載到monitor-net上
$ docker network connect monitor-net