前言

本篇是Docker第十三篇，Docker的使用至此就介紹完成，接下來繼續Kubernetes。

Docker系列文章:

1. 為什么要學習Docker
2. Docker基本概念
3. Docker鏡像基本原理
4. Docker容器數據卷
5. Dockerfile
6. Docker單機網絡上
7. Docker單機網絡下
8. Docker單機網絡實戰
9. Docker隔離技術
10. Docker限制
11. Docker Compose
12. Docker多機網絡

為什么需要Docker Swarm

1. 我們從Docker到Docker Compose都是在單機上完成，這樣會帶來一個很現實的問題就是高可用的問題，如果只部署到一臺機器是無法做到高可用的，這樣就不具備生產的條件；

2. Docker Compose只是簡單做了單機服務的編排、擴容，對于多機器的管理、發布、服務發現、負載均衡都沒有很好的解決；

3. 目前我們所有的容器都是在單個宿主機上進行網絡通信，多機情況的網絡通信也沒有解決方案；

針對以上三點，Docker給出了Docker Swarm的解決方案，Docker swarm可以讓用戶輕松在多個機器上發布和管理應用，并且我們不需要關注每個容器實例具體落在哪一個節點，Docker swarm把我們的應用以服務的形式暴露出去，并內置服務發現和負載均衡，讓運行在多個節點上的容器集群感覺就像只有一個應用在跑一樣簡單，可以輕松實現擴容和自動容錯。Docker swarm集群通常有幾個工作程序節點和至少一個管理程序節點，負責高效地處理工作程序節點的資源并確保集群有效地運行，提高了應用可用性。

Docker Swarm概念介紹

Manager Node

Manger 節點是負責管理工作的，從名字就可以看出，注意負責以下事情:

1. 維護集群的狀態；

2. 對 Services 進行調度；

3. 為 Swarm 集群提供外部可調用的 API 接口；

4. 提供服務注冊發現、負責均衡等功能；

Manager 節點需要時刻維護和保存當前 Swarm 集群中各個節點的一致性狀態，在保證一致性上，Manager 節點采用 Raft 協議來保證分布式場景下的數據一致性；

Worker Node

Worker 節點是用來執行 Task 的；默認情況下 Manager 節點也同樣是 Worker 節點，同樣可以執行 Task；

Service

Services 是指一組任務的集合，服務定義了任務的屬性，比如任務的個數、服務策略、鏡像的版本號等等，服務有兩種模式：

1. replicated services 按照一定規則在各個工作節點上運行指定個數的任務；
2. global services 每個工作節點上運行一個任務；

Task

Task是 Swarm 集群中的最小的調度單位，任務包含一個Docker容器和在容器內運行的命令，如果某一個任務奔潰，那么協調器將創建一個新的副本任務，該任務將生成一個新的容器；

Task調度

Task調度主要分為兩部分: Manager節點的任務分配和Worker節點的任務執行;

Manager節點的任務分配主要有以下四步:

1. 用戶通過 Docker Engine Client 使用命令 docker service create 提交 Service 定義；

2. Manager節點根據定義創建相應的 Task，并分配IP地址；

3. 將Task分發到對應的節點上；

4. 節點進行相應的初始化使得它可以執行Task；

Worker節點的任務執行主要有兩步:

1. 連接Manager節點的分配器檢查該Task相關定義的信息；
2. 驗證通過以后，開始在 Worker 節點上執行Task；

注意，上述 Task 的執行過程是一種單向機制，比如它會按順序的依次經歷 assigned, prepared 和 running 等執行狀態，不過在某些特殊情況下，在執行過程中，某個 Task 執行失敗了，Manager 的編排器會直接將該 Task 以及它的 Container 給刪除掉，然后在其它節點上另外創建并執行該 Task；

Docker Swarm網絡

核心概念介紹

1. Overlay Network：管理 Swarm 中 Docker 守護進程間的通信。你可以將服務附加到一個或多個已存在的 overlay 網絡上，使得服務與服務之間能夠通信；

2. Ingress Network：一個特殊的 overlay 網絡，用于服務節點間的負載均衡。當任何 Swarm 節點在發布的端口上接收到請求時，它將該請求交給一個名為 IPVS 的模塊。IPVS 跟蹤參與該服務的所有IP地址，選擇其中的一個，并通過 ingress 網絡將請求路由到它。初始化或加入 Swarm 集群時會自動創建 ingress 網絡，大多數情況下，用戶不需要自定義配置，但是 docker 17.05 和更高版本允許你自定義；

3. Docker Gwbridge Network：一種橋接網絡，將 overlay 網絡連接到一個多帶帶的 Docker 守護進程的物理網絡。默認情況下，服務正在運行的每個容器都連接到本地 Docker 守護進程主機的 docker_gwbridge 網絡，一種橋接網絡，將 overlay 網絡（包括 ingress 網絡）連接到一個多帶帶的 Docker 守護進程的物理網絡。默認情況下，服務正在運行的每個容器都連接到本地 Docker 守護進程主機的 docker_gwbridge 網絡;

流量分類

Docker Swarm 數據流量分為兩個層面：

1. 控制管理流量(control and management plane traffic): 包括 Swarm 管理消息，例如加入/退出 Swarm 的請求，這些流量總是被加密的；

1. 應用數據流量(Application data plane traffic): 包括容器之間的數據交換，以及容器與外部網絡的數據交換，關于這塊的原理探討放在實踐的地方；

集群搭建

資源準備

節點全部使用CentOS8.2版, 這邊準備了兩個node節點和一個master節點：

1. IP：172.16.0.191 主機名：demo-master-1 擔任角色：Swarm Manager
2. IP：172.16.0.45 主機名：demo-slave-1  擔任角色：Swarm Node
3. IP：192.168.0.231 主機名：demo-slave-2：Swarm Node

保證每個主機之間都能相互ping通并且2377端口可以telnet保持暢通, 每個節點都安裝了Docker。

集群安裝

1. 初始化Master節點，命令執行后，該機器自動加入到swarm集群。這個會創建一個集群token，獲取全球唯一的 token，作為集群唯一標識。后續將其他節點加入集群都會用到這個token值；

docker swarm init --advertise-addr 172.16.0.191

1. 將Node節點加入集群；

docker swarm join --token SWMTKN-1-3cap7omkvmyuf0q1ybm868880eo5reoil8pcbovmejfzw6pil8-73hc367s4gitudqivrdirvu63 172.16.0.191:2377

1. 查看Master節點信息；

docker node ls

1. 相關命令；

# 創建服務
docker service create /  
  --image nginx /
  --replicas 2 /
  nginx 

# 更新服務
docker service update /  
  --image nginx:alpine /
  nginx 

# 刪除服務
docker service rm nginx

# 減少服務實例
docker service scale nginx=0

# 增加服務實例
docker service scale nginx=5

# 查看所有服務
docker service ls

# 查看服務的容器狀態
docker service ps nginx

# 查看服務的詳細信息。
docker service inspect nginx

實戰

1. 在Manager節點部署Nginx服務，服務數量為2個，對外暴露的端口是8080映射容器內部的80端口，使用Nginx鏡像；

docker service create --replicas 2 --name nginx --publish 8080:80  nginx

1. 查看容器分布狀況；

docker service ps swarm-nginx

1. 訪問服務；

curl 172.16.0.45:8080
curl 192.168.0.231:8080

Internal

Internal容器與容器之間通過overlay網絡進行訪問，通過service name進行通信，但是service name所對應的ip不是真實ip而是VIP，我們可以下面這個案例進行驗證：

1. 開始實驗前移除創建的服務，創建一個overlay的Network;

docker network create --driver overlay swarm-overlay
#查看網絡狀況
docker network ls

1. 創建一個nginx的service ,使用swarm-overlay網絡；

docker service create --name nginx -p 8080:80 --network swarm-overlay -d nginx

1. 再創建一個busybox服務；

docker service create --name busybox -d --network swarm-overlay  busybox:1.28.3 sh -c while true; do sleep 7200; done

1. 查看服務列表；

docker service ls

1. 進入busybox服務內部，使用ping命令訪問nginx服務，我們會發現可以訪問；

docker exec -it 2f55d73adfb4 sh
ping nginx

Ingress

當在任何一個Swarm節點去訪問端口服務的時候會通過本節點的IPVS ( ip virtual service )到真正的Swarm節點上。提供以下三種功能:

1. 外部訪問的均衡負載;

2. 服務端口暴露到各個Swarm節點;

3. 內部通過IPVS進行均衡負載;

接著Internal案例繼續進行探索，Swarm節點內部是如何進行轉發的；

1. 查看工作節點的轉發規則，我們可以看到把請求轉發到172.18.0.2:8000這個地址上去了；

iptables -nL -t nat

1. 接下來我們查看下本機的網絡情況，我們找到了docker_gwbridge，可以看到兩個ip處于同一網段，那么172.18.0.2應該也連接上docker_gwbridge；

1. 查看docker_gwbridge的interface 信息，我們會發現有多個interface；

brctl show

1. 接下來我們查看下docker_gwbridge網絡信息，我們可以發現ingress-sbox就是我們要找的命名空間，gateway_ingress-sbox就是所屬的容器；

docker network inspect docker_gwbridge

1. 進入ingress_sbox內部，查看iptables規則，可以看到發送到該ip地址下的8000端口的請求被負載掉了；

#查找ingress_sbox位置
ls /var/run/docker/netns
#進入ingress_sbox
nsenter --net=/var/run/docker/netns/ingress_sbox
#查看ingress_sbox iptables 
iptables -nL -t mangle