資訊專欄INFORMATION COLUMN
摘要：舉個例子在一個由臺主機節(jié)點組成系統(tǒng)中用戶希望每個節(jié)點上容器的地址在各自設定的子網(wǎng)范圍內(nèi)但是在的默認配置中容器的地址是由節(jié)點上的服務自身決定的。典型組網(wǎng)上圖為系統(tǒng)運行的典型組網(wǎng)。
介紹
Flannel是CoreOS團隊針對Kubernates設計的跨主機容器網(wǎng)絡解決方案, 它可以使集群中不同節(jié)點上運行的docker容器都具有全集群唯一的虛擬IP地址。
舉個例子,在一個由3臺主機節(jié)點組成系統(tǒng)中,用戶希望每個節(jié)點上容器的IP地址在各自設定的子網(wǎng)范圍內(nèi):
Host1: 10.0.1.0/24
Host2: 10.0.2.0/24
Host3: 10.0.3.0/24
但是在 docker 的默認配置中,容器的IP地址是由節(jié)點上的 docker 服務自身決定的。以容器默認使用的 bridge 網(wǎng)絡為例，其分配到的 IP 地址與 docker0 橋處于同一個網(wǎng)段。而如果沒有手動配置，多臺主機上的 docker0 的 IP 地址很有可能重復，那么，主機上運行的容器也就有可能被分配到相同的 IP 地址。雖然可以通過手工配置 docker 服務的啟動參數(shù)(-bip)來使得各個主機的 docker0 橋 IP 地址各異，但這樣的手動方式大大增加運維難度。并且除了IP地址，容器間的網(wǎng)絡互通還需要配置主機間的 route table，neigh table 等等。而 Flannel 可以使這些工作變得簡單。
典型組網(wǎng)
上圖為 Flannel 系統(tǒng)運行的典型組網(wǎng)。Flannel 運行在每臺需要運行 docker 容器的 host 上，etcd 是一個分布式數(shù)據(jù)庫，它運行在另一臺 host 上(實際上，它也可以運行在某臺運行 Flannel 的 host 上)，它存儲著 Flannel 當前的 IP 資源池以及當前的已分配狀況，這是不同 host上 的容器 IP 不同的關鍵。當某臺 host 上的 Flannel 啟動時，它會訪問 etcd 去得到一個空閑的 IP 網(wǎng)段，并將自己已占用該網(wǎng)段的信息寫入 etcd ，這樣其他 host 就不能分配到同樣的網(wǎng)段了。
每臺運行 Flanne l服務的 host 之間通過 backend 轉發(fā)跨主機容器之間的網(wǎng)絡流量。可選擇的 backend 有 host-gw udp vxlan ipip gce alivpc awsvpc等模式，下面將通過實例演示host-gw udp vxlan三種模式。
Host1: ubuntu16.04 docker18.06.0ce etcd-3.2.4 對外網(wǎng)卡ens33: 172.16.112.128
Host2: ubuntu16.04 docker18.06.0ce flanneld-0.10 對外網(wǎng)卡ens33: 172.16.112.133
Host3: ubuntu16.04 docker18.06.0ce flanneld-0.10 對外網(wǎng)卡ens33: 172.16.112.130
1 下載二進制安裝包 etcd-v3.2.4-linux-amd64.tar.gz 解壓后復制etcd 和 etcdctl到 /usr/local/bin/ 目錄
2 創(chuàng)建文件/etc/etcd/etcd.conf
ETCD_DATA_DIR="/var/run/etcd" ETCD_ADVERTISE_CLIENT_URLS="http://172.16.112.128:2379,http://127.0.0.1:2379" ETCD_NAME="node-1" ETCD_LISTEN_CLIENT_URLS="http://172.16.112.128:2379,http://127.0.0.1:2379"
3 創(chuàng)建 Service 文件/lib/system/system/etcd.service
[Unit] Description=Etcd Server Documentation=https://github.com/coreos/etcd After=network.target After=network-online.target Wants=network-online.target [Service] User=root Type=notify EnvironmentFile=-/etc/etcd/etcd.conf ExecStart=/usr/local/bin/etcd LimitNOFILE=40000 [Install] WantedBy=multi-user.target
4 啟動Service，可以看到其運行狀態(tài)正常
root@node-1:~# systemctl start etcd
systemctl status etcd
● etcd.service - Etcd Server
Loaded: loaded (/lib/systemd/system/etcd.service; disabled; vendor preset: enabled)
Active: active (running) since Fri 2018-09-07 03:23:49 PDT; 2 days ago
Docs: https://github.com/coreos/etcd
Main PID: 20497 (etcd)
Tasks: 7
Memory: 81.9M
CPU: 8min 46.959s
CGroup: /system.slice/etcd.service
└─20497 /usr/local/bin/etcd
5 創(chuàng)建/etc/flannel-config.json如下 （以host-gw為例）
root@node-1:~# cat /etc/flannel-config.json
{
"Network":"10.2.0.0/16",
"SubnetLen":24,
"Backend":{
"Type":"host-gw"
}
}
6 將之后flannel網(wǎng)絡的分配信息存入etcd
root@node-1:~# etcdctl set /docker-subnet/network/config < /etc/flannel-config.json
{
"Network":"10.100.0.0/16",
"SubnetLen":24,
"Backend":{
"Type":"host-gw"
}
}
flannel 安裝(host1)
下載二進制安裝包flannel-v0.10.0-linux-amd64.tar.gz 解壓后將 flanneld 和mk-docker-opts.sh復制到 /usr/local/bin/ 目錄
創(chuàng)建Service文件/lib/system/system/flanneld.service
[Unit] Description=Flanneld After=network.target Before=docker.service [Service] User=root ExecStart=/usr/local/bin/flanneld --etcd-endpoints=http://172.16.112.128:2379 --iface=ens33 -etcd-prefix=/docker-subnet/network Type=notify LimitNOFILE=65536
3 啟動flannel服務
root@node-2:~# systemctl start flanneld.service
root@node-2:~# systemctl status flanneld.service
● flanneld.service - Flanneld
Loaded: loaded (/lib/systemd/system/flanneld.service; static; vendor preset: enabled)
Active: active (running) since Mon 2018-09-10 01:32:26 PDT; 5s ago
Main PID: 26076 (flanneld)
Tasks: 7
Memory: 10.1M
CPU: 146ms
CGroup: /system.slice/flanneld.service
└─26076 /usr/local/bin/flanneld --etcd-endpoints=http://172.16.112.128:2379 --iface=ens33 -etcd-prefix=/docker-subnet/network
可以從subnet.env看到從hode-1上獲得的子網(wǎng)信息
root@node-2:~# cat /run/flannel/subnet.env FLANNEL_NETWORK=10.100.0.0/16 FLANNEL_SUBNET=10.100.50.1/24 FLANNEL_MTU=1500 FLANNEL_IPMASQ=false
4 執(zhí)行 mk-docker-opts腳本，得到docker啟動參數(shù)
root@node-2:~# mk-docker-opts.sh root@node-2:~# cat /run/docker_opts.env DOCKER_OPT_BIP="--bip=10.100.50.1/24" DOCKER_OPT_IPMASQ="--ip-masq=true" DOCKER_OPT_MTU="--mtu=1500" DOCKER_OPTS=" --bip=10.100.50.1/24 --ip-masq=true --mtu=1500"
5 修改docker服務參數(shù) /lib/system/system/docker.service
EnvironmentFile=/run/docker_opts.env ExecStart=/usr/bin/dockerd -H fd:// $DOCKER_OPTS
重新啟動docker, 可以看到啟動參數(shù)中已經(jīng)有 bip為我們從etcd中獲得的網(wǎng)段信息(10.100.50.1/24)了
root@node-2:~# systemctl daemon-reload
root@node-2:~# systemctl restart docker
root@node-2:~# systemctl status docker
● docker.service - Docker Application Container Engine
Loaded: loaded (/lib/systemd/system/docker.service; enabled; vendor preset: enabled)
Active: active (running) since Mon 2018-09-10 01:39:56 PDT; 21s ago
Docs: https://docs.docker.com
Main PID: 26664 (dockerd)
Tasks: 18
Memory: 53.9M
CPU: 769ms
CGroup: /system.slice/docker.service
├─26664 /usr/bin/dockerd -H fd:// --bip=10.100.50.1/24 --ip-masq=true --mtu=1500
└─26673 docker-containerd --config /var/run/docker/containerd/containerd.toml
docker0 分配的IP地址也符合預期
root@node-2:~# ifconfig docker0
docker0 Link encap:Ethernet HWaddr 02:42:d0:bc:0a:1f
inet addr:10.100.50.1 Bcast:10.100.50.255 Mask:255.255.255.0
inet6 addr: fe80::42:d0ff:febc:a1f/64 Scope:Link
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:93 errors:0 dropped:0 overruns:0 frame:0
TX packets:289 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:5628 (5.6 KB) TX bytes:27078 (27.0 KB)
在Host3 上重復此過程，得到的網(wǎng)段地址為10.100.83.0/24
root@node-3:~# ifconfig docker0
docker0 Link encap:Ethernet HWaddr 02:42:fa:91:74:a1
inet addr:10.100.83.1 Bcast:10.100.83.255 Mask:255.255.255.0
inet6 addr: fe80::42:faff:fe91:74a1/64 Scope:Link
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:114 errors:0 dropped:0 overruns:0 frame:0
TX packets:275 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:7112 (7.1 KB) TX bytes:25875 (25.8 KB)
連通性實驗分析
host-gw模式
前面準備環(huán)境時， 正是按照host-gw方式分配I的
在host2和host3上各運行一個busybox容器來測試其連通性
root@node-2:~# docker run --name bbox2 -tid busybox
759fb9b67f0b21901da1ab6870d3e592bc2923eb0b753d5c009630d5e2c228d5
root@node-2:~# docker exec bbox2 ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:0A:64:32:02
inet addr:10.100.50.2 Bcast:10.100.50.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:18 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:2335 (2.2 KiB) TX bytes:0 (0.0 B)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
root@node-3:~# docker run --name bbox3 -tid busybox
60da1aefb40d9e96984888554cfbc3e927974a6cb1422f679f6a4e2381184385
root@node-3:~# docker exec bbox3 ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:0A:64:53:02
inet addr:10.100.83.2 Bcast:10.100.83.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:18 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:2335 (2.2 KiB) TX bytes:0 (0.0 B)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
此時的組網(wǎng)環(huán)境為
我們使用ICMP報文來驗證其連通性 (同時，使用tcpdump監(jiān)視host2上的docker0和ens33網(wǎng)卡)
root@node-2:~# docker exec bbox2 ping -c 4 10.100.83.2 PING 10.100.83.2 (10.100.83.2): 56 data bytes 64 bytes from 10.100.83.2: seq=0 ttl=62 time=0.441 ms 64 bytes from 10.100.83.2: seq=1 ttl=62 time=0.384 ms 64 bytes from 10.100.83.2: seq=2 ttl=62 time=0.361 ms 64 bytes from 10.100.83.2: seq=3 ttl=62 time=0.414 ms
可以看出兩個容器之間是可以ping通的。
root@node-2:~# tcpdump -i docker0 -vv
tcpdump: listening on docker0, link-type EN10MB (Ethernet), capture size 262144 bytes
02:03:50.054787 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 10.100.50.1 tell 10.100.50.2, length 28
02:03:50.054807 ARP, Ethernet (len 6), IPv4 (len 4), Reply 10.100.50.1 is-at 02:42:d0:bc:0a:1f (oui Unknown), length 28
02:03:50.054811 IP (tos 0x0, ttl 64, id 52386, offset 0, flags [DF], proto ICMP (1), length 84)
10.100.50.2 > 10.100.83.2: ICMP echo request, id 3072, seq 0, length 64
02:03:50.055149 IP (tos 0x0, ttl 62, id 59405, offset 0, flags [none], proto ICMP (1), length 84)
10.100.83.2 > 10.100.50.2: ICMP echo reply, id 3072, seq 0, length 64
02:03:51.055498 IP (tos 0x0, ttl 64, id 52420, offset 0, flags [DF], proto ICMP (1), length 84)
10.100.50.2 > 10.100.83.2: ICMP echo request, id 3072, seq 1, length 64
02:03:51.055792 IP (tos 0x0, ttl 62, id 59524, offset 0, flags [none], proto ICMP (1), length 84)
10.100.83.2 > 10.100.50.2: ICMP echo reply, id 3072, seq 1, length 64
02:03:52.056381 IP (tos 0x0, ttl 64, id 52433, offset 0, flags [DF], proto ICMP (1), length 84)
root@node-2:~# tcpdump -i ens33 -n icmp -vv
tcpdump: listening on ens33, link-type EN10MB (Ethernet), capture size 262144 bytes
02:04:57.146397 IP (tos 0x0, ttl 63, id 59135, offset 0, flags [DF], proto ICMP (1), length 84)
172.16.112.133 > 10.100.83.2: ICMP echo request, id 5888, seq 0, length 64
02:04:57.146785 IP (tos 0x0, ttl 63, id 8507, offset 0, flags [none], proto ICMP (1), length 84)
10.100.83.2 > 172.16.112.133: ICMP echo reply, id 5888, seq 0, length 64
02:04:58.148039 IP (tos 0x0, ttl 63, id 59199, offset 0, flags [DF], proto ICMP (1), length 84)
172.16.112.133 > 10.100.83.2: ICMP echo request, id 5888, seq 1, length 64
02:04:58.148295 IP (tos 0x0, ttl 63, id 8744, offset 0, flags [none], proto ICMP (1), length 84)
10.100.83.2 > 172.16.112.133: ICMP echo reply, id 5888, seq 1, length 64
02:04:59.148941 IP (tos 0x0, ttl 63, id 59359, offset 0, flags [DF], proto ICMP (1), length 84)
對比 docker0 和 ens33 上的抓包情況可以看出，原始的 ICMP 報文在從 host2 上，經(jīng)過了一次SNAT，源IP從容器IP替換成了主機IP
root@node-2:~# iptables -t nat -S ... -A POSTROUTING -s 10.100.50.0/24 ! -o docker0 -j MASQUERADE ...
在 host-gw 模式中，host3 上 Flannel 啟動后，F(xiàn)lannel 會在 host2 上增加一條路由如下，即為 host3 上分配的網(wǎng)段設置下一條網(wǎng)關172.16.112.130.這樣，所有在 host2 上，所有目的地址是 host3 上容器IP的報文的下一條都為 host3，且從本地的ens33網(wǎng)卡發(fā)出。
root@node-2:~# ip route ... 10.100.83.0/24 via 172.16.112.130 dev ens33 ...
同理，在 host3 上也有相應的路由設置，為目的地址為 host2 所分網(wǎng)段的報文設置下一跳網(wǎng)關
root@node-3:~# ip route ... 10.100.50.0/24 via 172.16.112.133 dev ens33 ...udp 模式
在 host1 上，編輯 flannel 的網(wǎng)絡配置文件，并將配置重新寫入 etcd，為了區(qū)別，將IP資源池換成 10.101.0.0/16
root@node-1:~# etcdctl set /docker-subnet/network/config < /etc/flannel-config.json
{
"Network":"10.101.0.0/16",
"SubnetLen":24,
"Backend":{
"Type":"udp"
}
}
在 host2 和 host3 上重啟flannel服務，執(zhí)行mk-docker-opts.sh腳本，重啟 docker 服務
root@node-2:~# systemctl restart flanneld.service root@node-2:~# cat /run/flannel/subnet.env FLANNEL_NETWORK=10.101.0.0/16 FLANNEL_SUBNET=10.101.83.1/24 FLANNEL_MTU=1472 FLANNEL_IPMASQ=false root@node-2:~# mk-docker-opts.sh root@node-2:~# systemctl restart docker
host2 分配到 10.101.83.1/24 網(wǎng)段， bbox2 上eth0分配的IP地址為 10.101.83.2/24
host3 分配到 10.101.12.1/24 網(wǎng)段， bbox3 上eth0分配的IP地址為 10.101.12.2/24
查看host2上的路由表
root@node-2:~# ip route default via 172.16.112.2 dev ens33 proto static metric 100 10.101.0.0/16 dev flannel0 proto kernel scope link src 10.101.83.0 10.101.83.0/24 dev docker0 proto kernel scope link src 10.101.83.1 ......
注意其中第2條，它表示目的地址是 10.101.0.0/16網(wǎng)段 (排除10.101.83.0/24網(wǎng)段) 的報文都要經(jīng)過 flannel0 設備轉發(fā)，那么flannel0 是什么?
