資訊專欄INFORMATION COLUMN
摘要：使用相同網橋的容器有自己的子網，并且可以相互通信默認情況下。在虛擬接口上來自主機的流量捕獲將顯示容器在特定子網上發送的所有流量規則用于阻止不同的網絡有時網絡中的主機使用過濾器表進行通信。
我使用docker至今已有一段時間了，與絕大部分的人一樣，我被docker強大的功能和易用性深深的折服。簡單方便是docker的核心之一，它強大的功能被抽象成了非常簡單的命令。當我在使用和學習docker的時候，我很想知道docker在后臺都做了一些什么事情，特別是在網絡這一塊（我最感興趣的一塊）
我找到了很多關于創建和操作容器網絡的文檔，但是關于docker如何使網絡工作的卻沒有那么多。 Docker廣泛使用linux iptables和網橋接口，這篇文章是我如何用于創建容器網絡的總結，大部分信息來自github上的討論，演示文稿，以及我自己的測試。文章結尾我會給出我認為非常有用的資料鏈接。
我寫這篇文章使用的是docker 1.12.3,但這不是作為對docker網絡的全面描述，也不作為docker網絡的介紹。我只希望這篇文章能給大家開拓視野，也非常感謝所有對文章錯誤，缺失的反饋和批評。
Docker網絡概覽Docker的網絡建立在允許任何一方編寫自己的網絡驅動程序的容器網絡模型（CNM）之上。這允許不同的網絡類型可用于在docker引擎上運行的容器，并且容器可以同時連接到多個網絡。除了各種第三方網絡驅動程序可用，docker自帶四個內置網絡驅動程序：
Bridge: 這是啟動容器的默認網絡。通過docker主機上的網橋接口實現連接。 使用相同網橋的容器有自己的子網，并且可以相互通信（默認情況下）。
Host:這個驅動程序允許容器訪問docker主機自己的網絡空間（容器將看到和使用與docker主機相同的接口）。
Macvlan:此驅動程序允許容器直接訪問主機的接口或子接口（vlan）。 它還允許中繼鏈接。
Overlay：此驅動程序允許在運行docker的多個主機（通常是docker群集群）上構建網絡。 容器還具有自己的子網和網絡地址，并且可以直接相互通信，即使它們在不同的物理主機上運行。
Bridge和Overlay可能是最常用的網絡驅動程序，在本文和下一篇文章中我將主要關注這兩個驅動程序。
Docker Bridge 網絡在docker主機上運行的容器的默認網絡是。 Docker在首次安裝時創建一個名為“bridge”的默認網絡。 我們可以列出所有docker網絡來查看此網絡 docker network ls：
$ docker network ls NETWORK ID NAME DRIVER SCOPE 3e8110efa04a bridge bridge local bb3cd79b9236 docker_gwbridge bridge local 22849c4d1c3a host host local 3kuba8yq3c27 ingress overlay swarm ecbd1c6c193a none null local
要檢查其屬性，運行docker network inspect bridge
$ docker network inspect bridge
[
{
"Name": "bridge",
"Id": "3e8110efa04a1eb0923d863af719abf5eac871dbac4ae74f133894b8df4b9f5f",
"Scope": "local",
"Driver": "bridge",
"EnableIPv6": false,
"IPAM": {
"Driver": "default",
"Options": null,
"Config": [
{
"Subnet": "172.18.0.0/16",
"Gateway": "172.18.0.1"
}
]
},
"Internal": false,
"Containers": {},
"Options": {
"com.docker.network.bridge.default_bridge": "true",
"com.docker.network.bridge.enable_icc": "true",
"com.docker.network.bridge.enable_ip_masquerade": "true",
"com.docker.network.bridge.host_binding_ipv4": "0.0.0.0",
"com.docker.network.bridge.name": "docker0",
"com.docker.network.driver.mtu": "1500"
},
"Labels": {}
}
]
你還可以使用docker network create命令并指定選項--driver bridge創建自己的網絡，例如
docker network create --driver bridge --subnet 192.168.100.0/24 --ip-range 192.168.100.0/ 24 my-bridge-network創建另一個網橋網絡，名稱為“my-bridge-network”，子網為192.168.100.0/24。
docker創建的每個網橋網絡由docker主機上的網橋接口呈現。、 默認橋網絡“bridge”通常具有與其相關聯的接口docker0，并且使用docker network create命令創建的每個后續網橋網絡將具有與其相關聯的新接口。
$ ifconfig docker0
docker0 Link encap:Ethernet HWaddr 02:42:44:88:bd:75
inet addr:172.18.0.1 Bcast:0.0.0.0 Mask:255.255.0.0
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
要找到與你創建的docker網絡關聯的linux接口，可以使用ifconfig列出所有接口，然后找到你指定了子網的接口，例如，我們想查看我們之前創建的網橋接口my-bridge-network 我們可以這樣：
$ ifconfig | grep 192.168.100. -B 1
br-e6bc7d6b75f3 Link encap:Ethernet HWaddr 02:42:bc:f1:91:09
inet addr:192.168.100.1 Bcast:0.0.0.0 Mask:255.255.255.0
linux橋接接口與交換機的功能類似，因為它們將不同的接口連接到同一子網，并根據MAC地址轉發流量。 我們將在下面看到，連接到網橋網絡的每個容器將在docker主機上創建自己的虛擬接口，并且docker引擎將同一網絡中的所有容器連接到同一個網橋接口，這將允許它們與彼此進行通信。 您可以使用brctl獲取有關網橋狀態的更多詳細信息。
$ brctl show docker0 bridge name bridge id STP enabled interfaces docker0 8000.02424488bd75 no
一旦我們有容器運行并連接到這個網絡，我們將看到interfaces列下面列出的每個容器的接口。 并且在橋接器接口上運行流量捕獲將允許我們看到同一子網上的容器之間的相互通信。
Linux 虛擬網絡接口(veth)容器網絡模型（CNM）允許每個容器具有其自己的網絡空間。 從容器內部運行ifconfig將顯示容器內部的網絡接口：
$ docker run -ti ubuntu:14.04 /bin/bash
root@6622112b507c:/#
root@6622112b507c:/# ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:ac:12:00:02
inet addr:172.18.0.2 Bcast:0.0.0.0 Mask:255.255.0.0
inet6 addr: fe80::42:acff:fe12:2/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:9 errors:0 dropped:0 overruns:0 frame:0
TX packets:6 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:766 (766.0 B) TX bytes:508 (508.0 B)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
然而，上面看到的eth0只能從那個容器中可用，而在Docker主機的外部，docker會創建一個與其對應的雙虛擬接口，并作為到容器外的鏈接。 這些虛擬接口連接到上面討論的橋接器接口，以便于在同一子網上的不同容器之間的連接。
我們可以通過啟動連接到默認網橋的兩個容器來查看此過程，然后查看docker主機上的接口配置。
在運行啟動任何容器之前，docker0 橋接接口沒有連接的接口：
$ sudo brctl show docker0 $ sudo brctl show docker0 bridge name bridge id STP enabled interfaces docker0 8000.02424488bd75 no
然后我從ubuntu:14.04 鏡像啟動2個容器
$ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES a754719db594 ubuntu:14.04 "/bin/bash" 5 seconds ago Up 4 seconds zen_kalam 976041ec420f ubuntu:14.04 "/bin/bash" 7 seconds ago Up 5 seconds stupefied_easley
您能馬上看到現在有兩個接口連接到docker0網橋接口（每個容器一個）
$ sudo brctl show docker0
bridge name bridge id STP enabled interfaces
docker0 8000.02424488bd75 no veth2177159
vethd8e05dd
從其中一個容器ping到google，然后從docker主機對容器的虛擬接口進行流量捕獲，將顯示容器流量
$ docker exec a754719db594 ping google.com PING google.com (216.58.217.110) 56(84) bytes of data. 64 bytes from iad23s42-in-f110.1e100.net (216.58.217.110): icmp_seq=1 ttl=48 time=0.849 ms 64 bytes from iad23s42-in-f110.1e100.net (216.58.217.110): icmp_seq=2 ttl=48 time=0.965 ms ubuntu@swarm02:~$ sudo tcpdump -i veth2177159 icmp tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on veth2177159, link-type EN10MB (Ethernet), capture size 262144 bytes 20:47:12.170815 IP 172.18.0.3 > iad23s42-in-f14.1e100.net: ICMP echo request, id 14, seq 55, length 64 20:47:12.171654 IP iad23s42-in-f14.1e100.net > 172.18.0.3: ICMP echo reply, id 14, seq 55, length 64 20:47:13.170821 IP 172.18.0.3 > iad23s42-in-f14.1e100.net: ICMP echo request, id 14, seq 56, length 64 20:47:13.171694 IP iad23s42-in-f14.1e100.net > 172.18.0.3: ICMP echo reply, id 14, seq 56, length 64
同樣，我們可以從一個容器平到另一個容器。
首先，我們需要獲取容器的IP地址，這可以通過在容器中運行ifconfig或使用docker inspect命令檢查容器來完成：
$ docker inspect -f "{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}" a754719db594
172.18.0.3
然后我們從一個容器ping另一個容器
$ docker exec 976041ec420f ping 172.18.0.3 PING 172.18.0.3 (172.18.0.3) 56(84) bytes of data. 64 bytes from 172.18.0.3: icmp_seq=1 ttl=64 time=0.070 ms 64 bytes from 172.18.0.3: icmp_seq=2 ttl=64 time=0.053 ms
要從docker主機看到這個流量，我們可以在對應于容器的任何一個虛擬接口上捕獲，或者我們可以在橋接口（在這個實例中為docker0）上捕獲，顯示所有的容器間通信子網：
$ sudo tcpdump -ni docker0 host 172.18.0.2 and host 172.18.0.3 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on docker0, link-type EN10MB (Ethernet), capture size 262144 bytes 20:55:37.990831 IP 172.18.0.2 > 172.18.0.3: ICMP echo request, id 14, seq 200, length 64 20:55:37.990865 IP 172.18.0.3 > 172.18.0.2: ICMP echo reply, id 14, seq 200, length 64 20:55:38.990828 IP 172.18.0.2 > 172.18.0.3: ICMP echo request, id 14, seq 201, length 64 20:55:38.990866 IP 172.18.0.3 > 172.18.0.2: ICMP echo reply, id 14, seq 201, length 64
沒有直接的方法來找到docker主機上的哪個veth接口鏈接到容器內的接口，但是在各種docker論壇和github中討論了幾種方法。在我看來最簡單的是以下（基于這個解決方案做了稍微的修改），這也取決于ethtool在容器中可訪問
例如：我的系統上運行了3個容器
$ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES ccbf97c72bf5 ubuntu:14.04 "/bin/bash" 3 seconds ago Up 3 seconds admiring_torvalds 77d9f02d61f2 ubuntu:14.04 "/bin/bash" 4 seconds ago Up 4 seconds goofy_borg 19743c0ddf24 ubuntu:14.04 "/bin/sh" 8 minutes ago Up 8 minutes high_engelbart
首先我運行如下命令來獲得peer_ifindex 號
$ docker exec 77d9f02d61f2 sudo ethtool -S eth0
NIC statistics:
peer_ifindex: 16
然后在docker主機上，通過peer_ifindex 找到接口名稱
