摘要：今天主要針對版本進行源碼分析。外部接口的定義如下創建子網管理器負責子網的創建更新添加刪除監聽等，主要和打交道定義續約。在到期之前，子網管理器調用該方法進行續約。

之前在k8s與網絡--Flannel解讀一文中，我們主要講了Flannel整體的工作原理。今天主要針對Flannel v0.10.0版本進行源碼分析。首先需要理解三個比較重要的概念：

網絡（Network）：整個集群中分配給 flannel 要管理的網絡地址范圍

子網（Subnet）：flannel 所在的每臺主機都會管理 network 中一個子網，子網的掩碼和范圍是可配置的

后端（Backend）：使用什么樣的后端網絡模型，比如默認的 udp，還是 vxlan 等

整體的代碼組織如下：

除了可執行文件的入口 main.go之外，有backend，network，pkg和subnet這么幾個代碼相關的文件夾。

network主要是iptables相關。主要是供main函數根據設置進行MasqRules和ForwardRules規則的設定。

pkg主要是抽象封裝的ip功能庫。

backed 主要是后端實現，目前支持 udp、vxlan、host-gw 等。

subnet 子網管理。主要支持etcdv2和k8s兩種實現。

從main函數開始分析，主要步驟如下：

if opts.subnetLeaseRenewMargin >= 24*60 || opts.subnetLeaseRenewMargin <= 0 {
        log.Error("Invalid subnet-lease-renew-margin option, out of acceptable range")
        os.Exit(1)
    }

需要小于等于24h，大于0。

假如主機有多個網卡，flannel會使用哪一個？
這就和咱們前面提到的iface和iface-regex兩個參數有關。這兩個參數每一個可以指定多個。flannel將按照下面的優先順序來選取：
1) 如果”–iface”和”—-iface-regex”都未指定時，則直接選取默認路由所使用的輸出網卡

2) 如果”–iface”參數不為空，則依次遍歷其中的各個實例，直到找到和該網卡名或IP匹配的實例為止

3) 如果”–iface-regex”參數不為空，操作方式和2)相同，唯一不同的是使用正則表達式去匹配

最后，對于集群間交互的Public IP，我們同樣可以通過啟動參數”–public-ip”進行指定。否則，將使用上文中獲取的網卡的IP作為Public IP。

外部接口的定義如下：

type ExternalInterface struct {
    Iface     *net.Interface
    IfaceAddr net.IP
    ExtAddr   net.IP
}

func newSubnetManager() (subnet.Manager, error) {
    if opts.kubeSubnetMgr {
        return kube.NewSubnetManager(opts.kubeApiUrl, opts.kubeConfigFile)
    }

    cfg := &etcdv2.EtcdConfig{
        Endpoints: strings.Split(opts.etcdEndpoints, ","),
        Keyfile:   opts.etcdKeyfile,
        Certfile:  opts.etcdCertfile,
        CAFile:    opts.etcdCAFile,
        Prefix:    opts.etcdPrefix,
        Username:  opts.etcdUsername,
        Password:  opts.etcdPassword,
    }

    // Attempt to renew the lease for the subnet specified in the subnetFile
    prevSubnet := ReadSubnetFromSubnetFile(opts.subnetFile)

    return etcdv2.NewLocalManager(cfg, prevSubnet)
}

子網管理器負責子網的創建、更新、添加、刪除、監聽等，主要和 etcd 打交道,定義：

type Manager interface {
    GetNetworkConfig(ctx context.Context) (*Config, error)
    AcquireLease(ctx context.Context, attrs *LeaseAttrs) (*Lease, error)
    RenewLease(ctx context.Context, lease *Lease) error
    WatchLease(ctx context.Context, sn ip.IP4Net, cursor interface{}) (LeaseWatchResult, error)
    WatchLeases(ctx context.Context, cursor interface{}) (LeaseWatchResult, error)

    Name() string
}

RenewLease 續約。在lease到期之前，子網管理器調用該方法進行續約。

GetNetworkConfig 獲取本機的subnet配置，進行一些初始化的工作。

config, err := getConfig(ctx, sm)
    if err == errCanceled {
        wg.Wait()
        os.Exit(0)
    }

這個配置主要是管理網絡的配置，需要在flannel啟動之前寫到etcd中。例如：

{
    "Network": "10.0.0.0/8",
    "SubnetLen": 20,
    "SubnetMin": "10.10.0.0",
    "SubnetMax": "10.99.0.0",
    "Backend": {
        "Type": "udp",
        "Port": 7890
    }
}

/coreos.com/network/config 保存著上面網絡配置數據。
詳細解讀一下：

SubnetLen表示每個主機分配的subnet大小，我們可以在初始化時對其指定，否則使用默認配置。在默認配置的情況下，如果集群的網絡地址空間大于/24，則SubnetLen配置為24，否則它比集群網絡地址空間小1，例如集群的大小為/25，則SubnetLen的大小為/26

SubnetMin是集群網絡地址空間中最小的可分配的subnet，可以手動指定，否則默認配置為集群網絡地址空間中第一個可分配的subnet。

SubnetMax表示最大可分配的subnet

BackendType為使用的backend的類型，如未指定，則默認為“udp”

Backend中會包含backend的附加信息，例如backend為vxlan時，其中會存儲vtep設備的mac地址

    bm := backend.NewManager(ctx, sm, extIface)
    be, err := bm.GetBackend(config.BackendType)
    if err != nil {
        log.Errorf("Error fetching backend: %s", err)
        cancel()
        wg.Wait()
        os.Exit(1)
    }

    bn, err := be.RegisterNetwork(ctx, config)
    if err != nil {
        log.Errorf("Error registering network: %s", err)
        cancel()
        wg.Wait()
        os.Exit(1)
    }

...

log.Info("Running backend.")
    wg.Add(1)
    go func() {
        bn.Run(ctx)
        wg.Done()
    }()

backend管理器

type manager struct {
    ctx      context.Context
    sm       subnet.Manager
    extIface *ExternalInterface
    mux      sync.Mutex
    active   map[string]Backend
    wg       sync.WaitGroup
}

主要是提供了GetBackend(backendType string) (Backend, error)方法，根據配置文件的設置backend標志，生產對應的backend。
此處注意

    go func() {
        <-bm.ctx.Done()

        // TODO(eyakubovich): this obviosly introduces a race.
        // GetBackend() could get called while we are here.
        // Currently though, all backends" Run exit only
        // on shutdown

        bm.mux.Lock()
        delete(bm.active, betype)
        bm.mux.Unlock()

        bm.wg.Done()
    }()

在生產backend以后，會啟動一個協程，在flanneld退出運行之前，將會執行激活的backend map中刪除操作。

最后run方法：

func (n *RouteNetwork) Run(ctx context.Context) {
    wg := sync.WaitGroup{}

    log.Info("Watching for new subnet leases")
    evts := make(chan []subnet.Event)
    wg.Add(1)
    go func() {
        subnet.WatchLeases(ctx, n.SM, n.SubnetLease, evts)
        wg.Done()
    }()

    n.routes = make([]netlink.Route, 0, 10)
    wg.Add(1)
    go func() {
        n.routeCheck(ctx)
        wg.Done()
    }()

    defer wg.Wait()

    for {
        select {
        case evtBatch := <-evts:
            n.handleSubnetEvents(evtBatch)

        case <-ctx.Done():
            return
        }
    }
}

run方法中主要是執行：

subnet 負責和 etcd 交互，把 etcd 中的信息轉換為 flannel 的子網數據結構，并對 etcd 進行子網和網絡的監聽；

backend 接受 subnet 的監聽事件，并做出對應的處理。

事件主要是subnet.EventAdded和subnet.EventRemoved兩個。
添加子網事件發生時的處理步驟：檢查參數是否正常，根據參數構建路由表項，把路由表項添加到主機，把路由表項添加到自己的數據結構中。

刪除子網事件發生時的處理步驟：檢查參數是否正常，根據參數構建路由表項，把路由表項從主機刪除，把路由表項從管理的數據結構中刪除

除了上面的核心的邏輯，還有一些iptables規則和SubnetFile相關的操作。

// Set up ipMasq if needed
    if opts.ipMasq {
        go network.SetupAndEnsureIPTables(network.MasqRules(config.Network, bn.Lease()))
    }

    // Always enables forwarding rules. This is needed for Docker versions >1.13 (https://docs.docker.com/engine/userguide/networking/default_network/container-communication/#container-communication-between-hosts)
    // In Docker 1.12 and earlier, the default FORWARD chain policy was ACCEPT.
    // In Docker 1.13 and later, Docker sets the default policy of the FORWARD chain to DROP.
    go network.SetupAndEnsureIPTables(network.ForwardRules(config.Network.String()))

可以看出主要是調用了network文件里的SetupAndEnsureIPTables方法。
PS
在Docker 1.13及更高版本中，Docker設置了FORWARD的默認策略是drop,所以需要flannel做一些工作。