摘要：在實踐中，我們開發并上線了網關和負載均衡網關。而負載均衡網關則支持無縫替換傳統交換機實現網關集群，支持一致性，并支持根據任意字段，內存和端口來計算哈希，支持協議。

網絡作為信息時代的重要載體，在云服務的快速發展下形成了獨具特色的“虛擬網絡”服務架構和模式。12月19日，2020中國云網絡峰會于北京順利召開，會上UCloud虛擬網絡VPC負責人陳煌棟給大家帶來了演講《UCloud VPC技術演進之路》，著重介紹了UCloud在虛擬網絡更新迭代過程中遇到的問題以及如何根據軟硬件等方面進行改進的網絡實踐。

UCloud的VPC網絡從2012年上線至今經歷了三次大的技術演進，從最早的經典網絡過渡到VPC網絡，并形成了目前軟硬件一體化的VPC 3.0架構。

早期的經典網絡

和業界的發展歷程類似，在早期，UCloud的數據中心網絡實際以經典網絡為主。云主機和宿主機都位于一個大二層網絡中，網絡轉發依賴linux bridge，而隔離依賴控制面維護的iptables、ebtables規則。

隨著網絡規模不斷擴大，經典網絡也暴露了諸多問題：

• 規模問題：依賴大二層的經典網絡規模受限于廣播域，隨著廣播域擴大，廣播風暴和交換機MAC地址表表項不足都會引起網絡故障，從而限制網絡規模；
• 性能問題：由于轉發依賴linux bridge導致轉發性能不高，且隨著iptables隔離規則的增加導致匹配效率變差，引起性能問題；
• 組網問題：由于經典網絡統一分配IP地址，導致客戶無法決定自己的網絡結構和網絡地址空間；同時由于IP不能復用，導致地址空間不足。

VPC 2.0架構：基于SDN技術實現的VPC網絡

正是存在以上問題，UCloud在2016年底開發并上線了基于VPC 2.0架構的VPC網絡，并最終幫助客戶無縫遷移到了VPC網絡。

在VPC 2.0架構中，我們基于SDN技術實現了網絡的虛擬化，通過在轉發平面引入OpenVSwitch和OpenFlow完成Overlay流量的轉發與隔離，在控制平面開發了SDN 控制器來完成Flow的管理。

在VPC 2.0中，我們通過Packet-In和Push相結合的方式來下發Flow規則。主動推送路由表、ACL相關的Flow，而點到點轉發的Flow則依賴Packet-In機制上送到控制器完成Flow的下發。

此外，我們基于DPDK技術開發了諸多東西向和南北向網關，比如負載均衡網關、混合云網關、裸金屬物理云網關等，這些網關會和VPC進行直接交互來完成流量的轉發，實現VPC到異構網絡訪問。

在VPC 2.0的長期運營中，我們也發現了諸多問題：

• Packet-In機制導致首包時延：新建通信必須經過控制器計算才能完成Flow下發，導致首包存在轉發時延，影響客戶體驗。而隨著K8S、Serverless類的容器應用興起，這部分時延對業務的影響會更大；
• 轉發面和控制面流量耦合：正是因為Packet-In機制導致轉發面的流量和控制面流量互相耦合，從而導致網絡中的諸多DDoS攻擊、內網掃描流量會穿透到控制面，從而對控制面造成巨大壓力，影響服務穩定性；
• 異構網絡耦合：在VPC 2.0架構中VPC需要和各個異構網絡直接通信，因此各網關都需要感知VPC的路由細節，從而導致VPC控制面邏輯分散，網絡邊界變大，上線新特性往往牽一發而動全身，導致迭代周期變長；
• OVS轉發性能不足：ovs轉發依賴linux內核，而linux內核并非為網絡轉發所設計，存在較多的鎖和隊列，導致轉發性能不足。

VPC 3.0架構：軟硬件一體化的新一代VPC網絡

為了解決VPC 2.0下的這些問題，我們做了很多虛擬網絡技術方面的探索和改進，最終形成了軟硬件一體化的VPC 3.0架構。

在VPC 3.0架構中，最大的特點就是軟硬件協同，轉發面引入了非常多的轉發網元，包括內核版ovs、硬件卸載版ovs、智能網卡、P4和DPDK等，因此如何適配諸多轉發面網元并保持良好的擴展性是控制面需要考慮的重要問題。

網元適配

在VPC 3.0控制平面中，我們引入了模型層(Model Layer)、中臺層(Middle Layer)、映射層(Mapping Layer)和推送層(DataPath Layer)等概念和服務。在適配網元時，統一的業務對象（如Subnet）會在模型層生成，并在中臺層被路由給映射層，在映射層完成業務對象到不同網元對象的映射，如OpenFlow對象、P4對象、TC對象。

而后網元對象會再次經過中臺層路由給推送層。推送層則關心具體的轉發網元，實現高效、高性能的轉發對象推送。

動態學習

為了解決VPC 2.0架構中的Packet-In問題，我們引入了主動推送和動態學習相結合的Flow下發方式，以完成Flow的高效下發。我們基于P4和可編程芯片開發了VPC網關BGW，BGW會和位于計算節點的Datapath Controller運行DCP(Datapath Control Protocol)協議來完成流表的學習和流量的offload。

具體實現原理是：當ovs既有規則無法滿足轉發時，通過默認Flow轉發給BGW，而BGW除了正確將流量轉發至目的地之外，也會按照DCP協議構造一個UDP報文發送給源端Datapath Controller，而Controller也會根據該報文學習到下發Flow所需的關鍵信息，因此實現Flow的動態學習和流量從BGW向ovs的offload。

相比于VPC 2.0的Packet-In機制，動態學習帶來了以下好處：

• 流表學習發生在轉發面，性能遠高于控制面下發；
• 流表學習期間流量仍可由BGW正常轉發，不影響業務，無首包時延；
• 相比于全量推送，流表按需學習可以極大降低推送Flow的數量，提升推送的性能。

控制面中臺

此外我們構建了控制平面的中臺能力，通過中臺層實現了諸多通用能力，包括對象路由、一致性緩存、對象分片、對象灰度等，使得在開發不同產品、適配不同轉發面時都可以快速復用這些已經定義良好、實現良好的通用能力，以此提高控制面的可靠性和性能。

硬件卸載

在轉發面演進中，我們也從軟件逐步過渡到硬件。從早期的kernel bridge和kernel ovs轉發，逐步切換到目前的硬件卸載ovs、智能網卡等硬件網元來加速轉發性能。在快杰云主機中，通過卸載ovs，將網絡轉發能力提升到25G帶寬、1000w pps和10G外網帶寬。

同時，網關也逐漸從DPDK技術演進到目前基于P4的可編程芯片。在P4實踐中，我們開發并上線了VPC網關BGW和負載均衡網關CGW。VPC網關主要支持VPC內的二三層流量轉發和ARP代答，并支持Flow Offload。而負載均衡網關則支持無縫替換傳統交換機ECMP實現網關集群，支持一致性hash（Maglev Hashing），并支持根據任意字段（vni，內存ip和端口）來計算哈希，支持ipv4/ipv6 overlay協議。對于CGW的使用場景之一就是實現網關集群的sharding和灰度。

異構網絡

在VPC 3.0架構中，我們通過引入UXR這樣的中心化網關來完成異構網絡的解耦，使得異構網絡在和VPC通信時可以彼此解耦，無需關心VPC的網絡細節，從而縮小網絡邊界，使得網絡更內聚。

此外，我們也引入了VPC網關來實現VPC內的流量轉發和流表的動態學習。

同時，裸金屬物理云產品也向智能網卡演進，我們基于智能網卡實現了kernel ovs的卸載和NVGRE隧道的卸載，并通過bonding技術提升網絡帶寬至40G。

服務架構：微服務化

在服務架構中，我們也從單體架構逐步演進到微服務架構。

在單體架構中，我們是基于自有框架和TCP、ProtoBuf實現的分布式系統，在長期維護過程中也出現諸多問題：

• 邏輯復雜：隨著產品規模的增加和迭代，導致應用邏輯變得越來越復雜，單體應用變得“大而全”，迭代周期變長，靈活性變差；
• 擴縮容能力差：同時服務的部署和管理較為傳統，擴縮容能力較差；
• 流程管理復雜：由于RPC調用是基于TCP和Protobuf，因此流量管理成本較高。為了實現灰度我們開發了內部灰度網關，為了支持業務重試、限流等邏輯也需要在代碼內部實現。

因此，我們按照服務邊界進行了拆分，將單體應用拆分成微服務，并引入了Istio、Kubernetes、gRPC等框架和組件。

在微服務架構中，我們取得了如下優點：

• 服務內聚，迭代速度快：在拆分的過程中，單個微服務邏輯足夠內聚，足夠簡單，從而使得服務迭代速度更快，更易于灰度；
• 彈性伸縮能力強：通過借助kubernetes可以實現良好的彈性伸縮和部署能力；
• 精細化灰度能力：通過借助Istio，我們可以實現精細化的灰度能力，包括基于流量比例、客戶、客戶級別、VPC、甚至是VM級別的請求灰度；
• 基于Isito的流量管理：通過Istio我們在sidecar節點實現了對流量的管理，包括重試、限流、熔斷等等。

在微服務化的過程中我們也遇到了很多挑戰，維護一個大型微服務系統會給整體服務帶來更多的復雜性和不確定性，也更考驗我們的服務治理能力，因此微服務化的背后我們也做了很多努力。

Telemetry和故障定位

隨著云計算的發展，云網絡的規模也在不斷擴大，為了在日益復雜的云網絡環境中定位網絡問題，我們往往要回答內網流量追蹤的三大痛點：

• 通信是否正常：端到端的通信狀態是否正常，是否有故障，故障發生在哪？
• 時延是否正常：端到端的通信時延是否正常？
• 流量走了哪條路徑：如何在諸多ECMP和Hash中確定流量的實際路徑？

為了解決以上問題，我們設計和開發了UCloud的全鏈路的高性能探測系統。

該系統的最大的特點是對網元的要求非常小，只需要overlay/underlay網元支持流量鏡像、ERSPAN即可，而無需可編程能力。通過將INT Packet（特殊染色的TCP報文）在各網元的出入向鏡像給Telemetry Cluster，我們可以構建出端到端的報文bitmap，并據此分析出通信結果（通信是否正常、是否丟包、丟在了哪里）、端到端的近似時延、以及端到端的實際通信鏈路。

此外，配合我們的活躍流分析系統，可以實現VPC內的活躍流快速探測。在變更時我們可以通過這樣的機制快速驗證變更前后的活躍流通信狀態、通信鏈路是否發生異常，從而快速、可靠的發現潛在問題。

總結

在最新的VPC3.0架構下，UCloud VPC支持高性能網絡轉發（內網包量最高可達1000萬PPS，單個EIP支持最大10Gb外網帶寬），除IPv4外，UCloud VPC也提供了對IPv6的原生支持，幫助客戶快速構建IPv6 VPC網絡。同時，通過ACL和安全組的支持，用戶可以實現對VPC內資源細粒度的安全訪問控制。

未來，UCloud VPC團隊將密切關注網絡相關的軟硬件發展，并消化吸收符合自身需求的新技術，持續為用戶打造安全、穩定、高性能的VPC云服務。