摘要：在上篇基于技術構建新一代骨干網智能可靠可調度一中提到了數據中心野蠻式增長給網絡和骨干網帶來了極大挑戰以及骨干網的演進路線技術部分原理介紹。介紹完整個骨干網的架構設計后，我們將分別針對骨干網的智能可靠可調度三大特性進行剖析。

在上篇《基于Segment Routing技術構建新一代骨干網：智能、可靠、可調度（一）》中提到了UCloud數據中心野蠻式增長給MAN網絡和骨干網帶來了極大挑戰以及UCloud骨干網1.0、2.0的演進路線、SR技術部分原理介紹。本文將重點介紹UCloud如何通過Segment Routing技術改進控制面和轉發面，實現智能、可靠、可調度的新一代骨干網。

新一代骨干網架構

設計目標：

• 控制器智能計算路徑和頭端自動計算路徑：控制器實時收集轉發設備狀態信息，響應轉發節點路徑計算請求和路徑下發。
• 全場景接入，實現靈活組網：支持用戶本地專線、互聯網線路混合接入方式，實現用戶靈活組網。
• 多維度SLA路徑規劃：滿足多業務不同路徑轉發需求，確保關鍵業務的優先級和服務質量。
• 降低專線成本，提高整體專線利用率：廢除骨干網2.0中的VXLAN技術，縮減包頭開銷，降低專線成本；通過智能流量調度合理規劃專線容量。
• 流量可視化，按需調度：通過telemetry和netflow技術實現骨干網流量可視化，針對部分“熱點流量”和“噪聲流量”進行按需調度。

整體架構如下：

新一代骨干網主要包括三大組件：智能控制器、骨干邊界轉發PE、接入側轉發CPE&VPE：

控制器：對全網轉發PE、CPE、VPE等設備進行統一的資源管理、信息收集、配置下發，監控告警以及路徑計算規劃，實現全網資源的統一調度和管理。

骨干網邊界：全網PE和RR組成SR-TE骨干網核心層，用于實現多路徑轉發，流量調度；骨干網邊界對外主要接入CPE、M-Core、VPE&VCPE等設備。

接入側邊界：接入側分為三種設備類型：CPE、M-Core、VPE&VCPE。

CPE：主要用于接入本地專線客戶；

M-Core：公有云MAN網絡核心，實現各城域網接入骨干網；

VPE：通過Internet或者4G/5G網絡接入用戶分支機構的VCPE設備，提供用戶混合組網能力。

近年來，云數據中心SDN網絡設計思路大行其道，其主要思想是轉控分離，轉控分離好處不用多說，當然也有其弊端；SDN數據中心網絡中的控制面故障有太多血的教訓，控制面故障帶來的轉發面影響也是重大的；畢竟轉發面才是真正承載客戶業務的地方，所以我們在設計新一代骨干網時需要考慮控制器故障時，如何保持轉發層面的獨立可用性。

接下來將介紹基于SR技術骨干網的控制面和轉發面的設計實現原理。

控制面設計

新一代骨干網的控制面主要包括兩個方面：

一、智能控制器；

二、 SR-TE骨干網路由設計控制面。

01、智能控制器

控制器的主要架構設計如下：

整個控制器的目標為實現一致的配置下發與可擴展的調度策略。基于設備全球部署的特點以及網絡并非百分之百穩定的前提，該系統采用了數據層跨地域部署，同時為了兼顧正常情況下控制器的快速響應，控制節點采用了分機房的集群部署方式來保證業務的可靠性與高效的調度能力；上層控制系統通過BGP-LS、Telemetry技術采集轉發鏈路狀態信息，收集到數據庫，之后對采集到的數據進行分析處理，最后通過netconf和PCEP方式下發配置和智能計算路徑。

其中數據采集主要包括：

• 基本的IGP拓撲信息（節點、鏈路、IGP度量值）
• BGP EPE（Egress peer Engineering）信息
• SR信息（SRGB、Prefix-SID、Adj-SID、Anycast-SID等）
• TE鏈路屬性（TE度量、鏈路延遲度量、顏色親和屬性等）
• SR Policy信息（頭端、端點、顏色、Segment列表、BSID等）

Netconf和PCEP主要用于配置下發和路徑計算：

• 頭端向控制器請求路徑計算；控制器針對收到路徑計算請求進行路徑計算
• 頭端從控制器學到路徑，控制器通過PCEP向頭端傳遞路徑信息
• 頭端向控制器報告其本地的SR Policy

實現能力如下：

• 快速的故障響應：由于內部自定義的算法需求，在線路或者節點出現問題時，需要重新計算整張拓撲，以避開故障鏈路；
• 快速實現手動故障域隔離：借助架構的優勢，實現所有流量在線路級別與節點級別的隔離；
• 快速自定義調優路徑：可以根據客戶的需求快速將客戶流量引導到任意路徑上，保證客戶各類路徑需求；
• 客戶流量秒級實時監控：可監控流級別的客戶故障，并實現故障情況下的路徑保護；

02、SR-TE骨干網控制面

為了實現用戶L2和L3接入場景需求，在骨干網規劃設計了基于MP-BGP的L3VPN和BGP-EVPN的L2VPN，下面來做一個簡單的介紹。

MP-BGP

新一代基于SR技術的骨干網采用了MPLS-VPN的技術特性，大致需要如下組件：

• 首先需要在MPLS VPN Backbone內采用一個IGP（IS-IS）來打通核心骨干網絡的內部路由；
• PE上創建VRF實例，與不同的VRF客戶對接，VPN實例關聯RD及RT值，并且將相應的端口添加到對應的VRF實例；
• PE上基于VRF實例運行PE-CPE&VPE、M-Core間的路由協議，從CPE&VPE、M-Core學習到站點內的VRF路由；
• PE與RR之間，建立MP-IBGP連接，PE將自己從CE處學習到的路由導入到MP-IBGP形成VPNv4的前綴并傳遞給對端PE，并且也將對端PE發送過來的VPNv4前綴導入到本地相應的VRF實例中；
• 為了讓數據能夠穿越MPLS VPN Backbone，所有的核心PE激活MPLS及SR功能。

在傳統的MPLS-VPN技術的基礎上，摒棄LDP，啟用SR功能來分配公網標簽，內層標簽繼續由運行MP-BGP協議的PE設備來分配。

BGP-EVPN

在MPLS網絡中實現用戶L2場景的接入需求，有很多解決方案比如VPLS，但是傳統的VPLS還是有很多問題，比如：不提供 All-Active 雙歸接入，PE流量泛洪可能導致環路風險以及重復數據幀。

為了解決VPLS的問題，我們在新一代骨干網架構中采用了BGP-EVPN協議作為L2網絡的控制面；EVPN網絡和BGP/MPLS IP VPN的網絡結構相似，為了實現各個站點（Site）之間的互通，骨干網上的PE設備建立EVPN實例并接入各個站點的CE設備，同時各個PE之間建立EVPN鄰居關系；由于EVPN網絡與BGP/MPLS IP VPN網絡的不同之處在于各個站點內是二層網絡，因此PE從各個CE學習到的是MAC地址而不是路由，PE通過EVPN特有的路由類型將自己從CE學習到MAC地址轉發到其它Site。

BGP-EVPN有三個比較重要的概念：

1、EVPN Instance (EVI) ：EVPN是一種虛擬私有網絡，在一套物理設備上可以有多個同時存在的EVPN實例，每個實例獨立存在。每個EVI連接了一組或者多組用戶網絡，構成一個或者多個跨地域的二層網絡。

2、Ethernet Segment（ESI）：EVPN技術為PE與某一CE的連接定義唯一的標識ESI（Ethernet Segment Identifier），連接同一CE的多個PE上的ESI值是相同，連接不同CE的ESI值不同。PE之間進行路由傳播時，路由中會攜帶ESI值使PE間可以感知到連接同一CE的其它PE設備。

3、ET（EthernetTag）：每個EVI可以構成一個或者多個二層網絡。當EVI包含了多個二層網絡時，通過Ethernet Tag來區分這些二層網絡。如果我們把二層網絡看成是廣播域的話（Broadcast Domain），那么ET就是用來區分不同廣播域的。

為了不同站點之間可以相互學習對方的MAC信息，因此EVPN在BGP協議的基礎上定義了一種新的NLRI（Network layer Reachability Information，網絡層可達信息），被稱為EVPN NLRI。EVPN NLRI中包含如下幾種常用的EVPN路由類型：

相比較VPLS，EVPN的優勢如下：

1、集成 L2 和 L3 VPN服務；

2、 類似L3VPN的原理和可擴展性和控制性；

3、支持雙歸接入，解決容災和ECMP問題；

4、 可選擇 MPLS，VXLAN作為數據平面；

5、對等PE自動發現， 冗余組自動感應。

BGP-LS

BGP-LS用于收集轉發設備的鏈路狀態信息以及標簽信息，具體規劃如下：

1、所有PE和RR建立BGP-LS鄰居，PE將各自的鏈路信息、標簽信息以及SR Policy狀態傳遞給RR；

2、RR與控制器建立BGP-LS鄰居，將IGP的鏈路狀態信息轉換后上報控制器。

轉發面設計

01、骨干網核心層

骨干網PE設備之間運行ISIS-L2，并開啟SR功能，規劃Node-SID、Adj-SID、Anycast-SID；PE基于環回口與RR建立MP-IBGP鄰居關系，傳遞各站點VPNv4路由，實現L3VPN用戶業務轉發；同時PE采用BGP EVPN作為Overlay路由協議，基于環回口地址建立域內BGP EVPN 鄰居關系，采用SR-TE隧道封裝用戶二層數據，實現L2VPN用戶業務通過SR-TE轉發。

一般分為SR-BE和SR-TE：

SR-BE由兩層標簽組成：內層標簽為標識用戶的VPN標簽，外層標簽為SR分配的公網標簽；

SR-TE由多層標簽組成：內層標簽為標識用戶的VPN標簽，外層標簽為SR-TE標簽，一般由設備頭端計算或者通過控制器下發的標簽棧；

L2用戶通過查找MAC/IP route來實現標簽封裝，L3用戶通過查找VRF中的私網路由來實現標簽封裝。

02、骨干網邊界層

骨干網PE與CPE&VPE以及公有云的M-Core運行EBGP收發用戶路由，通過BGP實現數據轉發；CPE和VPE與接入用戶CE以及VCPE運行EBGP；特別需要注意的是VPE與VCPE是通過Internet建立的BGP，所以需要通過IPsec協議進行數據加密。

介紹完整個骨干網的架構設計后，我們將分別針對骨干網的智能、可靠、可調度三大特性進行剖析。

新一代骨干網三大特性

01、智能

• 控制器統一編排業務場景：

1、分支網絡設備自動化部署，實現控制器自動計算路徑和流量統一調度以及業務編排；

2、控制器通過BGP-LS等收集網絡拓撲、SR-TE信息以及SR Policy信息，并根據業務需求進行路徑計算，然后通過BGP-SR-TE/PCEP等協議將SR Policy下發到頭端節點。

• 頭端自動算路和自動引流：

1、分布式控制面，防止控制器故障帶來的整網癱瘓影響，支持頭端自動引流，廢除復雜的策略引流機制；

2、頭端節點利用IGP攜帶的SR-TE信息和IGP鏈路狀態信息、SR標簽信息等組成SR-TE數據庫，然后基于CSPF算法按照Cost、帶寬、時延、SRLG和不相交路徑等約束條件計算滿足條件的路徑，并安裝相應的SR Policy指導數據包轉發。

• 基于業務場景對網絡靈活切片：

根據業務的SLA要求，可以規劃新的網絡轉發平面，可以將時延敏感型的業務調度到基于延遲切片的網絡轉發平面。

如下為現網當前規劃的兩個網絡切片轉發平面：

• 毫秒級拓撲收斂、鏈路重算、路徑下發：線路故障場景下控制器可以做到毫秒級的拓撲收斂、故障鏈路重算以及備份路徑下發；
• 流級別路徑展示：實現基于數據流級別的路徑查詢和展示。

02、可靠

• 全球核心節點專線組網：節點之間提供運營商級的專線資源，SLA可達99.99%；
• 雙PE節點 Anycast-SID保護：地域級的雙PE配置Anycast-SID標簽，實現路徑的ECMP和快速容災收斂；
• Ti-LFA無環路徑保護：100%覆蓋故障場景，50ms內完成備份路徑切換；
• SR-TE主備路徑保護：SR-TE路徑中規劃主備Segment-List，實現路徑轉發高可用；
• SR-TE路徑快速逃生：SR-TE故障場景下可以一鍵切換到SR-BE轉發路徑（IGP最短路徑轉發）；
• Internet級骨干網備份：為了保障新一代骨干網的高可靠性，在每個地域的PE設備旁路上兩臺公網路由器，規劃了一張1:1的Internet骨干網，當某地域專線故障時可以自動切換到Internet線路上；同時使用Flex-Algo技術基于Internet級骨干網規劃出一張公網轉發平面用于日常管理流量引流。

03、可調度

• 根據五元組，識別并定義應用，支持Per-destination、Per-Flow調度；
• 跨域之間根據應用業務分類定義多條不同類型SR-TE隧道；
• 每種類型隧道定義主備路徑，支持SR-TE一鍵逃生；
• 通過靈活算法定義Delay、帶寬、TCO（鏈路成本）、公網隧道等多種網絡切片平面；
• 智能控制器支持自動下發、自動計算、自動調整、自動引流和自動調度。

當前根據業務需求規劃了如下幾種骨干網調度策略：

IGP：最低開銷轉發，ISIS接口的cost根據點到點之間專線物理距離延遲*100得到；

Delay：最低延遲轉發，ISIS接口配置PM功能，動態探測點到點之間實際延遲；

TCO：最優成本轉發，控制器根據每條專線的實際成本計算出最優成本路徑；

FM：自定義轉發，控制器根據業務臨時需求下發需求路徑；

FBN：公網隧道轉發，每個地域之間提供公網VPN線路，提供備份轉發路徑。

SR Policy中基于Color定義兩種引流方式：

1、Per-Destination引流模板：Color在某種程度上將網絡和業務進行了解耦，業務方可以通過Color來描述更復雜的業務訴求，SR-TE通過Color進行業務關聯。

2、Per-Flow引流模板：通過DSCP標記業務，或者ACL進行流分類映射到Service-Class等級，Service-Class關聯Color進行業務引流。

Color資源規劃

Color屬性在SR-TE中標記路由，用于頭端節點進行靈活引流；新一代骨干網絡設計的流量調度中定義四種Color類型：

默認Color：每個城市節點的用戶路由必須攜帶的Color值，用于引流默認隧道轉發【預埋保留】。

城市Color：每個城市每用戶VRF路由必須攜帶的Color值，用于全局流量調度使用【每個城市默認分配9種相同Color分別關聯到不同的業務】。

業務Color：在Per-flow（基于流分類調度）場景中使用，每個城市的MAN網絡和用戶私網路由標記使用，全局引流作用。

本地Color：在Per-flow（基于流分類調度）場景中結合自用Color使用，映射Service-Class服務等級，關聯到業務模板。

Color分配規則

最佳實踐方案

下面以流調度為例來介紹UCloud骨干網業務基于SR技術結合的最佳實踐方案。

Per-Flow場景下業務模板/Color與Service-Class服務等級關聯

1.Per-Flow流量調度規劃每個城市分配一個業務Color，MAN網絡路由在PE設備上標記各城市業務Color；

2.每個頭端節點PE上定義8種調度策略，對應于不同的業務模板，其中2個業務模板保留；業務模板與Color、Service-Class定義標準的映射關系；

3.點到點的城市之間默認支持2條FM自定義策略（自定義隧道策略）；

4.IGP、Delay使用動態SR Policy，其它隧道采用靜態SR Policy策略；

5.Per-Flow 場景下的endpoint地址支持Anycast-SID，頭端的一臺PE到末端兩臺城市的PE只需要定義一條SR Policy即可；

6.以20個核心城市為例，單個城市的PE Per-Flow的SR Policy數量為19*7=133條。

在規劃中，UCloud基礎網絡團隊根據公有云業務類型將業務進行分類，分類方法是對具體業務進行DSCP標記；然后數據包到了骨干網PE后再根據DSCP進行靈活引流。

業務模板與Service-Class服務等級映射：

我們將骨干網當作一個整體，這個整體的邊界端口使用DSCP和ACL入Service-Class，下面明確定義下何為邊界端口。

邊界端口：

PE連接CPE&VPE、MAN網絡側的接口

DSCP入隊方式：

骨干網邊界端口默認信任接入側用戶的DSCP值，根據相應的DSCP入隊到Service-Class服務

ACL入隊方式：

1.在一些特殊場景下需要針對某些業務通過ACL分類后入隊到Service-Class服務【業務本身無法攜帶DSCP】

2.每種隧道調度策略都可以通過ACL對流進行分類，然后入隊到Service-Class

入隊和轉發流程：

1.在PE上配置流分類，按照業務等級，將不同的DSCP值映射到Service-Class(8種等級)

2.為隧道（Service-Class）配置對應的調度策略

3.業務流在PE設備上會先根據路由迭代看是否選擇隧道（SR Policy），然后再去比對流的DSCP值是否和SR Policy中Service-Class映射設置一致，一致流將從對應隧道通過

4.業務流根據Service-Class中的調度策略進行流量轉發

分類業務和SR-TE隧道映射關系如下：

1、默認所有業務按照規劃的DSCP和調度策略進行關聯；

2、使用ACL實現特殊業務類型進行臨時策略調度。

SR-TE流量工程案例

下面介紹一個SR-TE實際調度的案例分享：

• 業務流量背景

業務高峰時段基礎網絡收到香港-新加坡專線流量突發告警，智能流量分析系統發現突發流量為安全部門在廣州與雅加達節點同步數據庫。

• 調度前流量模型

正常情況下廣州去往雅加達的流量通過IGP最短開銷計算出的路徑為：廣州--->香港--->新加坡--->雅加達，由于香港-新加坡段為出海流量的中轉點，所以經常會在高峰期出現鏈路擁塞情況。

• 傳統流量調度方案

1、基于目標地址流量做逐跳PBR，將大流量業務調度到其它空閑鏈路轉發；

2、基于目的地址的流量進行限速，保障鏈路帶寬。

• 傳統調度存在問題

1、逐跳配置策略路由，配置復雜，運維難度大；

2、粗暴的限速策略有損內部業務。

• SR-TE流量調度方案

Segment 列表對數據包在網絡中的任意轉發路徑進行編碼，可以避開擁塞鏈路，通過SR流量調度后的路徑為：廣州--->北京--->法蘭克福--->新加坡--->雅加達。

• SR-TE流量調度優勢

1、頭端/控制器可以定義端到端轉發路徑，通過標簽轉發；

2、基于業務流進行靈活流量調度（目的地址+業務等級）。

未來演進

上文用很長的篇幅介紹了UCloud骨干網歷史和新一代骨干網架構設計細節，其實當前基于公有云業務調度只能從MAN網絡開始，還不支持從DCN內部開始調度；未來UCloud基礎網絡團隊將設計基于Binding SID技術的公有云業務端到端的流量調度工程，大致規劃如下：

• 骨干網為每個城市的端到端SR-TE隧道分配一個Binding SID，用于數據中心云租戶引流；
• 數據中心宿主機通過VXLAN將租戶流量送到骨干網UGN(公有云跨域網關)；
• UGN解封裝VXLAN報文后，封裝MPLS標簽，內層標簽用于區分租戶，外層標簽用于封裝遠端城市的Binding SID標簽；
• PE設備收到帶有目標城市的Binding SID后，自動引流進對應的SR-TE隧道進行轉發；
• 對端PE收到報文后解封外層MPLS報文，然后轉發給UGN，UGN根據內層標簽和VXLAN的VNI的映射關系進行轉換，最終通過IP轉發至DCN的宿主機上。

總結

UCloud骨干網總體設計目標是智能、可靠、可調度，一方面通過全球專線資源將各Region公有云資源、用戶資源打通；另一方面在接入側支持本地線路+互聯網線路接入，構建骨干網混合組網能力，從而形成了一張穩定且高性能的骨干網，為上層公有云業務、用戶線下、線上資源開通提供可靠的傳輸網絡，整體上來看骨干網是UCloud公有云網絡體系中非常重要的一個組成部分。

UCloud基礎網絡團隊在過去的一年重構新一代骨干網，使其具備了智能、可靠、可調度的能力，從而能夠合理的規劃專線資源，降低了專線成本，且骨干網整體性能得到極大提升。未來UCloud基礎網絡團隊將會繼續緊跟骨干網技術發展潮流，為整個公有云跨域產品提供智能、可靠、可調度的底層網絡。

作者：唐玉柱，UCloud 高級網絡架構師、UCloud新一代骨干網架構規劃項目負責人。擁有豐富的數據中心、骨干網架構設計和運維經驗；目前主要負責UCloud全球數據中心、骨干網架構設備選型、架構設計和規劃。