摘要：本文以標準網(wǎng)絡拓撲圖為基礎進行物理網(wǎng)絡架構描述，本架構設計至少需要臺萬兆交換機臺千兆交換機多臺計算存儲節(jié)點服務器。如需內外網(wǎng)物理隔離且考慮接入冗余，可采用組共臺接入交換機進行業(yè)務部署。

為構建高可用、高可靠、高安全的企業(yè)專有云平臺， UCloudStack 平臺均采用高可用冗余性設計。本文以標準網(wǎng)絡拓撲圖為基礎進行物理網(wǎng)絡架構描述，本架構設計至少需要 6 臺萬兆交換機、2 臺千兆交換機、 多臺計算&存儲節(jié)點服務器。若有 IPMI 管理及網(wǎng)絡設備管理等需求，可根據(jù)需求增加 IPMI 和 Management 交換機并接入網(wǎng)絡。

UCloudStack 平臺網(wǎng)絡設計為核心、接入二層架構，接入交換機雙上聯(lián)到核心，且按計算業(yè)務分集群劃分。本架構設計從業(yè)務場景上提供公網(wǎng)服務，因此整體業(yè)務架構分為內網(wǎng)區(qū)域和外網(wǎng)區(qū)域兩張網(wǎng)絡，分別承載云平臺內網(wǎng)通信和外網(wǎng)通信，兩張網(wǎng)絡在網(wǎng)絡設備層面物理隔離。

2.2.1 架構規(guī)模

標準的網(wǎng)絡架構為單數(shù)據(jù)中心網(wǎng)絡架構，以下述配置為例，單數(shù)據(jù)中心可支撐 900 ~1000 臺規(guī)模的節(jié)點數(shù)量：

• 兩臺交換機堆疊在一起，稱為一組交換機，如一組內網(wǎng)接入交換機或一組外網(wǎng)接入交換機；
• 通常一組接入交換機為 96 個業(yè)務接口（每臺交換機48個接口），堆疊檢測及備用占用 3*2 個接口，可用業(yè)務端口為 90 個；
• 每個服務器節(jié)點使用兩個網(wǎng)卡占用一組接入交換機的 2 個接口，即一組接入交換機可接入 45 臺服務器；
• 每增加一組交換機即可擴展 45 個節(jié)點，一組核心交換機至少可接入 20 組接入交換機，即至少可支撐 900 個節(jié)點服務器。

2.2.2 網(wǎng)絡區(qū)域

網(wǎng)絡區(qū)域的設備通常包括內網(wǎng)核心交換機、外網(wǎng)核心交換機、內網(wǎng)接入交換機、外網(wǎng)接入交換機。若服務器節(jié)點規(guī)模較小且暫不考慮擴容，可僅采用內/外網(wǎng)接入交換機。

• 內網(wǎng)核心交換機：采用 2 臺 40GE 的三層交換機堆疊作為一組內網(wǎng)核心，用于承載內網(wǎng)接入交換機的匯聚和管理；
• 外網(wǎng)核心交換機：采用 2 臺萬兆三層交換機堆疊作為一組外網(wǎng)核心，用于承載外網(wǎng)接入交換機的匯聚和管理；
• 內網(wǎng)接入交換機：采用 2 臺萬兆交換機堆疊作為一組內網(wǎng)接入，用于承載 45 臺服務器內網(wǎng)接入；
• 外網(wǎng)接入交換機：采用 2 臺千兆交換機堆疊作為一組外網(wǎng)接入 ，用于承載 45 臺服務器外網(wǎng)接入；
• 除 Internet 連接外，網(wǎng)絡均為大二層環(huán)境，采用 LLDP 協(xié)議獲取網(wǎng)絡拓撲信息，所有網(wǎng)絡接入均為端口聚合，保證高可用；同時通過控制接口廣播報文流量，抑制網(wǎng)絡廣播風暴；
• 外網(wǎng)核心交換機與 Internet 之間可以為二層聚合、三層聚合、L3 ECMP 、L3 A/S 等互連模式，同時支持串聯(lián)或旁掛防火墻、IDS、IPS 及防 DDOS 等安全設備；
• 云平臺提供的網(wǎng)絡功能均采用軟件定義的方式實現(xiàn)，物理交換機僅作為網(wǎng)絡流量轉發(fā)設備，即僅使用交換機部分通用能力，如堆疊、Vlan、Trunk、LACP 及 IPV6 等，無需采用 SDN 交換機實現(xiàn)虛擬網(wǎng)絡的通信。

標準網(wǎng)絡架構中，通常推薦至少采用萬兆及以上級別的交換機，保證平臺節(jié)點內網(wǎng)接入、虛擬資源通信及分布式存儲的性能及可用性。由于外網(wǎng)接入帶寬一般較小，通常推薦采用千兆交換機作為外網(wǎng)接入設備。

2.2.3 服務器區(qū)域

服務器區(qū)域的設備通常包括計算存儲超融合節(jié)點、獨立計算節(jié)點、獨立存儲節(jié)點、以及管理節(jié)點。若直接使用計算節(jié)點的虛擬機作為管理節(jié)點，即可省去物理管理節(jié)點服務器。

• 計算節(jié)點【必選】：采用 x86/ARM 架構服務器作為計算節(jié)點或計算存儲超融合節(jié)點，用于運行虛擬機、虛擬網(wǎng)絡分布式、存儲服務及數(shù)據(jù)庫緩存等服務，承載整個云平臺的資源核心實現(xiàn)及運行。采用 2 個 GE 網(wǎng)卡分別上聯(lián)到兩臺外網(wǎng)接入交換機 ，并做雙網(wǎng)卡 bond ，作為計算節(jié)點外網(wǎng)接入；采用 2 個 10GE 網(wǎng)卡分別上聯(lián)到兩臺內網(wǎng)接入交換機 ，并做雙網(wǎng)卡 bond ，作為計算節(jié)點內網(wǎng)接入；若為超融合節(jié)點，則分布式存儲使用所有計算節(jié)點上的數(shù)據(jù)磁盤，所有計算節(jié)點上的數(shù)據(jù)磁盤組成統(tǒng)一分存儲資源池，用于構建分布式存儲；若為獨立計算節(jié)點，則分布式存儲使用存儲節(jié)點上的數(shù)據(jù)磁盤作為統(tǒng)存儲資源池，通過網(wǎng)絡跨集群掛載。
• 獨立存儲節(jié)點【可選】：若計算存儲需要分離部署，可采用 x86/ARM 架構且磁盤較多服務器作為獨立存儲節(jié)點，用于承載獨立的分布式存儲服務。存儲節(jié)點與計算服務通過內網(wǎng)進行通信，僅需 2 個 10GE 網(wǎng)卡分別上聯(lián)到兩臺內網(wǎng)接入交換機 ，并做雙網(wǎng)卡 bond ，作為存儲節(jié)點的內網(wǎng)接入；如需將計算存儲網(wǎng)絡物理隔離，可采用獨立存儲接入交換機，存儲節(jié)點的網(wǎng)卡上聯(lián)至存儲接入交換機；分布式存儲使用存儲節(jié)點及超融合節(jié)點上的所有數(shù)據(jù)磁盤，三副本保證數(shù)據(jù)安全；為保證分布式存儲的性能及可用性，存儲節(jié)點必須采用萬兆以上速率的網(wǎng)卡。
• 管理節(jié)點【可選】：平臺默認推薦使用平臺虛擬機部署管理服務，如需物理服務器承載并運行管理服務，可采用 x86/ARM 服務器作為云平臺管理節(jié)點，用于承載云平臺管理塻塊及服務。采用 2 個 GE 網(wǎng)卡分別上聯(lián)到兩臺外網(wǎng)接入交換機 ，并做雙網(wǎng)卡 bond ，作為管理節(jié)點外網(wǎng)接入；采用 2 個 10GE 網(wǎng)卡分別上聯(lián)到兩臺內網(wǎng)接入交換機 ，并做雙網(wǎng)卡 bond ，作為管理節(jié)點內網(wǎng)接入。

以上網(wǎng)卡 bond 均采用 “ mode=4 ” 模式，即 IEEE 802.3ad 動態(tài)鏈路聚合。

2.2.4 標準架構擴展

在實際項目中，根據(jù)用戶需求和所提供的環(huán)境，可對標準網(wǎng)絡架構進行調整，如項目較小規(guī)模（ 45 節(jié)點內）或僅需一個簡單的測試環(huán)境或等場景。

（1）如需內外網(wǎng)物理隔離且考慮接入冗余，可采用 2 組共 4 臺接入交換機進行業(yè)務部署。

• 2 臺堆疊用于服務器內網(wǎng)接入，2 臺堆疊用于服務器外網(wǎng)接入；
• 每臺服務器內外網(wǎng)分別使用 2 個接口綁定接入內外網(wǎng)接入交換機，可支持 45 臺服務器節(jié)點冗余接入（每臺交換機48個接口，考慮堆疊檢測和備用的端口占用；下同）。

（2）如需內外網(wǎng)物理隔離且不考慮接入冗余，可采用 2 臺接入交換機進行業(yè)務部署；

• 1 臺用于服務器內網(wǎng)接入，1 臺用于服務器外網(wǎng)接入；
• 每臺服務器分別使用 1 個接口接入內網(wǎng)接入交換機及外網(wǎng)接入交換機，支持 45 臺服務器節(jié)點接入；

（3）若內外網(wǎng)無需物理隔離且考慮接入冗余，可采用 2 臺交換機堆疊，通過 Vlan 隔離內外網(wǎng)，如下圖所示：

• 方案一：通過在交換機上劃分 Vlan ，服務器分別使用 2 個接口綁定接入交換機內外網(wǎng) Vlan 接口，即每臺服務器需 2 組 bond (4 個接口）實現(xiàn)內外網(wǎng)業(yè)務通信，可支持 22 節(jié)點；
• 方案二：通過在服務器操作系統(tǒng)內劃分 Vlan（即子接口），服務器分別使用 2 個接口綁定接入交換機 Trunk 接口，即每臺服務器僅需 2 個接口綁定實現(xiàn)內外網(wǎng)業(yè)務通信，可支持 45 節(jié)點；

（4）若內外網(wǎng)無需物理隔離且不考慮接入冗余，可采用 1 臺交換機，通過交換機 Vlan 或服務器內劃分 Vlan 進行內外網(wǎng)隔離及接入。

（5）若實際環(huán)境中需要采用獨立的計算節(jié)點和獨立的存儲節(jié)點，并需要將計算網(wǎng)絡和存儲網(wǎng)絡進行物理隔離，可以為獨立存儲節(jié)點多帶帶劃分一對接入交換機上聯(lián)至內網(wǎng)核心交換機，實現(xiàn)計算和存儲網(wǎng)絡進行分離。平臺計算虛擬機可通過物理網(wǎng)絡掛載多個存儲網(wǎng)絡的存儲集群，采用獨立的存儲網(wǎng)絡設計可將存儲節(jié)點及分布式存儲系統(tǒng)內部同步流量與虛擬機計算讀寫存儲的流量進行分離，提高平臺整體的穩(wěn)定性和性能。