淺談云計算數(shù)據(jù)中心對布線系統(tǒng)的影響

羅森伯格亞太電子有限公司：孫慧永

在談云計算數(shù)據(jù)中心之前，我們要先了解一下，什么是云計算？云計算是指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴展的方式獲得所需的資源。 提供資源的網(wǎng)絡(luò)被稱為“云”。 “云”是IT的資源池，可以隨時獲取，按需使用，隨時擴展，按使用付費。這種特性經(jīng)常被稱為像水電一樣使用IT基礎(chǔ)設(shè)施。云計算數(shù)據(jù)中心就是為云計算服務(wù)所需要的整體IT物理設(shè)備與基礎(chǔ)設(shè)施。

提供云服務(wù)的數(shù)據(jù)中心能給用戶超強大的計算能力，其中有一個特點就是“超大規(guī)模”。如Google、Facebook、騰訊等公司建設(shè)的云計算數(shù)據(jù)中心往往超過幾十萬甚至上百萬臺服務(wù)器的規(guī)模。從美國Cisco公司的預(yù)測報告會中顯示，全球云通信量將以66%的年復(fù)合增長率發(fā)展，兩年內(nèi)，在云數(shù)據(jù)中心處理的工作量將首次超過在傳統(tǒng)數(shù)據(jù)中心中的量，占比51%。到2015年預(yù)計將達到57%，云計算數(shù)據(jù)中心數(shù)據(jù)通信量的快速上升預(yù)示著云數(shù)據(jù)中心的基礎(chǔ)設(shè)施建設(shè)需求將會同步增長，而數(shù)據(jù)中心的布線系統(tǒng)作為基礎(chǔ)設(shè)施之一，隨著云計算數(shù)據(jù)中心應(yīng)用發(fā)展對布線系統(tǒng)的規(guī)模上，技術(shù)層面，產(chǎn)業(yè)層面都受到相應(yīng)的影響。
本文將主要圍繞云計算數(shù)據(jù)中心的網(wǎng)絡(luò)帶寬方面、端口能耗方面、布線架構(gòu)及數(shù)據(jù)中心產(chǎn)業(yè)化發(fā)展、適應(yīng)云計算數(shù)據(jù)中心的新一代布線系統(tǒng)構(gòu)架等方面作一個探討。

?

關(guān)鍵詞： 云計算 數(shù)據(jù)中心 TOR 布線系統(tǒng)

?

一，云計算數(shù)據(jù)中心對網(wǎng)絡(luò)端口帶寬的影響

云計算數(shù)據(jù)中心普遍采用虛擬化的技術(shù)，基于云的數(shù)據(jù)中心可以支持比傳統(tǒng)數(shù)據(jù)中心更多的虛擬機以及每臺服務(wù)器的工作負荷，云計算數(shù)據(jù)中心數(shù)據(jù)量除了終端用戶訪問的數(shù)據(jù)流外，云計算服務(wù)器之間應(yīng)用程序動態(tài)切換產(chǎn)生大量數(shù)據(jù)流，如圖1，使數(shù)據(jù)中心數(shù)據(jù)通信更加繁忙。相比較傳統(tǒng)數(shù)據(jù)中心，云計算數(shù)據(jù)中心的單臺物理主機數(shù)據(jù)流量可能是傳統(tǒng)的數(shù)據(jù)中心服務(wù)器的4倍、8倍 甚至10倍以上。如此大的數(shù)據(jù)流量將需要基礎(chǔ)數(shù)據(jù)中心布線系統(tǒng)具有更低的延時性能，更高的可靠性，同時需要有更高帶寬的的支持。基于這樣的思考，對于云計算數(shù)據(jù)中心服務(wù)器端10G的端口布署將能更好的滿足與支持云計算數(shù)據(jù)呑吐流量。關(guān)于服務(wù)器10G端口應(yīng)用的趨勢，根據(jù)Intel有關(guān)服務(wù)器端口的預(yù)測報告中可以了解到，2012年開始，10G服務(wù)器端口將開始大量的部署。而根據(jù)美國Infonetics第三方咨詢機構(gòu)關(guān)于網(wǎng)絡(luò)設(shè)備的端口應(yīng)用的預(yù)測報告中可以看到（如圖2），到2015年超過50%左右的網(wǎng)絡(luò)設(shè)備端口采用10G端口，而約25%左右的端口將采用40G/100G。

?

從上述提到的相關(guān)預(yù)測中我們可以看出云計算數(shù)據(jù)中心的網(wǎng)絡(luò)演進十分清唽的方向。為了減少網(wǎng)絡(luò)的延時，提高數(shù)據(jù)中心網(wǎng)絡(luò)響應(yīng)速度，云計算數(shù)據(jù)中心將更為普遍地采用核心+接入層兩層網(wǎng)絡(luò)構(gòu)架替代傳統(tǒng)核心+匯聚+接入的三層方式。核心網(wǎng)絡(luò)采用40G/100G網(wǎng)絡(luò)端口，接入層網(wǎng)絡(luò)與服務(wù)器采用10G端口。網(wǎng)絡(luò)帶寬的提升將對布線系統(tǒng)提出的更高的要求，當服務(wù)器端采用10G的端口形式時，銅纜類的布線至少需要采用Cat6A級別的線纜，具體應(yīng)用可參考IEEE802.3an標準的10GBase-T傳輸協(xié)議。如果10G采用光纖布線，優(yōu)先采用多模OM3級別及以上的光纖系統(tǒng)來支持服務(wù)器端口的應(yīng)用，參考IEEE802.3ae標準義的10GBase-SR。而對于數(shù)據(jù)中心主干40G/100G的應(yīng)用，可以采用IEEE802.3ba中規(guī)定的MTP/MPO光纖并行多通道復(fù)用的傳輸?shù)姆绞?0GBase-SR4與100GBase-SR10，布線系統(tǒng)將需要采用MTP/MPO預(yù)連接系統(tǒng)進行支持，如圖3。有關(guān)銅纜布線系統(tǒng)Class F與Class FA支持40G/100G的應(yīng)用目前還沒有正式標準的支持。 2011年10月，ISO/IEC 11801標準化組織工作小組ISO/IEC JTC 1/SC 25WG3啟動了一項新的提議，研究在平衡雙絞線上支持40G數(shù)據(jù)傳輸，如果研究一切順利，預(yù)測2014年將完成草案標準。

?

?

二，云計算數(shù)據(jù)中心端口選擇與對能耗的影響

?

云計算數(shù)據(jù)中心通常規(guī)模比較大，服務(wù)器端口上升到萬兆以后，主干將需要考慮采用40G/100G的方案，對于40G以上的方案目前能規(guī)模應(yīng)用的主要還是基于QSFP端口模式與MTP預(yù)連接光纖布線相結(jié)合的方案。但對于服務(wù)器端10G的端口來說就不同了，10G的應(yīng)用除了采用傳統(tǒng)的RJ45銅網(wǎng)口外，也可以思考選擇SFP+光網(wǎng)口，還可以思考SFP+ DAC?（Direct Attach Copper Cable）有源雙軸平行電纜等幾種方式可進行比較。10G端口規(guī)模化應(yīng)用需要思考可靠性外，另外需要思考端口的能耗方面的問題，用戶對于端口的選擇除了要評估不同端口方式的價格因素外，端口能耗與端口的網(wǎng)絡(luò)延遲也是一個需要評估的重要指標。云計算數(shù)據(jù)中心規(guī)模大，端口能耗將直接影響整體云計算數(shù)據(jù)中心的建設(shè)完成后的長期運維成本。對于10G端口應(yīng)用上述提到的三種主流方式接口對應(yīng)的網(wǎng)卡成本比率與網(wǎng)卡功耗狀況我們可以作一下對比，如下表所示：

?

以上表格中的數(shù)據(jù)主要整合來源于Intel的網(wǎng)卡及Solarflare網(wǎng)卡的數(shù)據(jù)，從整體成本來看，10GBase-T采用雙絞線銅纜的方案有較大的價格優(yōu)勢，但功耗上來看相對較大，以上功耗數(shù)據(jù)主要基于10GBase-T較大長度可以支持100米距離的方案，如果基于數(shù)據(jù)中心30米以下的長度，功耗可以大幅下降。10GBase-T銅纜分為屏蔽與非屏蔽兩種結(jié)構(gòu)，相比較非屏蔽，采用STP屏蔽線纜具有良好的NEXT與ANEXT的性能，將會大幅減少網(wǎng)卡DSP芯片的實際功率，采用STP的電纜相比較UTP非屏蔽系統(tǒng)約可以節(jié)約1.5W左右的功耗。針對數(shù)據(jù)中心解決方案，IEEE802.3az標準化組織正在開發(fā)新一代節(jié)能型的10GBase-T方案，功耗將會有望進一步的降低。而10GBase-SR采用多模光纖的方式技術(shù)成熟，功率較低，但價格相對更高一些，從當前的應(yīng)用的角度來看，10GBase-SR相對可靠性更高一些。10G Base-SFP++DAC的方式相對性價比不錯，但由于DAC電纜兩端連接器內(nèi)包含芯片，實際應(yīng)用中與各交換機廠家會有兼容性的問題；且支持的傳輸距離很短，典型長度為7米以下，最長長度不超過15米，管理相對不夠便利。

端口功耗降低，對建設(shè)一個節(jié)能型的數(shù)據(jù)中心貢獻是相當大的，因為數(shù)據(jù)中心整體能耗來看，只要端口下降1W的電能消耗，整體機房將還可以減少由于端口1W下降所可以省去的空調(diào)制冷方面的電力損耗，以及配電系統(tǒng)UPS等各個環(huán)節(jié)的配套能耗。根據(jù)美國數(shù)據(jù)中心綠色節(jié)能組織所統(tǒng)計的結(jié)果來看，端口下降1W功耗將帶動整體數(shù)據(jù)中心省下2~2.8W左右的功耗，這對于動輒達到上萬臺服務(wù)器的云計算數(shù)據(jù)中心來說，電費成本的節(jié)約是十分可觀的。

云計算數(shù)據(jù)中心促使端口應(yīng)用帶寬提升，而支持數(shù)據(jù)傳輸?shù)乃俾试礁撸瑔挝荒芎姆炊档停绻覀円訮ower/Gbps的方式來衡量各等級的傳輸方式，傳輸同樣的數(shù)據(jù)量，采用10G方式的單位能耗只相當于1G方式傳輸能耗的1/4。而美國Stanford大學的一個報告同樣也從另一方面反映出了這樣一個現(xiàn)象，如圖4。 美國Stanford大學在2006年對根據(jù)數(shù)據(jù)中心的市場規(guī)模趨勢作了耗電量的統(tǒng)計，而實際上從2006年到2011年數(shù)據(jù)中心的電能消耗量并沒有達到預(yù)測中的那么高，由于云計算數(shù)據(jù)中心近年來采用了大量的虛擬化的技術(shù)，端口帶寬與利用率增加，對單位數(shù)據(jù)量的電能的消耗下降起到比較大的作用。

三，云計算數(shù)據(jù)中心采用TOR架構(gòu)對傳統(tǒng)布線的影響

云計算數(shù)據(jù)中心采用更為簡潔的二層網(wǎng)絡(luò)架構(gòu)，如圖5。為了提高單位機柜對整體數(shù)據(jù)中心對基礎(chǔ)設(shè)施的利用率，服務(wù)器機柜的單柜密度越來越高，設(shè)備端口的布線密度非常高，部分云計算數(shù)據(jù)中心采用定制化的服務(wù)器，單柜密度達到了80臺服務(wù)器，高密度的服務(wù)器機柜普遍采用TOR交換機置頂?shù)募軜?gòu)。相比較傳統(tǒng)的EOR或MOR網(wǎng)絡(luò)，TOR的方式有獨特的優(yōu)點，同時也有相應(yīng)的缺點。從優(yōu)點來看，TOR的方式機柜內(nèi)去除了布線系統(tǒng)的配線空間，可以提高服務(wù)器安裝的密度；布線在機柜內(nèi)全部采用跳線，平均長度很短，減少了網(wǎng)絡(luò)的延時，同時也消除了采用EOR方式大量線纜（高密度機柜單柜可達200根線纜）上行HDA對橋架所形成的壓力。而顯然易見的缺點是TOR方式造成交換機端口較多的閑置，造成交換機資源浪費，增加數(shù)據(jù)中心的能耗也增加了設(shè)備維護成本；柜內(nèi)短跳線方式應(yīng)對后期業(yè)務(wù)變化、設(shè)備連接模式變更等需求變化缺少彈性；另外即便是即將頒布的數(shù)據(jù)中心相關(guān)標準如TIA942A等均沒有將TOR的方式納入標準范圍。但綜合以上的特點總體分析后可以發(fā)現(xiàn)，與傳統(tǒng)數(shù)據(jù)中心不同，云計算數(shù)據(jù)中心設(shè)備移動、變更較少且更關(guān)注密度與低延時的要求。對于規(guī)模化部署的云計算數(shù)據(jù)中心來說，TOR優(yōu)點帶來的好處遠大于缺點所造成的負面影響。

TOR的方式在云計算數(shù)據(jù)中心的大量應(yīng)用卻已經(jīng)實質(zhì)上在影響布線系統(tǒng)，相關(guān)國際國內(nèi)布線標準中所規(guī)定的HDA水平配線區(qū)實際上在TOR的架構(gòu)中已經(jīng)不再存在，水平配線架與水平線纜已經(jīng)被省去，取而代之的是短米數(shù)的機柜內(nèi)的光纖或銅纜的跳線。由于每個服務(wù)器機柜的置頂交換機都需要上行光纜到MDA主配線區(qū)域，服務(wù)器上升到10G后，勢必要求主干具有40G/100G的升級能力，這個趨勢將會導(dǎo)致主干布線將被大量的MTP/MPO小芯數(shù)預(yù)連接光纜（如12芯，24芯）所替代。使主干路由光纜數(shù)量大大增加，主干橋架路由壓力增加。從這一方面來看，在云計算數(shù)據(jù)中心TOR架構(gòu)的采用，使得布線系統(tǒng)光纖應(yīng)用量在增加，而銅纜的應(yīng)用潛在總量在縮減。

?

四，云計算數(shù)據(jù)中心機柜產(chǎn)業(yè)化對布線系統(tǒng)的影響

云計算數(shù)據(jù)中心應(yīng)對云的服務(wù)通常基于通過互連網(wǎng)提供服務(wù)，用戶需求的快速增長，有時無法進行較精確的預(yù)測。為應(yīng)對快速的用戶增長的計算需求，要求云計算數(shù)據(jù)中心的新建具有快速的響應(yīng)與部署能力，而傳統(tǒng)數(shù)據(jù)中心從規(guī)劃建設(shè)到正式啟用的周期至少要用一到二年。基于云服務(wù)的數(shù)據(jù)中心無法忍受如此長的周期，許多云數(shù)據(jù)中心直接租用第三方建設(shè)的數(shù)據(jù)中心基礎(chǔ)設(shè)施，而IT設(shè)備安裝可以實現(xiàn)快速的實施，我們提到云計算數(shù)據(jù)中心普遍采用的TOR的網(wǎng)絡(luò)架構(gòu)使得數(shù)據(jù)中心中的每一個服務(wù)器機柜內(nèi)部的IT設(shè)備具有較為統(tǒng)一的屬性，如圖6。使得對整體數(shù)據(jù)中心以機柜為單位的產(chǎn)業(yè)化有了基礎(chǔ)，而快速實施快速啟用是云計算數(shù)據(jù)中心的一項重要需求，這些方面都促使云計算數(shù)據(jù)中心向產(chǎn)業(yè)方向發(fā)展。我們這里指的云計算數(shù)據(jù)中心機柜產(chǎn)業(yè)化是指數(shù)據(jù)中心以標準機柜含IT設(shè)備以工廠生產(chǎn)類似流水線統(tǒng)一作業(yè)的方式完成整體機柜的安裝并以機柜為單位交付。也就是說用戶現(xiàn)場安裝時，只需要快速安裝服務(wù)器機柜與主配線區(qū)域MDA與核心交換機端的主干布線相連接，服務(wù)器機柜內(nèi)包括置頂交換機以及連接機柜內(nèi)交換機與服務(wù)器的布線系統(tǒng)已經(jīng)在工廠全部預(yù)安裝完成，這種快速的安裝與啟用的產(chǎn)業(yè)化方案可以快速滿足云計算數(shù)據(jù)中心的應(yīng)對數(shù)據(jù)中心建設(shè)周期的挑戰(zhàn)。

機柜采用產(chǎn)業(yè)化的方式部署促使數(shù)據(jù)中心現(xiàn)場安裝周期大大縮短。舉個例子：以500個機柜規(guī)模的數(shù)據(jù)中心從IT設(shè)備的安裝與調(diào)試、布線系統(tǒng)的安裝與標識及管理文檔資料的提交等工作可以在2周的時間完成全部內(nèi)容，這是傳統(tǒng)數(shù)據(jù)中心建設(shè)所不可能完成的任務(wù)。

另一方面，由于數(shù)據(jù)中心產(chǎn)業(yè)化后采用機柜為單位，機柜內(nèi)的設(shè)備之間連接的布線系統(tǒng)將由數(shù)據(jù)中心機柜提供方在工廠內(nèi)統(tǒng)一組裝。導(dǎo)致部分布線產(chǎn)品供應(yīng)鏈產(chǎn)生一定的變化，由原先直接工程招投標的性質(zhì)變成產(chǎn)業(yè)化機柜代工廠制訂標準進行工廠化采購，這種方式將導(dǎo)致品牌布線廠家在機柜內(nèi)的布線系統(tǒng)中發(fā)揮越來越少的作用，這部分布線產(chǎn)品的品牌價值不容易被用戶所直接感知。而機柜間的主干布線系統(tǒng)的安裝將更多的要依賴以預(yù)連接光纜系統(tǒng)，這是因為預(yù)連接系統(tǒng)同樣可以發(fā)揮快速安裝能力且支持40G/100G擴容，符合整體機房快速啟用的整體目標。當然云計算數(shù)據(jù)中心的建設(shè)并不會全部采用機柜產(chǎn)業(yè)化的方式，這是云數(shù)據(jù)中心的為滿足快速建設(shè)要求的其中一個發(fā)展方向，目前還未達到主流。

?

五，云計算數(shù)據(jù)中心采用新布線架構(gòu)的應(yīng)用思考

結(jié)構(gòu)化布線系統(tǒng)標準產(chǎn)生最初功能是基于兩方面的思考，一方面充當IT設(shè)備間的高速數(shù)據(jù)傳輸?shù)慕橘|(zhì)，另外一方面非常重要的功能是具有對整體系統(tǒng)起到物理管理的作用。當TOR的方式成為云計算數(shù)據(jù)中心高密度布線的主流方案時，在實際的應(yīng)用中布線的管理功能已經(jīng)被弱化，不能很好體現(xiàn)布線系統(tǒng)標準中要求的管理要求。在實際云計算數(shù)據(jù)中心的布線方案基于TOR的布線系統(tǒng)也可以且也有必要進行適當?shù)纳壸兓詽M足新的IT環(huán)境的需要。布線系統(tǒng)結(jié)構(gòu)變化是建立在保證方便管理+充當高效傳輸介質(zhì)這兩方面的基本功能的基礎(chǔ)上。下圖7布線模型在基于TOR的架構(gòu)上采用的新的布線方案，我們可以稱為TOR+EOR的融合方案。

布線采用新的TOR+EOR的融合方案相比較單純的TOR架構(gòu)，每一列增加了HDA+EDA的區(qū)域，此區(qū)域的設(shè)置將大大增加布線方案的靈活性。從MDA到HDA的主干可以設(shè)計大芯數(shù)的預(yù)連接光纜如48，72或144芯，一方面有利于提高安裝效率，同時大芯數(shù)高密度預(yù)連接光纜能減少主干橋架壓力，可以使單位主干橋架截面承載更高密度與更大范圍的數(shù)據(jù)中心規(guī)模。另一方面HDA+EDA區(qū)域可以對主干預(yù)連接端口設(shè)置一部分冗余，后續(xù)各個服務(wù)器機柜可以采用LC跳線或MTP跳線到各個置頂交換機上行端口，這樣的好處是后續(xù)如任何服務(wù)器機柜有擴容或故障替換，可以每列進行維護與管理，無需從MDA開始進行長距離替換主干或主干擴容，不僅管理便利，且無需經(jīng)常打擾主干鏈路，維護管理相對更為安全。下表將單純采用TOR的方案與TOR+EOR融合新布線方案的總體比較，可以作參考。

?

可以看出TOR+EOR的融合方案產(chǎn)生的優(yōu)勢遠大于普通TOR的布線結(jié)構(gòu)，且成本的變化很小，對于整體數(shù)據(jù)中心建設(shè)來看，用戶基本可以忽略這一小部分成本上的變化，因為融合方案所帶來的長期價值遠大于初期非常小的支出。

?

結(jié)束語

近年來云計算受到行業(yè)的大量關(guān)注并促使了云計算應(yīng)用快速發(fā)展，基于云的服務(wù)與應(yīng)用模式有了新的創(chuàng)新。而支持云業(yè)務(wù)快速增長的背后是云計算數(shù)據(jù)中心的大量啟用。云計算數(shù)據(jù)中心采用虛擬化技術(shù)后，大大促進數(shù)據(jù)中心的資源利用率，大流量穩(wěn)定可靠地數(shù)據(jù)通信也是基于設(shè)備端口帶寬的不斷提升，10G應(yīng)用到服務(wù)器端口，40G/100G部署到主干的應(yīng)用的網(wǎng)絡(luò)發(fā)展脈絡(luò)已經(jīng)十分清晰，同時也促進布線系統(tǒng)以MTP預(yù)連接光纖系統(tǒng)的需求大幅度增長。而端口采用更高以太網(wǎng)協(xié)議的另一個好處是使單位數(shù)據(jù)傳輸能耗下降，符合建設(shè)綠色節(jié)能型數(shù)據(jù)中心發(fā)展的大趨勢。云計算數(shù)據(jù)中心大量采用TOR的架構(gòu)有利于數(shù)據(jù)中心產(chǎn)業(yè)化方向發(fā)展，同時也改變部分布線系統(tǒng)結(jié)構(gòu)與產(chǎn)業(yè)供應(yīng)鏈，產(chǎn)業(yè)化的數(shù)據(jù)中心模式大幅縮短數(shù)據(jù)中心建設(shè)周期，與云計算數(shù)據(jù)中心業(yè)務(wù)快速增長的需求相協(xié)調(diào)。針對于云計算數(shù)據(jù)中心的布線技術(shù)標準相對滯后，EOR+TOR的新的布線架構(gòu)的產(chǎn)生與應(yīng)用，在具備數(shù)據(jù)中心產(chǎn)業(yè)化的同時完善了單純采用TOR架構(gòu)相對布線系統(tǒng)管理功能的不足，使其與布線標準中所倡導(dǎo)的結(jié)構(gòu)化布線要求更加吻合。總之云計算數(shù)據(jù)中心的快速發(fā)展與應(yīng)用從各個方面已經(jīng)對布線行業(yè)產(chǎn)生了各種不同的影響，同時也導(dǎo)致布線行業(yè)分工的進一步細化。

?

文獻摘要：
1, 10GBASE-T for Broad 10 Gigabit Adoption in the Data Center.
Carl G.Hansen,Intel November 2010

2, GROWTH IN DATA CENTER ELECTRICITY USE 2005 TO 2010,
Jonathan G. Koomey, Ph.D. Consulting Professor, Stanford University

3, 萬兆銅纜系統(tǒng)工程設(shè)計、施工與檢測技術(shù)白皮書 布線工作組 2011年11月

4，新一代數(shù)據(jù)中心光纖布線技術(shù)發(fā)展趨勢