摘要：那么，從過去的傳統數據中心，到如今的云計算時代數據中心，中間經歷了怎樣的變遷呢傳統數據中心網絡架構在傳統的大型數據中心，網絡通常是三層結構。

本文授權轉載自公眾號蛋蛋團。

數據中心，指用于安置計算機系統及相關部件的設施，例如電信和儲存系統。

為了滿足自身的業務需求，保證數據的穩定和可靠。無論是互聯網還是傳統行業，都會有自己或大或小的數據中心，甚至如阿里云和亞馬遜這種專門以出租計算資源的云計算公司，更是在全世界各地建立了不等的數據中心。

盡管到到如今的云計算時代，將數據中心自身的資源虛擬化以達到更高的利用率，有一點肯定，物理資源決定了虛擬資源的天花板。

物理網絡的特性，例如帶寬，MTU，延時等，最終直接或者間接決定了虛擬虛擬網絡的特性。對網絡性能進行優化時，有些物理網絡特性可以通過升級設備或線路來提升，但是有些與網絡架構有關。升級或者改動網絡架構帶來的風險和成本是巨大的，因此在架設數據中心初始，網絡架構的選擇和設計尤其需要謹慎。

那么，從過去的傳統數據中心，到如今的云計算時代數據中心，中間經歷了怎樣的變遷呢？

在傳統的大型數據中心，網絡通常是三層結構。Cisco稱之為：分級的互連網絡模型（hierarchical inter-networking model）。

三層網絡結構是采用層次化架構的三層網絡，有三個層次：核心層(網絡的高速交換主干)、匯聚層(提供基于策略的連接)、接入層(將工作站接入網絡)，這個模型如下：

接入層(Access Layer) ：接入交換機通常位于機架頂部，所以它們也被稱為ToR（Top of Rack）交換機，它們物理連接服務器。

匯聚層（Aggregation Layer） ：匯聚交換機連接Access交換機，同時提供其他的服務，例如防火墻，SSL offload，入侵檢測，網絡分析等。

核心層（Core Layer） ：核心交換機為進出數據中心的包提供高速的轉發，為多個匯聚層提供連接性，核心交換機為通常為整個網絡提供一個彈性的L3路由網絡。 一個三層網絡架構示意圖如下所示：

通常情況下，匯聚交換機是L2和L3網絡的分界點，匯聚交換機以下的是L2網絡，以上是L3網絡。每組匯聚交換機管理一個POD（Point Of Delivery），每個POD內都是獨立的VLAN網絡。

服務器在POD內遷移不必修改IP地址和默認網關，因為一個POD對應一個L2廣播域。

匯聚交換機和接入交換機之間通常使用STP（Spanning Tree Protocol，生成樹協議）。STP使得對于一個VLAN網絡只有一個匯聚層交換機可用，其他的匯聚層交換機在出現故障時才被使用（上圖中的虛線）。

也就是說匯聚層是一個active-passive的HA模式。這樣在匯聚層，做不到水平擴展，因為就算加入多個匯聚層交換機，仍然只有一個在工作。

一些私有的協議，例如Cisco的vPC（Virtual Port Channel）可以提升匯聚層交換機的利用率，但是一方面，這是私有協議，另一方面，vPC也不能真正做到完全的水平擴展。

下圖是一個匯聚層作為L2/L3分界線，且采用vPC的網絡架構。

傳統的數據中心網絡技術，STP 是二層網絡中非常重要的一種協議。在二層有一個相當矛盾的點，那就是可靠性和安全性的矛盾。

可靠性是指構建二層網絡時，一般會采用會采用設備冗余和鏈路冗余的方式。

安全性是指二層交換機同處于一個廣播域，廣播報文在環路中會反復持續傳送，可能會形成廣播風暴，所以必須防止形成環路。

要想兩種同時達到，可以采用STP（生成樹協議）自動控制，即冗余設備和冗余鏈路成備份，在正常情況下被阻塞掉，當出現鏈路故障時冗余的設備端口和鏈路才會被打開。

由于 STP 的收斂性能等原因， 一般情況下 STP 的網絡規模不會超過 100臺交換機。STP的這種機制導致了二層鏈路利用率不足，尤其是在網絡設備具有全連接拓撲關系時，這種缺陷尤為突出。

如上圖所示，當采用全網STP二層設計時，STP將阻塞大多數鏈路，使接入到匯聚間帶寬降至1/4，匯聚至核心間帶寬降至1/8。這種缺陷造成越接近樹根的交換機，端口擁塞越嚴重，造成的帶寬資源浪費就越可觀。

隨著互聯網的發展帶來的數據大爆發以及虛擬化技術的發展，計算資源被池化，對數據中心也提出了新的挑戰：動態遷移和高性能。

采用大二層網絡架構，可以實現整個數據網絡都是L2廣播域，這樣即可實現動態遷移。大二層網絡架構，L2/L3分界在核心交換機，核心交換機以下，也就是整個數據中心，是L2網絡（當然，可以包含多個VLAN，VLAN之間通過核心交換機做路由進行連通）。大二層的網絡架構如下圖所示：

相對于之前的基礎架構而言，具有如下特點：

①資源池化——硬件服務器通過虛擬化技術進行部分硬件資源的整合，構造計算資源池化

②統一管理——在虛擬化平臺上建立虛擬機，在虛擬機里部署業務，實現平臺上虛擬機的統一維護和管理

③橫向擴展——計算資源不夠，可以直接補充硬件服務器達到資源擴展

然而，傳統大二層的缺點也和明顯，共享的L2廣播域帶來的BUM（二層數據鏈路層的報文）風暴隨著網絡規模的增加而明顯增加，最終將影響正常的網絡流量。

同時，虛擬機可以遷移，但是如何達到遷移過程中用戶無感知，IP地址等不改變呢？即實現動態遷移。

云計算技術的發展的不僅僅依托于虛擬化，還有一個非常重要虛擬化管理軟件平臺，典型的如openstack。

通過x86服務器和二層交換機的連接，將網絡功能、計算功能、存儲功能和安全功能全部虛擬化，以虛擬機的形式實現我們傳統數據中心硬件堆積所完成的一切功能，全部組件融合在一套虛擬化管理軟件平臺中，對外提供虛擬存儲、網絡、計算等資源，這就是所謂的”超融合”平臺。

互聯網這幾年發展的特別快，然而，互聯網公司本質上來講也是數據公司，數據承載著公司絕大部分的價值，于是數據安全性以及可靠性也變的越發重要。 在早期，小規模數據中心主要是南北流量，而互聯網爆發式的數據增長帶來的數據中心虛擬化也要求更高的東西流量，甚至跨數據中心流量。

南北向流量：數據中心之外的客戶端到數據中心服務器之間的流量，或者數據中心服務器訪問互聯網的流量。

東西向流量：數據中心內的服務器之間的流量。

跨數據中心流量：跨數據中心的流量，例如數據中心之間的災備，私有云和公有云之間的通訊。

在思科的分析報告中，預計2020年，東西流量能達到總帶寬的77%，跨數據中心9%，南北流量僅占總帶寬的14%。

而傳統三層網絡架構主要是為了南北流量設計，盡管也支持東西流量，但是不足十分明顯。

東西流量分為L2和L3，如果是L2流量，如果源和目的主機都在同一個接入層交換機下，那么可以達到全速，因為接入交換機就能完成轉發。如果需要跨機架，但仍然是在一個匯聚層POD內，則需要通過匯聚層交換機進行轉發，帶寬取決于匯聚層交換機的轉發速率。 如果是L3流量，必須經過核心交換機完成轉發，它不僅浪費了寶貴的核心交換機資源，多層轉發也增加了延時。

而到大二層網絡架構，無論是L2還是L3流量，都需要經過核心交換機，這也對核心交換機的性能提出了新的挑戰。

傳統三層網絡架構已經存在幾十年，并且現在有些數據中心中仍然使用這種架構。最主要的原因是成本。

一方面是因為早期L3路由設備比L2橋接設備貴得多。即使是現在，核心交換機也比匯聚接入層設備貴不少。

另一方面，早期的數據中心，大部分流量是南北向流量。

例如，一個服務器上部署了WEB應用，供數據中心之外的客戶端使用。使用這種架構可以在核心交換機統一控制數據的流入流出，添加負載均衡器，為數據流量做負載均衡等。

傳統的三層網絡架構必然不會在短期內消失，但是由于技術和市場的發展，其短板也越來越明顯。比如企業將面臨成本和可擴展性的兩難選擇。

基于現有網絡架構的改進顯得非常有必要，新的網絡架構最好是：由相對較小規模的交換機構成，可以方便的水平擴展，較好的支持HA（active-active模式），支持全速的東西向流量，不采購高性能的核心交換機也能去除超占比，支持SDN等等。

「Linux云計算網絡」公眾號后臺回復“加群”，帶你進入高手如云交流群

我的公眾號 「Linux云計算網絡」(id: cloud_dev) ，號內有 10T 書籍和視頻資源，后臺回復 「1024」 即可領取，分享的內容包括但不限于 Linux、網絡、云計算虛擬化、容器Docker、OpenStack、Kubernetes、工具、SDN、OVS、DPDK、Go、Python、C/C++編程技術等內容，歡迎大家關注。