摘要：平安云誕生于平安集團(tuán)的科技大本營，多年的金融經(jīng)驗(yàn)積累使得平安云對金融行業(yè)架構(gòu)規(guī)范，金融業(yè)務(wù)系統(tǒng)流量特征及安全合規(guī)性等均有獨(dú)到的見解。

平安云誕生于平安集團(tuán)的科技大本營，多年的金融IT經(jīng)驗(yàn)積累使得平安云對金融行業(yè)架構(gòu)規(guī)范，金融業(yè)務(wù)系統(tǒng)流量特征及安全合規(guī)性等均有獨(dú)到的見解。從13年底立項(xiàng)以來，平安金融云一直盡可能走開源和自研結(jié)合的路線，自主研發(fā)了IaaS層的全套產(chǎn)品線，為金融行業(yè)客戶提供可靠、彈性、高效、集約的基礎(chǔ)架構(gòu)層服務(wù)。

目前金融云平臺已涵蓋平安集團(tuán)90% 以上的業(yè)務(wù)公司，支撐60% 的業(yè)務(wù)系統(tǒng)投產(chǎn)，并延伸至外部直銷銀行及金融機(jī)構(gòu)，承載過億的互聯(lián)網(wǎng)金融用戶。平安金融云將持續(xù)推動集團(tuán)3.0“大金融資產(chǎn)+ 大醫(yī)療健康”戰(zhàn)略更快發(fā)展，打造金融平臺業(yè)務(wù)，占領(lǐng)數(shù)據(jù)、生態(tài)陣地，為集團(tuán)互聯(lián)網(wǎng)、業(yè)務(wù)云、生態(tài)圈的爆發(fā)式增長保駕護(hù)航。在“2016年金融信息化10件大事”評選中，平安云排名12，在參選的金融云平臺里排名第一。

所有的云服務(wù)中，都會涉及到三項(xiàng)臺柱技術(shù)領(lǐng)域：計(jì)算、存儲、網(wǎng)絡(luò)。本文將介紹平安云構(gòu)建過程中在這三大技術(shù)所做的實(shí)踐，希望對嘗試搭建云服務(wù)的讀者有借鑒意義。

圖1 平安云平臺級總體架構(gòu)

如圖1，平安云后臺實(shí)現(xiàn)計(jì)算、存儲、網(wǎng)絡(luò)的資源管理、以及對用戶的交付服務(wù)。

計(jì)算服務(wù)

當(dāng)下的計(jì)算機(jī)領(lǐng)域呈現(xiàn)出人云亦云的現(xiàn)象，但最出名的還是以AWS、Azure、阿里云為代表的云計(jì)算服務(wù)，這說明計(jì)算是云里面最重要的服務(wù)，從3A的營收占比來看，也的確是這么回事。

以AWS為例，最初負(fù)責(zé)主機(jī)運(yùn)維的工作人員出于提高資源利用率和額外創(chuàng)收考慮，提議將每年為黑色星期五準(zhǔn)備的大規(guī)模資源在平日時間段以計(jì)算服務(wù)的形式出售，由此，云以計(jì)算服務(wù)開的頭。

平安云在構(gòu)建過程中實(shí)際上也是重復(fù)了這一過程，計(jì)算云化技術(shù)的決策選型是創(chuàng)始團(tuán)隊(duì)要攻克的第一關(guān)，而絕則取決于現(xiàn)實(shí)：一方面要支持日益持重的KVM虛擬化，另一方面需兼容過去已大量投產(chǎn)的VMware虛擬化。這兩個目標(biāo)具備很高的實(shí)線價值——即支持業(yè)務(wù)無感知從傳統(tǒng)VMware環(huán)境切換到云管理的VMware，又使得一些創(chuàng)新的互聯(lián)網(wǎng)應(yīng)用在沒有包袱的背景下自由使用KVM。

基于以上考慮，我們主要調(diào)研了OpenStack與CloudStack，其余的方案實(shí)現(xiàn)功能相似，社區(qū)熱度相差太大而不予考慮。最終我們出于以下因素選擇了CloudStack。

成熟度：決策期間，當(dāng)時OpenStack剛開始發(fā)展，雖然社區(qū)火熱但成熟度較低，難以滿足早日平臺搭建落地的現(xiàn)實(shí)目標(biāo)；CloudStack曾是cloud.com的商用版本，成熟度相對較好，并且已有多個成熟的客戶案例可借鑒；

普及性：金融系統(tǒng)內(nèi)業(yè)務(wù)系統(tǒng)通常以Java為開發(fā)語言，CloudStack上手容易

企業(yè)特性：CloudStack內(nèi)部架構(gòu)邏輯更符合企業(yè)應(yīng)用系統(tǒng)設(shè)計(jì)，相對于分布式組件化的OpenStack，部署CloudStack的方式更適合當(dāng)時的平安集團(tuán)IT特性；

技術(shù)局限性：團(tuán)隊(duì)成員熟悉計(jì)算和存儲，網(wǎng)絡(luò)方面的需求沒有考慮太深

CloudStack的架構(gòu)比較小巧緊湊，容易部署，但也有不盡人意的方面，其缺點(diǎn)主要在于對網(wǎng)絡(luò)功能的支持不夠豐富、靈活。這里我們有獨(dú)特的做法：CloudStack相當(dāng)于完成OpenStack Nova的功能，只用來進(jìn)行計(jì)算虛擬化資源管理。為了達(dá)到對網(wǎng)絡(luò)功能的支持效果，我們對CloudStack做了二次開發(fā)，增加了一個和OpenStack Neutron對接的Plugin，使Neutron能夠感知到虛擬機(jī)的生命周期。

圖2 計(jì)算服務(wù)CloudStack架構(gòu)圖

如圖2，CloudStack的Network功能被極度的弱化，工作主要是管理計(jì)算所需的IP資源、VLAN等，編排物理網(wǎng)絡(luò)的工作交給了Neutron。

存儲服務(wù)

存儲和計(jì)算不分家，平安云存儲服務(wù)根據(jù)技術(shù)和場景的演變解決方案也變得豐富多樣：

本地盤和高性能本地盤：提供高IO，同時縮小存儲故障域；

SAN和NAS：傳統(tǒng)方案，支持計(jì)算HA；

本地盤高可用和VSAN等超融合方案：本地盤方案的升級，在高IO同時提供HA；

Ceph提供塊存儲和對象存儲：塊存儲作為SAN和NAS的替代方案，對象存儲可以提供用戶數(shù)據(jù)備份服務(wù)。

?

圖3 塊存儲服務(wù)架構(gòu)圖

如圖3，塊存儲服務(wù)的交付實(shí)際上是比較簡單的，通過CloudStack對接到每個Hypervisor的CS-Agent或者vCenter，將VM的磁盤IO和后端的Ceph、NAS、本地盤、SAN等存儲資源池掛接。存儲資源池配給通常比較充足，資源監(jiān)控和管理通過額外的運(yùn)維系統(tǒng)完成。

圖4 使用Ceph提供塊、文件、對象存儲服務(wù)

Ceph是目前最流行的軟件定義存儲的開源解決方案，在云環(huán)境的存儲服務(wù)中提供了非常好的可定制性和可擴(kuò)展性。作為統(tǒng)一存儲，Ceph在最底層原生的RADOS對象存儲的基礎(chǔ)上通過模塊化的方式分別提供的塊存儲（RBD）, 對象存儲（RGW）和文件存儲（CephFS）。為了把原生的開源Ceph存儲應(yīng)用到不同的業(yè)務(wù)場景，我們在性能優(yōu)化和部署，配置，故障修復(fù)方面做了大量的研究和實(shí)踐。基于Ceph開源社區(qū)良好的發(fā)展趨勢，Ceph將會是一個很好的兼顧性能、成本、擴(kuò)展性的云存儲解決方案。

網(wǎng)絡(luò)服務(wù)

相對于計(jì)算與存儲，網(wǎng)絡(luò)是一門多帶帶的領(lǐng)域。通常懂計(jì)算的都會了解一些存儲，懂存儲的也會知道一些計(jì)算，但是都會對網(wǎng)絡(luò)感到陌生，原因也很簡單，計(jì)算中數(shù)據(jù)落地涉及到存儲，存儲也有Server Storage，操作對象基本上是PC Server、Linux，而網(wǎng)絡(luò)人員操作對象則是各種廠家的Switch、Firewall、Router和LB，操作對象不同，且都是非常成熟的領(lǐng)域，因此知識、技能很難與計(jì)算、存儲融合。

網(wǎng)絡(luò)在云中最核心的作用有2個：

提供計(jì)算和存儲互聯(lián)的高速公路，這個是物理網(wǎng)絡(luò)實(shí)現(xiàn)的功能，不管是云還是傳統(tǒng)基礎(chǔ)架構(gòu)，網(wǎng)絡(luò)都實(shí)現(xiàn)了這些需求；

提供租戶的虛擬網(wǎng)絡(luò)，通常是在物理網(wǎng)絡(luò)中通過虛擬化實(shí)現(xiàn)的，這是云獨(dú)有的需求，在網(wǎng)絡(luò)界術(shù)語中，在物理網(wǎng)絡(luò)中為每個租戶提供虛擬網(wǎng)絡(luò)的技術(shù)稱為網(wǎng)絡(luò)虛擬化（Network Virtualization）簡稱NV，是當(dāng)今網(wǎng)絡(luò)界最熱的要點(diǎn)，不同云服務(wù)商的NV方案大相徑庭。

大多數(shù)熟知的云都會最初把NV做到Linux內(nèi)部，而不會交給專門的網(wǎng)絡(luò)去實(shí)現(xiàn)，這也是對上述理論的驗(yàn)證。NV在云計(jì)算發(fā)展過程中，也是更為緩慢的，但可以看到各大公有云都在使用SDN和NFV來補(bǔ)齊這部分短板。平安云的起步較晚，可以利用后發(fā)優(yōu)勢，從一開始就考慮物理網(wǎng)絡(luò)上實(shí)現(xiàn)NV，原因比較簡單，物理網(wǎng)絡(luò)設(shè)備是連接大量服務(wù)器的專用設(shè)備，物理網(wǎng)絡(luò)設(shè)備供應(yīng)商不會對NV視而不見，截止至今日，物理網(wǎng)絡(luò)設(shè)備NV技術(shù)已經(jīng)相對成熟，將NV從主機(jī)剝離出來，也有利于降低主機(jī)技術(shù)集成復(fù)雜度，提升運(yùn)維效率，平安云網(wǎng)絡(luò)的優(yōu)勢主要是通過對方案的主導(dǎo)性對物理網(wǎng)絡(luò)設(shè)備廠家研發(fā)力量進(jìn)行整合，而不是一味在主機(jī)上單干。

圖5 平安云網(wǎng)絡(luò)服務(wù)模型

平安云把網(wǎng)絡(luò)虛擬化分為Fabric服務(wù)、NF（網(wǎng)絡(luò)功能）、增值服務(wù)3部分：

Fabric，實(shí)現(xiàn)虛擬網(wǎng)絡(luò)中的租戶Switch和Router功能，網(wǎng)絡(luò)人士稱之為L2和L3功能，租戶可以在Fabric服務(wù)中管理子網(wǎng)、租戶路由表等功能，從而實(shí)現(xiàn)Fabric內(nèi)租戶計(jì)算節(jié)點(diǎn)實(shí)現(xiàn)互訪，控制邊界路由等功能，該服務(wù)在網(wǎng)絡(luò)中屬于低頻操作類，租戶只有在創(chuàng)建時需要關(guān)心，因此這部分也是租戶比較陌生的；

NF，實(shí)現(xiàn)虛擬網(wǎng)絡(luò)的租戶VPN、訪問控制、NAT和LB 等功能，對應(yīng)網(wǎng)絡(luò)人士熟知的L3、L4和L7功能，這些服務(wù)在網(wǎng)絡(luò)中屬于中高頻操作類，租戶比較熟悉；

增值服務(wù)，比如CDN、大流量高防、域名管理、互聯(lián)網(wǎng)流量分析、互聯(lián)網(wǎng)質(zhì)量探測、安全專線等，這些服務(wù)涵蓋低中高頻類，租戶比較熟悉。?

為了讓這三項(xiàng)服務(wù)能夠高效、科學(xué)地編排，平安云使用了可擴(kuò)展性強(qiáng)的Neutron，并依托Neutron構(gòu)建了統(tǒng)一編排平臺Network Service Platform（NSP），同時對Fabric、NF和增值服務(wù)進(jìn)行管理。

?

圖6 基于Neutron的NSP平臺架構(gòu)

NSP平臺可以將來自不同廠家的網(wǎng)絡(luò)設(shè)備、第三方網(wǎng)絡(luò)服務(wù)都通過容易擴(kuò)展的Service Plugin來對接，而核心NSP維護(hù)的是抽象網(wǎng)絡(luò)服務(wù)數(shù)據(jù)，編排對接Portal和CloudStack都使用這一層抽象的網(wǎng)絡(luò)模型。

總結(jié)

除了網(wǎng)絡(luò)之外，計(jì)算和存儲都依托比較成熟的方案搭建，平安云收獲最寶貴的是架構(gòu)治理和業(yè)務(wù)入云的經(jīng)驗(yàn)，這種務(wù)實(shí)的戰(zhàn)略是平安云能夠在過去2年中迅速成長的關(guān)鍵。“架構(gòu)自主、但不做大的修改，以用為先”，對于很多企業(yè)來說，也是可以借鑒的。

網(wǎng)絡(luò)比較特殊，在很多云計(jì)算團(tuán)隊(duì)中，網(wǎng)絡(luò)都是一個比較邊緣化的領(lǐng)域，因?yàn)槿粘Ｃ鎸Φ挠布头?wù)器實(shí)在是過于不同，Neutron作為計(jì)算領(lǐng)域的專家提出的模型，并不一定是真實(shí)網(wǎng)絡(luò)的抽象，各個網(wǎng)絡(luò)設(shè)備供應(yīng)商在面對OpenStack浪潮中，更多地是遵從Neutron，而并沒有發(fā)展Neutron，有幸平安云在項(xiàng)目早期就很重視網(wǎng)絡(luò)服務(wù)，得以組建開發(fā)團(tuán)隊(duì)基于Neutron做了很多務(wù)實(shí)的拓展。使NSP能夠在不到1年的時間就能夠完成開發(fā)并且上線。

作者簡介：丘子雋，云平臺事業(yè)部云網(wǎng)絡(luò)服務(wù)組

軟件開發(fā)技術(shù)群

興趣范圍包括：Java，C/C++，Python，PHP，Ruby，shell等各種語言開發(fā)經(jīng)驗(yàn)交流，各種框架使用，外包項(xiàng)目機(jī)會，學(xué)習(xí)、培訓(xùn)、跳槽等交流

QQ群：26931708

Hadoop源代碼研究群

興趣范圍包括：Hadoop源代碼解讀，改進(jìn)，優(yōu)化，分布式系統(tǒng)場景定制，與Hadoop有關(guān)的各種開源項(xiàng)目，總之就是玩轉(zhuǎn)Hadoop

QQ群：288410967?