摘要：另有證據(jù)表明，微軟內(nèi)部規(guī)模達(dá)數(shù)級(jí)別的存儲(chǔ)采用的是一種名為的腳本語(yǔ)言，旨在處理特定的分析類(lèi)調(diào)度任務(wù)。微軟雅黑宋體的強(qiáng)大實(shí)力為微軟帶來(lái)了顯著收益，因?yàn)樗行岣吡嗽摴驹隈{馭其價(jià)值數(shù)十億美元的計(jì)算設(shè)備時(shí)所表現(xiàn)出的工作效率。

作為微軟首席執(zhí)行官，薩蒂亞·納德拉可能還是位初來(lái)乍到的新人，但他對(duì)于該公司的關(guān)鍵性?xún)?nèi)部工具以及與Amazon及谷歌開(kāi)展競(jìng)爭(zhēng)的方案早已非常熟稔：這正是名為Autopilot的一款復(fù)雜度極高的軟件系統(tǒng)。

Autopilot是一款幫助微軟將數(shù)百萬(wàn)臺(tái)服務(wù)器以及上萬(wàn)PB海量數(shù)據(jù)融合成一整套龐大強(qiáng)勁計(jì)算及存儲(chǔ)資源池的工具。如果沒(méi)有Autopilot，納德拉之前所領(lǐng)導(dǎo)的服務(wù)器與工具、在線服務(wù)、搜索與廣告乃至云與企業(yè)部門(mén)都將變得一塌糊涂、完全沒(méi)有可靠性可言。

談到使用Autopilot的感受，Windows Azure業(yè)務(wù)總經(jīng)理Mike Neil在接受我們采訪時(shí)表示，就像手握著“一輛價(jià)值數(shù)十億美元的超級(jí)豪車(chē)的鑰匙。”

微軟很少在公開(kāi)場(chǎng)合談?wù)揂utopilot，而且迄今為止也只在兩份官方文件中談到過(guò)這款工具：一份發(fā)布于2007年、如今早已過(guò)時(shí)的文章，題為《Autopilot：自動(dòng)化數(shù)據(jù)中心管理》;另一個(gè)則是2013年發(fā)布的網(wǎng)頁(yè)，其中解釋了Autopilot的開(kāi)發(fā)團(tuán)隊(duì)如何憑借在這套系統(tǒng)研發(fā)工作中的不懈努力贏得“杰出技術(shù)成就”獎(jiǎng)。

Autopilot之所以一直保持籠罩著神秘的面紗，部分原因在于直到現(xiàn)在、微軟營(yíng)銷(xiāo)部門(mén)仍宣稱(chēng)它用于運(yùn)行云環(huán)境的全部組件都能為公眾所直接購(gòu)買(mǎi)。

對(duì)于熟悉分布式系統(tǒng)的行家們來(lái)說(shuō)，大型IT設(shè)施的特殊性質(zhì)以及復(fù)雜的相關(guān)要求絕不是輕易就能搞定的，因此微軟的這種說(shuō)辭始終難以令人信服。不過(guò)如今我們終于揭開(kāi)了正確答案：沒(méi)錯(cuò)，微軟確實(shí)在內(nèi)部使用了大量自有商用軟件來(lái)運(yùn)行云環(huán)境，但“絕大多數(shù)”運(yùn)行在微軟數(shù)據(jù)中心內(nèi)的應(yīng)用程序最終都要以Autopilot系統(tǒng)為基礎(chǔ)。

“Autopilot軟件現(xiàn)在已經(jīng)徹底實(shí)現(xiàn)了整個(gè)服務(wù)器運(yùn)行周期的自動(dòng)化目標(biāo)，從啟動(dòng)、操作系統(tǒng)安裝到故障檢測(cè)與修復(fù)，再到反復(fù)啟動(dòng)與供應(yīng)商不良產(chǎn)品退返，”微軟方面解釋道,“Autopilot技術(shù)小組已經(jīng)可以順利謝幕，因?yàn)樗麄兇蛟斓姆桨刚ㄟ^(guò)悄無(wú)聲息的運(yùn)轉(zhuǎn)給微軟在互聯(lián)網(wǎng)規(guī)模服務(wù)的轉(zhuǎn)型帶來(lái)深遠(yuǎn)影響與有力支持。”

它同時(shí)也有助于為應(yīng)用程序分配資源、在作業(yè)運(yùn)行時(shí)設(shè)定進(jìn)程規(guī)劃、從數(shù)百萬(wàn)臺(tái)計(jì)算設(shè)備中收集信息并在最多一分鐘之內(nèi)給出經(jīng)過(guò)優(yōu)化的可利用信息，而且也成為了其它更為神秘的先進(jìn)技術(shù)的組成部分——例如艾字節(jié)級(jí)別COSMOS數(shù)據(jù)分析引擎，我們所熟知的Bing、Xbox Live以及Windows Azure都建立在這套引擎的基礎(chǔ)之上。

最后，Autopilot已經(jīng)與經(jīng)過(guò)重新設(shè)計(jì)的微軟數(shù)據(jù)中心硬件緊密契合在一起，這標(biāo)志著微軟已經(jīng)不再?gòu)膫鹘y(tǒng)供應(yīng)商手中購(gòu)買(mǎi)高端設(shè)備、轉(zhuǎn)而自行設(shè)計(jì)商用型廉價(jià)服務(wù)器——這些計(jì)算設(shè)備的構(gòu)成方式已經(jīng)隨著今年一月微軟加入Facebook開(kāi)放計(jì)算項(xiàng)目而公諸天下。

換句話(huà)來(lái)說(shuō)，如果微軟的服務(wù)器是提線木偶，那么Autopilot就是幕后那只看不見(jiàn)的操縱之手以及構(gòu)建木偶表演舞臺(tái)的關(guān)鍵性角色。

Neil將Autopilot比作了波音747客機(jī)：“它龐大、復(fù)雜而且轟隆作響”。根據(jù)他的解釋?zhuān)@套系統(tǒng)的設(shè)計(jì)目的在于“將工作負(fù)載從飛行員(也就是數(shù)據(jù)中心系統(tǒng)管理員)肩上卸下來(lái)，從而讓這些優(yōu)秀人才能把精力集中在其它更重要的事情身上。”

Autopilot的關(guān)鍵性任務(wù)之一就是處理底層基礎(chǔ)設(shè)施的配置工作。

當(dāng)微軟希望為其遍布全球的“十到一百”家數(shù)據(jù)中心添加容量資源時(shí)，他們通常會(huì)在一個(gè)集裝箱里塞進(jìn)約上萬(wàn)個(gè)計(jì)算節(jié)點(diǎn)——用微軟方面的說(shuō)法這叫作“ITPAC”。一旦這些設(shè)備與數(shù)據(jù)中心的電網(wǎng)接駁完畢，Autopilot就開(kāi)始檢查所有新服務(wù)器是否經(jīng)過(guò)正確配置、相關(guān)網(wǎng)絡(luò)是否工作良好，同時(shí)幫助將它們與系統(tǒng)中的其它部分進(jìn)行對(duì)接。

“Autopilot不僅為主機(jī)部署并管理操作系統(tǒng)鏡像，同時(shí)也負(fù)責(zé)管理已經(jīng)部署完成的應(yīng)用程序，”Neil解釋稱(chēng),“這套代理機(jī)制與操作系統(tǒng)鏡像如影隨行，而且也是我們SDN解決方案的組成部分。SDN解決方案同時(shí)管理著東西與南北流量，我們的拓樸結(jié)構(gòu)則帶來(lái)了相當(dāng)充裕的網(wǎng)絡(luò)帶寬以及路徑冗余。”

就算這些服務(wù)器已經(jīng)被納入微軟遍布全球的“超過(guò)百萬(wàn)臺(tái)服務(wù)器”網(wǎng)絡(luò)，Autopilot仍然能夠出力輔助對(duì)其進(jìn)行管理。

如果某臺(tái)服務(wù)器發(fā)生故障，Autopilot所具備的“自我修復(fù)”功能可以預(yù)防集群規(guī)模下的批量癱瘓，他指出,“設(shè)備故障狀況時(shí)有發(fā)生——Autopilot能夠采取整治行動(dòng)，從而幫我們解決這些疑難雜癥。這套系統(tǒng)擁有大量自動(dòng)修復(fù)操作規(guī)程，我們根本不用操心那些沒(méi)啥技術(shù)含量的雞毛小事。”

Autopilot還擁有一套極為精巧的調(diào)度組件，再用航空領(lǐng)域的例子來(lái)打比方，它能像空中交通管制員那樣打理微軟全球計(jì)算設(shè)備池內(nèi)不計(jì)其數(shù)、大大小小的各類(lèi)工作負(fù)載。

雜技、木偶、轉(zhuǎn)盤(pán)演員與監(jiān)督者

調(diào)度工作意味著系統(tǒng)必須以雜質(zhì)般的精準(zhǔn)手法處理不同類(lèi)型的應(yīng)用程序，這樣才能為第一層應(yīng)用程序提供可靠的性能保證——例如面向付費(fèi)客戶(hù)的Azure工作負(fù)載——同時(shí)“壓縮”低優(yōu)先級(jí)工作負(fù)載(例如面向微軟內(nèi)部項(xiàng)目的批處理作業(yè))所占用的資源容量。

“如果大家把操作系統(tǒng)看成是一臺(tái)計(jì)算機(jī)的話(huà)，那就相當(dāng)于選擇了搶占式調(diào)度方案——即在環(huán)境中同時(shí)運(yùn)行多個(gè)應(yīng)用程序以及時(shí)間片，”Neil解釋道，“在這方面，我們正在努力搞定裝箱問(wèn)題——這是個(gè)非常經(jīng)典的難題，要找到較佳答案可不簡(jiǎn)單、而且對(duì)網(wǎng)絡(luò)處理器來(lái)說(shuō)負(fù)擔(dān)也很重。”

Neil無(wú)法就Autopilot調(diào)度機(jī)制的具體特點(diǎn)提供進(jìn)一步信息，不過(guò)最近由微軟研究院發(fā)布的一篇學(xué)術(shù)論文指出，該公司正計(jì)劃以自動(dòng)方式進(jìn)一步提升工作負(fù)載壓縮流程、從而有效實(shí)現(xiàn)作業(yè)安排。(另有證據(jù)表明，微軟內(nèi)部規(guī)模達(dá)數(shù)EB級(jí)別的‘COSMOS’存儲(chǔ)采用的是一種名為‘SCOPE’的腳本語(yǔ)言，旨在處理特定的分析類(lèi)調(diào)度任務(wù)。)

這種調(diào)度組件的存在意味著Autopilot除了扮演木偶操縱者之外，同時(shí)也身兼轉(zhuǎn)盤(pán)演員角色。

集裝箱中的服務(wù)器們?cè)诒贿\(yùn)抵微軟數(shù)據(jù)中心之后，最先遇見(jiàn)的軟件就將是Autopilot

而且與谷歌(即Borg及其繼任者Omega)以及Twitter(Mesos)所使用的系統(tǒng)類(lèi)似，Autopilot的復(fù)雜程度使其更像是一位技術(shù)嫻熟但卻不善溝通的同事、而不僅僅是套實(shí)用的管理系統(tǒng)。

“我們必須學(xué)會(huì)習(xí)慣的是，要適應(yīng)放棄對(duì)這套系統(tǒng)的全面控制并允許它作出正確的判斷與操作，一定得信任它——它可能會(huì)采取一些我們自己并不了解的處理步驟，”Neil指出，“這些系統(tǒng)規(guī)模如此龐大，以至于沒(méi)人能對(duì)其進(jìn)行全面追蹤。而這也正是該系統(tǒng)的設(shè)計(jì)目的——處理一切細(xì)節(jié)事務(wù)。”

Autopilot還會(huì)收集大量數(shù)據(jù)，從而幫助微軟對(duì)自己的基礎(chǔ)設(shè)施加以分析并由此定位問(wèn)題。

“我們掌握著全部與處理器負(fù)載以及內(nèi)存負(fù)載有關(guān)的信息，”Neil解釋稱(chēng)，“人們往往容易忽略這樣一種普遍狀況，即我們所擁有的物理設(shè)備是存在容量極限的，第一時(shí)間掌握資源剩余情況非常非常重要。可能大家使用的某款應(yīng)用程序會(huì)導(dǎo)致內(nèi)存耗盡，及時(shí)發(fā)現(xiàn)這種情況有助于我們對(duì)關(guān)鍵性組件進(jìn)行優(yōu)化。”

盡管該服務(wù)中包含關(guān)于CPU、內(nèi)存、網(wǎng)絡(luò)以及磁盤(pán)使用情況等多種指標(biāo)，但Neil表示“我們通過(guò)實(shí)踐經(jīng)驗(yàn)了解到，通過(guò)不間斷監(jiān)控所獲得的終端到終端測(cè)試結(jié)果往往更加有效。舉例來(lái)說(shuō)，我們可以發(fā)出一條搜索查詢(xún)、驗(yàn)證能否得到有效結(jié)果，并比對(duì)結(jié)果的實(shí)際返回時(shí)間與我們的預(yù)期范圍是否相符。我們把這樣的工作內(nèi)容稱(chēng)為監(jiān)督者。不同的結(jié)果能夠觸發(fā)自動(dòng)修復(fù)或者讓我們回滾到原先曾經(jīng)部署過(guò)的早期版本。”

從這個(gè)角度來(lái)說(shuō)，Autopilot擁有了與谷歌系統(tǒng)截然不同的特性。相比之下，后者利用一項(xiàng)名為CPI2的先進(jìn)技術(shù)收集更多細(xì)節(jié)指標(biāo)，并借此幫助谷歌定位運(yùn)行在單一處理器上的單一任務(wù)所遭遇的性能問(wèn)題，并有選擇性地加以解決。

Autopilot的強(qiáng)大實(shí)力為微軟帶來(lái)了顯著收益，因?yàn)樗行岣吡嗽摴驹隈{馭其價(jià)值數(shù)十億美元的計(jì)算設(shè)備時(shí)所表現(xiàn)出的工作效率。隨著微軟公司在云計(jì)算大師納德拉的帶領(lǐng)下逐步向“設(shè)備與服務(wù)”企業(yè)轉(zhuǎn)型，Autopilot的重要性只會(huì)隨著時(shí)間的推移外加微軟沖擊廣闊數(shù)字化世界而愈發(fā)得到凸顯。有了Autopilot，Neil認(rèn)為微軟相當(dāng)于擁有了“足以應(yīng)對(duì)這個(gè)全新云世界的操作系統(tǒng)。”

可以肯定，納德拉也抱有同樣的期望。