摘要：然而，盡管訓(xùn)練技術(shù)有了進(jìn)步，深度學(xué)習(xí)的規(guī)模還是存在問題。這種更具擴展性的深度網(wǎng)絡(luò)使百度得以實施一種端對端的語音識別系統(tǒng)，它被稱之為。研究人員試圖用分布式處理來構(gòu)建更廣泛的深度學(xué)習(xí)網(wǎng)絡(luò)，以便能處理更大的數(shù)據(jù)集。

隨著理論和硬件的飛速發(fā)展，神經(jīng)網(wǎng)絡(luò)已經(jīng)成為了在線服務(wù)（比如微軟的必應(yīng)）的核心部件，推動著它們圖像搜索和語音識別系統(tǒng)的發(fā)展。這些公司仰賴于這項技術(shù)來驅(qū)動未來更先進(jìn)的服務(wù)，所以他們擴大了神經(jīng)網(wǎng)絡(luò)的規(guī)模，用來處理更加復(fù)雜的問題。

算起來，神經(jīng)網(wǎng)絡(luò)已經(jīng)發(fā)展了很多年，從50年前的最初構(gòu)想，到現(xiàn)在已經(jīng)成為信息技術(shù)應(yīng)用不可或缺的部分。20世紀(jì)90年代，神經(jīng)網(wǎng)絡(luò)曾引起了一陣熱潮。但那之后，為了克服它們在傳統(tǒng)計算機上的慘淡性能，高度專業(yè)化的集成電路逐步發(fā)展起來了，神經(jīng)網(wǎng)絡(luò)慢慢被其他算法所超越，比如圖像處理中的支持向量機和語音識別中的高斯模型。

在過去，人們使用的神經(jīng)網(wǎng)絡(luò)都很簡單，最多只有三層，包括一個輸入層、一個中間的「隱藏」層，還有一個輸出層。跨層的神經(jīng)元之間聯(lián)系得非常緊密。每個神經(jīng)元都將它的輸出灌輸給下一層神經(jīng)元。訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法是反復(fù)地調(diào)整每個神經(jīng)元應(yīng)用在輸入數(shù)據(jù)上的權(quán)重，以便將整個網(wǎng)絡(luò)的輸出結(jié)果與理想值之間的誤差減少到最小。

盡管神經(jīng)科學(xué)告訴我們，人腦擁有更加復(fù)雜深邃的結(jié)構(gòu)，包含著許多隱藏層，但早期的此類深層網(wǎng)絡(luò)實驗結(jié)果卻比淺層網(wǎng)絡(luò)還糟糕。2006年，深層網(wǎng)絡(luò)終于取得了重要的進(jìn)展，這要歸功于多倫多大學(xué)的Geoffrey Hinton和Ruslan Salakhutdinov。他們改進(jìn)了訓(xùn)練技術(shù)，對包含多個隱藏層的神經(jīng)網(wǎng)絡(luò)尤其有效。其中一個技術(shù)是「預(yù)訓(xùn)練」（pre-training），即在優(yōu)化整個網(wǎng)絡(luò)的輸出之前，先分別獨立地調(diào)整每層的輸出。這種方法使得較上層可以抽象出高層特征，較下層的隱藏層就可以更有效地運用這些特征來對數(shù)據(jù)進(jìn)行分類。

然而，盡管訓(xùn)練技術(shù)有了進(jìn)步，深度學(xué)習(xí)的規(guī)模還是存在問題。神經(jīng)元之間需要完全地相互連接，尤其是在較上層，這需要強大的計算能力。一個圖像處理應(yīng)用的首層就可能需要分析上百萬個像素。而對深度網(wǎng)絡(luò)來說，多層神經(jīng)元之間的相連會產(chǎn)生數(shù)量級的增長。瑞士Dalle Molle人工智能研究所（IDSIA）的Dan Cire?an說：「每張圖片都需要處理幾十億，甚至幾千億個連接。」他還補充道，訓(xùn)練如此巨大規(guī)模的神經(jīng)網(wǎng)絡(luò)，需要一千萬億個浮點運算。

一些研究人員，諸如Cire?an，發(fā)現(xiàn)可以使用另類的計算機結(jié)構(gòu)來大量地提升處理速度。AMD及年Vidia出產(chǎn)的圖形處理器(GPU，也就是顯卡的處理器)為研究人員提供了足以并行處理上百個浮點運算的計算能力。此前，神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的提速研究主要都圍繞相對于比較好編程，但是相對較慢的計算機集群而展開。在一項深度學(xué)習(xí)網(wǎng)絡(luò)被訓(xùn)練尋找生物細(xì)胞分裂的視覺特征的實驗中，Cire?an表示整個訓(xùn)練過程在傳統(tǒng)的CPU上將花費5個月的時間；「然而在GPU上只需要3天。」

Facebook人工智能研究主管、紐約大學(xué)數(shù)據(jù)科學(xué)中心創(chuàng)始人Yann LeCun說：「過去，神經(jīng)網(wǎng)絡(luò)并沒能在持續(xù)語音識別方面得到什么突破；這是因為他們（過去使用的神經(jīng)網(wǎng)絡(luò)）不夠大。當(dāng)人們開始嘗試使用深度神經(jīng)網(wǎng)絡(luò)代替高斯模型的時候，錯誤率大大地下降了。」

使用深度神經(jīng)網(wǎng)絡(luò)表現(xiàn)出超過三分之一的提高，將語音識別的錯誤率從35%降低到低于25%。在此基礎(chǔ)上對其進(jìn)行優(yōu)化，還可以帶來的更多的提高空間。

這種形式的學(xué)習(xí)依然有一定的局限性。DeepMind —— 一家在2014年初被谷歌以4億美金收購，位于英國倫敦的公司 —— 使用電子游戲來評估深度神經(jīng)網(wǎng)絡(luò)解決各種不同類型問題的能力。谷哥研究員Volodymyr Mnih說這種系統(tǒng)無法處理尋找迷宮出口這類需要完成多個階段才能獲得獎勵的游戲。這種情況下，神經(jīng)網(wǎng)絡(luò)基本無法從隨機開始的失敗嘗試中學(xué)到什么東西。深度學(xué)習(xí)網(wǎng)絡(luò)在類似Breakout和Virtual Pinball這類游戲中表現(xiàn)還是不錯的，雖然成功或許會來得比較慢，但是還是可以從隨機的嘗試結(jié)果中學(xué)到些什么。

在深度學(xué)習(xí)的商業(yè)化應(yīng)用方面，研究團隊都將目光集中于使用現(xiàn)場可編程門陣列（FPGA，一種可以被編程改變自身結(jié)構(gòu)的硬件——譯者注）設(shè)計的定制計算硬件。這些定制的電路設(shè)計結(jié)合了可編程邏輯查找表，為優(yōu)化數(shù)字型號處理優(yōu)化的特別設(shè)計的計算邏輯元件，以及一矩陣的用于定義這些部分之間是怎么連接起來的內(nèi)存條。

目前國內(nèi)的百度正使用深度神經(jīng)網(wǎng)絡(luò)來進(jìn)行語音識別和圖像搜索，從而優(yōu)化基于上下文內(nèi)容的廣告。百度此前決定在成品服務(wù)器中使用現(xiàn)場可編程門陣列（FPGA，一種可以被編程改變自身結(jié)構(gòu)的硬件——譯者注）而非圖像處理器群（GPUs）。百度高級架構(gòu)師Jian Ouyang表示，雖然單個的圖像處理器群在百度使用的深度神經(jīng)網(wǎng)絡(luò)中能夠提供較高峰值的浮點運算表現(xiàn)，但現(xiàn)場可編程門陣列在同樣表現(xiàn)下需要的功率更低，因為能夠安裝在刀鋒服務(wù)器上，依靠主板上的串行總線連接就能供電。現(xiàn)場可編程門陣列的核心優(yōu)勢在于，因為上一次的計算結(jié)果能夠直接供給下一次計算，而不需要保存在主存儲器中，因此，所需要的存儲帶寬要遠(yuǎn)低于使用GPU或者CPU。

「使用現(xiàn)場可編程門陣列，我們不需要對服務(wù)器設(shè)計和環(huán)境進(jìn)行修改，從而易于配置在大規(guī)模服務(wù)器上。同時，我們也需要在現(xiàn)場可編程門陣列上配置很多得到支持的功能。但它們的可重構(gòu)性可以幫助我們根據(jù)實際需求來選擇將它們移入或移出現(xiàn)場可編程門陣列。重新配置的時間少于10微秒。」Ouyang說。

他進(jìn)一步談到：「百度團隊在使用了一種簡化過的浮點運算引擎后，進(jìn)一步節(jié)約了空間。處理器提供的標(biāo)準(zhǔn)浮點運算實現(xiàn)能夠處理所有可能的意外。更何況在我們的情況下，我們不需要處理IEEE標(biāo)準(zhǔn)下的所有意外。」

除了想方設(shè)法使用更有效的處理器，研究者還在嘗試使用分布式處理方式來構(gòu)造更大的深度神經(jīng)網(wǎng)絡(luò)，它們能夠應(yīng)對更加龐大的數(shù)據(jù)集。深度網(wǎng)絡(luò)中的轉(zhuǎn)移延遲會對訓(xùn)練速度產(chǎn)生嚴(yán)重影響。但是，用無限帶寬技術(shù)來取代以太網(wǎng)就可以對訓(xùn)練算法進(jìn)行重排，這會降低延遲，2013年，一支來自斯坦福的團隊就是借助這種方法使多重并行GPUs幾乎達(dá)到了線性加速。微軟在近期研究中用CPUs群取代GPUs群，開發(fā)了一種對訓(xùn)練的同步需求進(jìn)行放松的方法，從而可以交叉在幾千臺機器中執(zhí)行。

這種更具擴展性的深度網(wǎng)絡(luò)使百度得以實施一種「端對端」的語音識別系統(tǒng)，它被稱之為Deep Speech。該系統(tǒng)不依賴于傳統(tǒng)語音處理算法的輸出，例如使用隱馬爾科夫模型來提高輸入較為嘈雜時的表現(xiàn)水平。針對嘈雜環(huán)境下的數(shù)據(jù)集，Deep Speech將詞匯識別的錯誤率降低到了19%，相比之下，2014年底較好的商用系統(tǒng)的錯誤率為30.5%。

但是，通過多個更小規(guī)模的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)預(yù)處理和結(jié)果匯總將比完全依靠神經(jīng)網(wǎng)絡(luò)更加有效。Cire?an已經(jīng)借助于圖像失真的借口結(jié)合和較小網(wǎng)絡(luò)的「委員會」（即將多個較小網(wǎng)絡(luò)整合在一起）來降低錯誤率，效果要優(yōu)于多帶帶一個更大的深度學(xué)習(xí)網(wǎng)絡(luò)。在一次交通信號識別測試中，多種技術(shù)的結(jié)合取得了比人類觀察者更好的表現(xiàn)。

研究人員試圖用分布式處理來構(gòu)建更廣泛的深度學(xué)習(xí)網(wǎng)絡(luò)，以便能處理更大的數(shù)據(jù)集。

決定使用哪種變形來針對某一類模式是需要人為干預(yù)的。Ciresan稱，讓網(wǎng)絡(luò)自己學(xué)習(xí)較佳的變形組合是非常困難的 ，但對建立系統(tǒng)的人來說卻很容易。

一個傳統(tǒng)深入學(xué)習(xí)的潛在問題是對數(shù)據(jù)的訪問，Neil Lawrence是謝菲爾德大學(xué)計算機科學(xué)系機器學(xué)習(xí)領(lǐng)域的教授，他認(rèn)為，深入學(xué)習(xí)模型在數(shù)據(jù)集被妥當(dāng)歸類，和模型能以大量妥善標(biāo)注的數(shù)據(jù)訓(xùn)練的情況下表現(xiàn)的很好。「但是，臨床數(shù)據(jù)，作為激起我興趣的一個領(lǐng)域，并非是這種情況。臨床數(shù)據(jù)中，在多數(shù)情況下，很多人沒有得到廣泛的臨床測試。另外，臨床測試在不斷變遷，影響病人的疾病也在不斷進(jìn)化。這是一個『缺乏大量數(shù)據(jù)』的例子。」

Lawrence和其他人建議在神經(jīng)網(wǎng)絡(luò)中使用涉及概率論的高斯處理，用以提高對較小數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)表現(xiàn)不佳的應(yīng)用領(lǐng)域的學(xué)習(xí)聊率， 比如在健康領(lǐng)域，其數(shù)據(jù)和不同數(shù)據(jù)集有相互關(guān)聯(lián)。所選定的數(shù)據(jù)可能不在某些數(shù)據(jù)集里，對此類情況，概率模型比傳統(tǒng)的機器學(xué)習(xí)能夠有更好的表現(xiàn)。這項研究的進(jìn)展落后于對神經(jīng)網(wǎng)絡(luò)的的研究，但研究人員已開始研究有效的訓(xùn)練方法，并采用多GPU系統(tǒng)來擴大處理的規(guī)模。

Lawrence說：「算法是個額外的負(fù)擔(dān)。它使得網(wǎng)絡(luò)中產(chǎn)生不確定性，這就是算法問題所在，但是也我們突破最多的地方。」

在Lawrence看來，基于高斯處理的深入學(xué)習(xí)系統(tǒng)往往需要更多的計算能力，但系統(tǒng)能自動決定網(wǎng)絡(luò)需要幾層高斯處理。基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)目前還做不到這點。「這種結(jié)構(gòu)式的學(xué)習(xí)很令人興奮，也是讓我們考慮這類模型的最初動機之一。」

針對目前更被熟知的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，cirensan表示，他們在研究超越極限去建造更大更有效的模型，「但是我們更想做的事是：更好地了解深入學(xué)習(xí)為何會有效。」