摘要：有幾次，人工智能死在人工神經(jīng)網(wǎng)絡(luò)上。在過(guò)去十年中，他一直在舉辦為期一周的有關(guān)神經(jīng)網(wǎng)絡(luò)的暑期學(xué)校，我曾經(jīng)拜訪過(guò)。神經(jīng)網(wǎng)絡(luò)壓縮信息之后，這些信息無(wú)法復(fù)原。

魔法已經(jīng)進(jìn)入這個(gè)世界。如今，許多美國(guó)人口袋里裝著薄薄的黑色平板，這些機(jī)器接入遙遠(yuǎn)的數(shù)字云和衛(wèi)星，它們解碼語(yǔ)言、通過(guò)攝像頭觀察并標(biāo)記現(xiàn)實(shí)，挖掘個(gè)人數(shù)據(jù)，它們以某種方式理解、預(yù)測(cè)著我們的心愿。傾聽(tīng)、幫助著人類。

因?yàn)榕c多倫多大學(xué)有個(gè)約會(huì)，這個(gè)夏天，我如約而至，走出市區(qū)賓館，感到了些許秋天的氣息，手機(jī)「向?qū)А挂讶淮Ｎ覇?wèn)路邊哪里可以找到咖啡。它給了答案。機(jī)器知道什么？它是怎么學(xué)到的？使用技術(shù)和理解技術(shù)之間的鴻溝，遠(yuǎn)比我們所知道的還要寬。機(jī)器是怎么工作的？據(jù)我所知，沒(méi)有人能準(zhǔn)確地說(shuō)明白。我們知道的和機(jī)器知道的之間有什么差距和聯(lián)系呢？這個(gè)問(wèn)題上，有一個(gè)人最有發(fā)言權(quán)，此刻我正手捧著咖啡，走向他。

Geoffrey Hinton，一位學(xué)院派的計(jì)算機(jī)科學(xué)家，是這個(gè)領(lǐng)域的火炬手，他的整個(gè)職業(yè)生涯都是與少數(shù)同伴一起，堅(jiān)守者人工智能，而該理念早已被其他同行摒棄多次。他是一個(gè)才華橫溢但卻被邊緣化的人，一個(gè)信徒，一個(gè)不得不把自己的想法掩藏在晦澀的語(yǔ)言中以通過(guò)同行評(píng)審的性情乖戾的程序員。他堅(jiān)定地認(rèn)為，雖然我們對(duì)大腦知之甚少，但即使是大腦的玩具模型，也會(huì)在計(jì)算能力方面比傳統(tǒng)的人工智能更強(qiáng)、更靈活。他的思想和算法將會(huì)為我們生活的方方面面注入活力，他是人工神經(jīng)網(wǎng)絡(luò)的大師。

這種網(wǎng)絡(luò)，現(xiàn)已更名為「深度學(xué)習(xí)」，在過(guò)去的幾年中，無(wú)人出其左右，還登上了《紐約時(shí)報(bào)》頭版。由于擅長(zhǎng)處理語(yǔ)音、視覺(jué)以及其他復(fù)雜人機(jī)交互，神經(jīng)網(wǎng)路已經(jīng)被谷歌、Facebook、微軟、百度——任何你能想象到的技術(shù)先驅(qū)——欣然采納。在這些公司里，神經(jīng)網(wǎng)絡(luò)已經(jīng)證明了一種有效的可以吸收大量數(shù)據(jù)并從中進(jìn)行有價(jià)值預(yù)測(cè)的處理方式：怎樣讓你的數(shù)據(jù)中心更高效節(jié)能？此用戶之后有買(mǎi)車(chē)的意愿嗎？科技公司對(duì)每一個(gè)擅長(zhǎng)神經(jīng)網(wǎng)路的程序員展開(kāi)了激烈角逐，他們一直從學(xué)術(shù)界重金聘用人才。據(jù)報(bào)道，去年谷歌花費(fèi)超過(guò)4億美元收購(gòu)DeepMind公司，它們沒(méi)有產(chǎn)品，只是將將「記憶」集成到了學(xué)習(xí)算法中。在那之前，谷歌買(mǎi)下了Hinton的項(xiàng)目，具體價(jià)格未公開(kāi)。

在技術(shù)領(lǐng)域，深度學(xué)習(xí)似乎無(wú)孔不入。在過(guò)去的幾個(gè)月里，我郵箱里關(guān)于深度學(xué)習(xí)的報(bào)道堆積成山：深度學(xué)習(xí)識(shí)別出患有自閉癥風(fēng)險(xiǎn)的基因；深度學(xué)習(xí)為圖片和視頻自動(dòng)添加標(biāo)題；深度學(xué)習(xí)識(shí)別大型強(qiáng)子對(duì)撞機(jī)中的粒子；使用深度學(xué)習(xí)來(lái)引導(dǎo)汽車(chē)和機(jī)器人。

伴隨著一篇篇報(bào)道，深度學(xué)習(xí)將人工智能這個(gè)概念帶入到公眾視野，盡管還沒(méi)有一些具體應(yīng)用。我們應(yīng)該擔(dān)心機(jī)器人革命的到來(lái)嗎？注意：不是現(xiàn)在，也許在50年后。）這些程序員真的蠢到這種地步——以為他們真的是在模仿大腦嗎？不是。我們正在向著具有真正智能的機(jī)器的方向前進(jìn)嗎？這取決于你如何定義智能。面對(duì)天花亂墜的宣傳，深度學(xué)習(xí)能不辜負(fù)這些「夸張報(bào)道」嗎？

對(duì)深度學(xué)習(xí)的大肆吹捧招來(lái)許多研究人員的警告——如果不注意這些潛在風(fēng)險(xiǎn)，他們將面臨人工智能的反擊。「這很有殺傷力。」紐約大學(xué)教授、現(xiàn)Facebook 人工智能研究負(fù)責(zé)人Yann LeCun說(shuō)，人工智能曾有過(guò)三四次這樣的經(jīng)歷——死于過(guò)度炒作。

有幾次，人工智能死在人工神經(jīng)網(wǎng)絡(luò)上。在上世紀(jì)60年代，神經(jīng)網(wǎng)絡(luò)一度勢(shì)如破竹，不料卻因晶體管的局限性而跌下神壇，這種情況在80年代又重復(fù)出現(xiàn)。Hinton的一個(gè)老搭檔告訴我，在那段黑暗的日子里，象Hinton和LeCun這樣一心一意堅(jiān)持的研究人員，如墮鼠洞，被學(xué)術(shù)界無(wú)視。幾乎沒(méi)有人預(yù)料到會(huì)有第三次上升。許多人仍然擔(dān)心會(huì)有另一場(chǎng)崩潰。

然而，Hinton卻充滿信心。他邀我前往多倫多去了解這個(gè)新領(lǐng)域的深刻過(guò)往。在過(guò)去十年中，他一直在舉辦為期一周的有關(guān)神經(jīng)網(wǎng)絡(luò)的暑期學(xué)校，我曾經(jīng)拜訪過(guò)。那時(shí)天氣炎熱，一整天枯燥的報(bào)告，一群年輕人，大部分是男性，滿懷希望的擠進(jìn)擁擠的教室。我在Hinton的辦公室找到了他，雖然已經(jīng)退休但辦公室仍為他保留著。他站在那里，腰背有點(diǎn)吃力。這半年他總是乘火車(chē)前往位于加州的谷歌總部。他的門(mén)上裝飾著一些難以辨認(rèn)的手寫(xiě)體數(shù)字，它們是從記錄著神經(jīng)網(wǎng)絡(luò)早期成果的數(shù)據(jù)集中截取下來(lái)的。

67歲的 Hinton很難會(huì)跟自己過(guò)不去。在經(jīng)歷被邊緣化的一生后，如今，他幾乎能和每個(gè)遇到的人打交道。例如，在多倫多時(shí)，他在地處市區(qū)谷歌辦公室的外面工作，這里都是廣告部員工。他是的研究人員。偶爾會(huì)有好奇的員工悄悄走過(guò)來(lái)問(wèn)：「你是做什么的呢？」

「你有一個(gè)安卓手機(jī)嗎？ 」 ?Hinton回應(yīng)到。

「有。」

「語(yǔ)音識(shí)別很棒，不是嗎？ 」

「是，很棒。 」

「嗯，我的工作就是設(shè)計(jì)能夠識(shí)別語(yǔ)音的神經(jīng)網(wǎng)絡(luò)。 」

提問(wèn)者幾乎總是陷入沉思。

「等等，你什么意思呢？ 」（譯者注：這說(shuō)明大多數(shù)人還是不能理解神經(jīng)網(wǎng)絡(luò)的真實(shí)含義。）

只要我們?cè)噲D創(chuàng)造「會(huì)思考」的計(jì)算機(jī)，研究人員就會(huì)立刻為它們應(yīng)該怎樣運(yùn)行而爭(zhēng)吵。計(jì)算機(jī)應(yīng)該模擬（我們想象中的）人腦思維的工作方式嗎，就像是認(rèn)為邏輯和抽象思維都能被程序語(yǔ)言來(lái)表達(dá)的笛卡爾理論。或者，不去模仿真實(shí)物理上的大腦，而是模仿大腦的簡(jiǎn)化版——擁有神經(jīng)元網(wǎng)絡(luò)和突觸，以希望網(wǎng)絡(luò)實(shí)現(xiàn)更高的計(jì)算能力？正是這一爭(zhēng)議在歷經(jīng)數(shù)載后孕育出人工智能。

康奈爾航空實(shí)驗(yàn)室心理學(xué)家Frank Rosenblatt，是上世紀(jì)50年代后期的大腦模仿先驅(qū)。他的工作靈感源自Donald O. Hebb，這個(gè)人十年前就預(yù)測(cè)過(guò)學(xué)習(xí)機(jī)制：當(dāng)一個(gè)神經(jīng)元反復(fù)激活另一個(gè)神經(jīng)元，細(xì)胞就提高了它們的連接效率。認(rèn)知科學(xué)家喜歡這樣表述：「細(xì)胞互相激發(fā)，纏繞在一起」。Rosenblatt認(rèn)為，這個(gè)簡(jiǎn)單想法足以創(chuàng)造一個(gè)可以學(xué)會(huì)識(shí)別物體的機(jī)器。

并且他動(dòng)手做了一個(gè)：你現(xiàn)在可以在美國(guó)博物館Smithsonian里看到這臺(tái)被稱作「感知器」（他是這么稱呼它的）的各個(gè)部件。機(jī)器占據(jù)了整個(gè)實(shí)驗(yàn)室，它的運(yùn)作機(jī)制很簡(jiǎn)單，包括三層。在一端，用400個(gè)光傳感器來(lái)模擬視網(wǎng)膜；傳感器多次連接一組512個(gè)電子觸發(fā)器，當(dāng)它通過(guò)一個(gè)特定的可調(diào)節(jié)的興奮閥值時(shí)就會(huì)像神經(jīng)元一樣激發(fā)。這些觸發(fā)器連接到最后一層，當(dāng)一個(gè)物體與感知器受訓(xùn)見(jiàn)過(guò)的對(duì)象相互匹配時(shí)，它就會(huì)發(fā)出信號(hào)。

訓(xùn)練（Trained）是關(guān)鍵詞：感知器沒(méi)有被編程，但訓(xùn)練過(guò)。它自己不會(huì)學(xué)習(xí)。Rosenblatt創(chuàng)建了一個(gè)公式，來(lái)計(jì)算感知器正確或錯(cuò)誤的次數(shù)，而且錯(cuò)誤可以被追回，然后在512個(gè)觸發(fā)器中分別進(jìn)行修改。充分調(diào)整這些權(quán)重后，感知器可以開(kāi)始識(shí)別一些最基本的模式，比如，標(biāo)準(zhǔn)的字母形狀。

Rosenblat非常積極的來(lái)分享這個(gè)激動(dòng)人心的成果。1958年夏，他和他的贊助方美國(guó)海軍舉行了新聞發(fā)布會(huì)。就像科學(xué)界經(jīng)常發(fā)生的那樣，他開(kāi)始談?wù)撐磥?lái)。在研究人員聽(tīng)來(lái)，這未免顯得愚蠢可笑；但在今天聽(tīng)來(lái)，卻很有先見(jiàn)之明。《紐約時(shí)報(bào)》抓住了發(fā)布會(huì)的要點(diǎn)：

「海軍透露了一種電子計(jì)算機(jī)的雛形，它將能夠走路、說(shuō)話、看、寫(xiě)、自我復(fù)制并感知到自己的存在……據(jù)預(yù)測(cè)，不久以后，感知器將能夠識(shí)別出人并叫出他們的名字，立即把演講內(nèi)容翻譯成另一種語(yǔ)言并寫(xiě)下來(lái)。」

Rosenblatt的名聲使他的同行們心生反感，其中許多人已經(jīng)選擇追求基于規(guī)則的人工智能；雙方都在追逐軍事研究經(jīng)費(fèi)。最重要的是，麻省理工學(xué)院兩位杰出的計(jì)算機(jī)科學(xué)家Marvin Minsky 和Seymour Papert，試圖復(fù)制感知器并揭露其缺陷，成果于1969年集結(jié)成書(shū)，正是這本書(shū)險(xiǎn)些毀掉神經(jīng)網(wǎng)絡(luò)。他們說(shuō)，感知器天生具有局限。最根本的缺陷是，它學(xué)不會(huì)「異或」（exclusive or）邏輯，一種基本邏輯，兩個(gè)值相異時(shí)結(jié)果為真。

學(xué)習(xí)這種功能需要在感知器里額外添加一層。但是,沒(méi)人能從生物學(xué)層面找到一個(gè)合理的方式來(lái)計(jì)算、傳輸該「隱藏層」的調(diào)整活動(dòng)。神經(jīng)網(wǎng)絡(luò)壓縮信息之后，這些信息無(wú)法復(fù)原。如同無(wú)法倒流的時(shí)間。

研究停滯，研究經(jīng)費(fèi)也消失了。Minsky 和Papert贏得了這場(chǎng)戰(zhàn)爭(zhēng)。

盡管這些令人沮喪，但Rosenblatt找到了其他出路。他開(kāi)始著迷于另一個(gè)項(xiàng)目：該項(xiàng)目試圖證明，將一只老鼠的腦細(xì)胞移植到另一只老鼠后，大腦細(xì)胞仍會(huì)保留記憶。但是，這項(xiàng)工作并沒(méi)持續(xù)多久——Rosenblatt英年早逝，那是1971年的一次航海事故，獨(dú)自一人離開(kāi)這個(gè)世界，那天正是他的生日。好像神經(jīng)網(wǎng)絡(luò)也要隨他而去了。

沒(méi)人告訴Hinton這些。大學(xué)時(shí)期，Geoff Hinton不斷「跳槽」——化學(xué)、物理學(xué)、生物學(xué)、哲學(xué)和心理學(xué)等，最終，他申請(qǐng)到了愛(ài)丁堡大學(xué)的一個(gè)人工智能研究生項(xiàng)目。

Hinton來(lái)自一個(gè)逍遙派家族，家族成員都習(xí)慣去做他們自認(rèn)為較好的事情。比如，曾曾祖父之一的喬治·布爾（ George Boole）的代數(shù)成為計(jì)算機(jī)時(shí)代的一塊基石，其中包括打敗Rosenblatt的「異或」理論；另一位曾曾祖父管理著維多利亞時(shí)代的性俱樂(lè)部。他的祖父在墨西哥開(kāi)礦，他的父親是一名昆蟲(chóng)學(xué)家，「他認(rèn)為六條腿的動(dòng)物比兩條腿的東西更有趣。」

Hinton在青少年時(shí)期開(kāi)始沉迷于計(jì)算機(jī)和大腦。他能夠在十分鐘內(nèi)用刀片和六英寸長(zhǎng)的釘子、銅線，做出一臺(tái)繼電器；給他一個(gè)小時(shí)，他能給你整出一個(gè)振蕩器。

他一直堅(jiān)信：「如果你想去了解思維工作的方式，忽略大腦可能是個(gè)糟糕的想法」。用計(jì)算機(jī)建立一些簡(jiǎn)單的模型，然后觀察他們?nèi)绾芜\(yùn)作——似乎是個(gè)顯而易見(jiàn)的研究辦法，「這就是我至始至終一直在做的。」

不過(guò)，這個(gè)研究方法并非那么顯而易見(jiàn)。在他位于愛(ài)丁堡的公寓里，他是探究神經(jīng)網(wǎng)絡(luò)的人。研究進(jìn)展艱難。「看你挺聰明的一個(gè)人，」人們對(duì)他說(shuō)，「為什么要做這個(gè)？」

Hinton不得不進(jìn)行秘密研究。他的論文不能以神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)為主題；只好轉(zhuǎn)而關(guān)注電腦是否能夠推斷出圖片某個(gè)部分是什么，比如，人的一條腿。如果他在文中提到「神經(jīng)網(wǎng)絡(luò)」，他的論文就很可能無(wú)法通過(guò)同行評(píng)審；他不得不談?wù)摗咐硐刖W(wǎng)絡(luò)」。畢業(yè)后，他沒(méi)有找到全職的學(xué)術(shù)工作。但是，慢慢的，在1979年他組織的一次會(huì)議上，他找到了同道中人。

一位在索爾克生物研究所從事生物研究的計(jì)算神經(jīng)生物學(xué)家，也是后來(lái) Hinton 的長(zhǎng)期合作伙伴T(mén)errence J. Sejnowski說(shuō)：「我們都堅(jiān)信神經(jīng)網(wǎng)絡(luò)。可以說(shuō)是盲目信仰，因?yàn)槲覀儾荒苡脭?shù)學(xué)或其他方法來(lái)證明任何事情 。 」但是，當(dāng)看到基 于規(guī)則的人工智能搞不定諸如視覺(jué)難題時(shí)，他們知道自己手中握有王牌，Sejnowski補(bǔ)充道，「能夠解決這些問(wèn)題的行得通的系統(tǒng)就是大腦。」

Hinton習(xí)慣于挑戰(zhàn)權(quán)威，所以，20世紀(jì)80年代早期，他在加州大學(xué)兩位心理學(xué)家 David E. Rumelhart和 James L. McClelland指導(dǎo)下做博士后，也就不足為奇了。 Hinton 說(shuō)，「在加利福尼亞，學(xué)者們認(rèn)為有趣的觀點(diǎn)不止一個(gè)。」而他反過(guò)來(lái)賦予這些有趣觀點(diǎn)的計(jì)算機(jī)思維。McClelland說(shuō)：「我們認(rèn)為Geoff 獨(dú)具慧眼，他談到的事情，或許能夠開(kāi)拓新世界。」

在一個(gè)舒適的會(huì)議室，他們每周都開(kāi)會(huì)，尋 找能夠上溯到多層結(jié)構(gòu)的糾錯(cuò)機(jī)制的訓(xùn)練方法。 DNA結(jié)構(gòu)的聯(lián)合發(fā)現(xiàn)者 Francis Crick 在聽(tīng)說(shuō)他們的工作后也要求參加周會(huì)。McClelland說(shuō)：「我覺(jué)得他象《帽子里的魚(yú)（The Cat in the Hat）》中的魚(yú)」，他會(huì)給參會(huì)人員講解他們的想法是否合乎生物常理。

Hinton說(shuō)，這個(gè)組織過(guò)于局限在生物學(xué)領(lǐng)域。因此，假如神經(jīng)元不能發(fā)送反饋信號(hào)，會(huì)怎么樣？他們不能盲目再現(xiàn)大腦。這其實(shí)是一個(gè)數(shù)學(xué)問(wèn)題，Hinton 認(rèn)為，是個(gè)獲得一個(gè)損失函數(shù)的梯度的問(wèn)題。他們認(rèn)識(shí)到，設(shè)計(jì)出來(lái)的神經(jīng)元不能像開(kāi)關(guān)一樣。如果你將神經(jīng)網(wǎng)絡(luò)的計(jì)算看做一個(gè)沙漠地貌的話，這些神經(jīng)元就如同沿著陡峭懸崖進(jìn)行滑落；并且只有一個(gè)下落路徑。如果他們把這些東西看做一個(gè)更加優(yōu)雅的技巧——一個(gè)S型 函數(shù)——那么，這些神經(jīng)元就可以當(dāng)做一個(gè)閾值判斷器，但信息（除了下落）也可以從底部爬升回去。

當(dāng)這些還在繼續(xù)時(shí)，辛頓卻不得不離開(kāi)圣地亞哥（San Diego）。計(jì)算機(jī)科學(xué)部門(mén)決定不給他職位。他回到英國(guó)做了一份無(wú)聊的工作。某晚，他被一個(gè)叫 Charlie Smith男人的電話驚醒了。

「你不認(rèn)識(shí)我，但我認(rèn)識(shí)你。」Smith 告訴他，「我為System Development Corporation工作，想投資具有長(zhǎng)遠(yuǎn)規(guī)劃的項(xiàng)目。對(duì)于那些可能不可行、或者無(wú)法長(zhǎng)時(shí)間運(yùn)行的項(xiàng)目，格外有興趣。我一直在讀你的論文。」

Hinton從這個(gè)神秘的組織獲得了35萬(wàn)美元。他后來(lái)才知道這筆資助的來(lái)源：蘭德公司的一個(gè)非營(yíng)利子公司通過(guò)為開(kāi)發(fā)核導(dǎo)彈攻擊軟件獲得了數(shù)百萬(wàn)美元。政府以此要求他們，要么把這筆錢(qián)用來(lái)支付薪水，要么盡快散出去。這筆資助讓Hinton可以更加愉快的開(kāi)始研究。

回到圣地亞哥，Hinton繼續(xù)研究他們的算法數(shù)學(xué)，最初被命名為反向傳播（back-propagation）。完成后，他嘗試模擬那個(gè)曾經(jīng)的打敗 Rosenblatt的「異或」（exclusive or）操作，他讓系統(tǒng)整夜運(yùn)行。第二天早上，神經(jīng)網(wǎng)絡(luò)已經(jīng)學(xué)會(huì)了。

到20世紀(jì)80年代末，神經(jīng)網(wǎng)絡(luò)隨處可見(jiàn)。他們重返《紐約時(shí)報(bào)》，出現(xiàn)在有關(guān)圣地亞哥團(tuán)隊(duì)技術(shù)著作的書(shū)評(píng)里。許多公司認(rèn)為，神經(jīng)網(wǎng)絡(luò)有望解決很多問(wèn)題。就連好萊塢也以此博取眼球：比如，阿諾德 施瓦辛格扮演的機(jī)器人終結(jié)者說(shuō)：「我的CPU是一個(gè)神經(jīng)網(wǎng)絡(luò)處理器，一個(gè)會(huì)學(xué)習(xí)的計(jì)算機(jī)。」

Hinton 在卡內(nèi)基梅隆大學(xué)呆了幾年，他和Rumelhart、Ronald J. Williams 一致證明，神經(jīng)網(wǎng)絡(luò)能夠進(jìn)行特征的多層級(jí)學(xué)習(xí)，以這種神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，機(jī)器可以進(jìn)行復(fù)雜計(jì)算。但是，他對(duì)反向傳播（BP）并不滿意，包括LeCun在內(nèi)的其他幾位也發(fā)明了反向傳播——結(jié)果也沒(méi)那么強(qiáng)大。在 Sejnowski的協(xié)助下，Hinton依據(jù)Boltzman分布設(shè)計(jì)出了一個(gè)神經(jīng)網(wǎng)絡(luò)，借鑒了統(tǒng)計(jì)力學(xué)中描述在變化的溫度下物質(zhì)改變能量狀態(tài)的概率。這就是典型的Hinton：他從物理類比而非純數(shù)學(xué)理論進(jìn)行編程。那段時(shí)間，Hinton非常高產(chǎn)。Sejnowski回憶說(shuō)，有次他在廚房接到了Hinton的電話:「Terry，我已經(jīng)知道大腦如何工作的了。」 在過(guò)去的三十年中，Sejnowski補(bǔ)充說(shuō)，這樣的電話他接到了十多次。

世界并未因Hinton的成就而興奮太久。研究碰到了新的難題，神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)但學(xué)的不太好。神經(jīng)網(wǎng)絡(luò)需要強(qiáng)大的計(jì)算能力和可供學(xué)習(xí)的大量例子。如果一個(gè)神經(jīng)網(wǎng)絡(luò)失敗了，人們也未必清楚其中原因，人類大腦也是如此。即使兩個(gè)人用了同樣的算法，他們也可能會(huì)得到不同結(jié)果。Facebook的 LeCun說(shuō)，工程師討厭這種變化無(wú)常。他們說(shuō)，這太復(fù)雜了，除非有人相信魔法。相反，程序員傾向選擇那些可預(yù)測(cè)的、和反向傳播表現(xiàn)差不多的學(xué)習(xí)算法。

當(dāng)他們看到神經(jīng)網(wǎng)絡(luò)日漸衰落時(shí)，也不得不去關(guān)注Rumelhart怎么辦，這個(gè)人卻放棄了，他要為神經(jīng)網(wǎng)絡(luò)的第二次衰退負(fù)責(zé)。他慢慢被Pick病——一種罕見(jiàn)的癡呆癥——壓垮。 McClelland 認(rèn)為，這可能是由過(guò)度使用大腦里的神經(jīng)細(xì)胞而引起的，他于2011年去世。2001年，認(rèn)知科學(xué)學(xué)會(huì)設(shè)置了Rumelhart獎(jiǎng)，Hinton是第一個(gè)獲得此獎(jiǎng)的人。

蒙特利爾大學(xué)教授Yoshua Bengio說(shuō)，這個(gè)領(lǐng)域失去了自己的愿景， 在20世紀(jì)90年代，身為一個(gè)神經(jīng)網(wǎng)絡(luò)派追隨者，他加入過(guò)Hinton和LeCun團(tuán)隊(duì)。雖然LeCun 模仿視覺(jué)皮層建立了一個(gè)神經(jīng)網(wǎng)絡(luò)，能夠讀取全美國(guó)20%的銀行支票，但沒(méi)人再談?wù)撊斯ぶ悄芰恕！冈谥髁鳈C(jī)器學(xué)習(xí)會(huì)議上，很難發(fā)表任何有關(guān)神經(jīng)網(wǎng)絡(luò)的內(nèi)容，」Bengio告訴我，「過(guò)去十年中，神經(jīng)網(wǎng)絡(luò)走完了從流行到泯滅的過(guò)程。」

十年前，Hinton、 LeCun和Bengio密謀挽回神經(jīng)網(wǎng)絡(luò)。較之其他對(duì)手，神經(jīng)網(wǎng)絡(luò)有著特定優(yōu)勢(shì)：通過(guò)訓(xùn)練，它們可以識(shí)別新事物——人們稱之為有監(jiān)督學(xué)習(xí)——但是，它們自己也能進(jìn)行模式識(shí)別，就像一個(gè)孩子，讓其獨(dú)處，在父母告訴他答案之前，他就能自己區(qū)分方體與球體。如果它們能夠進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，這會(huì)重新吸引世人目光。2006年，Hinton發(fā)表了有關(guān)「深度信念網(wǎng)絡(luò)」的文章，該網(wǎng)絡(luò)能夠深入多層運(yùn)行、自行學(xué)習(xí)事物的基本特征，在最后一層經(jīng)由訓(xùn)練提高精度。這個(gè)人工神經(jīng)網(wǎng)絡(luò)被冠以新名稱「深度學(xué)習(xí)」。

然而，在他們征服世界之前，世界已經(jīng)向他們發(fā)生傾斜。也是2006年，新的更為強(qiáng)大的計(jì)算機(jī)芯片問(wèn)世，Hinton的學(xué)生發(fā)現(xiàn)這種芯片能夠完美滿足深度學(xué)習(xí)的嚴(yán)苛要求。一夜之間，神經(jīng)網(wǎng)絡(luò)提速近30倍。與此同時(shí)，Google和Facebook已經(jīng)收集大量用戶數(shù)據(jù)，這使得計(jì)算機(jī)在大規(guī)模網(wǎng)絡(luò)上運(yùn)行程序變得更加容易。Hinton的一位學(xué)生在Google實(shí)習(xí)的時(shí)候，將Hinton的語(yǔ)音識(shí)別技術(shù)導(dǎo)入了Google系統(tǒng)。旋即取得成功，困擾了人們近十年的語(yǔ)音識(shí)別難題得到了解決。于是，Google開(kāi)始在所有Android手機(jī)上運(yùn)行Hinton的軟件。

結(jié)果令人震驚。這些神經(jīng)網(wǎng)絡(luò)和20世紀(jì)80年代的神經(jīng)網(wǎng)絡(luò)，幾乎沒(méi)什么差別。這是一個(gè)簡(jiǎn)單的有監(jiān)督學(xué)習(xí)系統(tǒng)，它甚至沒(méi)用到Hinton在2006年的突破性成果。在規(guī)模上，沒(méi)有其他算法能夠媲美神經(jīng)網(wǎng)絡(luò)。Hinton 說(shuō)：「回顧往昔，僅僅是個(gè)數(shù)據(jù)量和計(jì)算量的問(wèn)題。」

如今，Hinton 要花半年的時(shí)間呆在Google園區(qū)內(nèi)，防止谷歌工程師走進(jìn)過(guò)去數(shù)十年中的死胡同。同時(shí)， 他也在探索著那些因?yàn)椴豢尚卸槐粧仐壍纳窠?jīng)網(wǎng)絡(luò)，探索著他所說(shuō)的「黑知識(shí)」。他經(jīng)常花費(fèi)一整天來(lái)編程，如果他是教授的話，就沒(méi)法做這些事了。我問(wèn)他職業(yè)生涯中，那段時(shí)間更為高產(chǎn)，他毫不猶豫的說(shuō)：「下個(gè)五年。」

Google在許多產(chǎn)品上使用了深度學(xué)習(xí)。暑假拜訪Hinton時(shí)，他們正在將深度學(xué)習(xí)應(yīng)用到語(yǔ)言翻譯上。谷歌擁有針對(duì)每種語(yǔ)言的編碼和解碼網(wǎng)絡(luò)，它們能將每個(gè)單詞轉(zhuǎn)化為包攝了某個(gè)單詞豐富含義的龐大矩陣中的數(shù)字——矩陣中，「貓」和「狗」數(shù)字相似度要?jiǎng)儆凇肛垺购汀负稚埂Ｒ源藶槔⒄Z(yǔ)編碼網(wǎng)絡(luò)將這些數(shù)字傳輸給法語(yǔ)解碼網(wǎng)絡(luò)，該網(wǎng)絡(luò)借由這些數(shù)字對(duì)翻譯結(jié)果進(jìn)行一個(gè)整體預(yù)測(cè)，然后將預(yù)測(cè)結(jié)果與逐字分析的結(jié)果進(jìn)行對(duì)比，與此同時(shí)，還要一直和已知翻譯進(jìn)行比較并追溯錯(cuò)誤。

Hinton，這位慣于挑戰(zhàn)權(quán)威的人卻為一家大公司工作，多少有點(diǎn)諷刺。但是，這不可避免，因?yàn)橹挥写蠊静拍芴峁┳屔疃葘W(xué)習(xí)一展拳腳的工具；大學(xué)沒(méi)有這個(gè)能力。 Hinton暑期班的茶歇時(shí)間，我偶爾聽(tīng)到一位年輕學(xué)者抱怨某家公司無(wú)法提供足夠數(shù)據(jù)訓(xùn)練機(jī)器，幾分鐘后，這位年輕學(xué)者補(bǔ)充說(shuō)：「我要去微軟了，數(shù)據(jù)就不會(huì)是個(gè)問(wèn)題了。」

Hinton說(shuō)：「有些危險(xiǎn)的是，如果足夠多的大公司雇了足夠多的研究人員，那么，大學(xué)就沒(méi)有足夠多的人來(lái)培養(yǎng)學(xué)生、進(jìn)行純粹的基礎(chǔ)研究了。」不過(guò)，他繼續(xù)補(bǔ)充說(shuō)，技術(shù)公司意識(shí)到問(wèn)題了，比如谷歌就希望Bengio繼續(xù)自己的基礎(chǔ)研究。

LeCun已經(jīng)在Facebook里重新建立了一個(gè)貝爾實(shí)驗(yàn)室，1990年代，他曾經(jīng)在貝爾實(shí)驗(yàn)室工作過(guò)。他保證會(huì)發(fā)表實(shí)驗(yàn)室的研究，「我認(rèn)為，學(xué)術(shù)研究不會(huì)消失。」技術(shù)公司的求賢若渴正在吸引更多的求學(xué)者而不是打敗學(xué)術(shù)。在警惕過(guò)熱的同時(shí)，他也對(duì)深度學(xué)習(xí)充滿自信，它僅僅是個(gè)開(kāi)始。「如果不是對(duì)此堅(jiān)信不疑，我不會(huì)力排眾議從事深度學(xué)習(xí)20年。」

Bengio不禁回想起那些未被資助的研究工作，計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別領(lǐng)域那些秉持傳統(tǒng)研究套路的同行評(píng)審，對(duì)這些工作大加攻擊。他說(shuō)，多樣性才能戰(zhàn)勝人類偏見(jiàn)，「但是，人類傾向于摒棄那些他們無(wú)法理解、并不信仰的事物。」

如今，神經(jīng)網(wǎng)絡(luò)研究者如日中天。就連長(zhǎng)期推崇傳統(tǒng)人工智能的MIT，如今也加入到了深度學(xué)習(xí)的隊(duì)伍中。

索爾克研究所的Sejnowski說(shuō)：「我們就是在恐龍腳下艱難求生的弱小哺乳動(dòng)物。基本上，微弱膽小的哺乳動(dòng)物會(huì)贏，恐龍消失，新紀(jì)元開(kāi)始了。」

Rosenblatt在新聞發(fā)布會(huì)上曾分享過(guò)的很多夢(mèng)想，如今都已成真。其他夢(mèng)想，仍然遙遠(yuǎn)，比如計(jì)算機(jī)意識(shí)。如今，較大的神經(jīng)網(wǎng)絡(luò)擁有10億個(gè)連接，是幾年前規(guī)模的1000倍。不過(guò)，和人類大腦相比，仍顯微小——10億個(gè)連接不過(guò)是1立方毫米大小的組織，在腦部掃描中，比一個(gè)立體像素還小。我們距離真正的人類智能還相當(dāng)遙遠(yuǎn)。Hinton深受大腦啟發(fā)，不過(guò)，他很清楚自己不是在復(fù)制大腦，而且還差的很遠(yuǎn)。

隨著神經(jīng)網(wǎng)絡(luò)不斷發(fā)展，有關(guān)它們潛力究竟如何的種種猜測(cè)也是源源不絕。許多研究者認(rèn)為，從中可以進(jìn)化出推理。Gary F. Marcus，紐約大學(xué)的心理學(xué)家，在幾篇《紐約客》的文章中質(zhì)疑了深度學(xué)習(xí)的成果，文章寫(xiě)到，Hinton敦促他表態(tài)：神經(jīng)網(wǎng)絡(luò)能夠做什么，才會(huì)讓他印象深刻。這位心理學(xué)家的回答是什么呢？看看這一段：「地方議會(huì)議員拒絕給游行示威者們頒發(fā)許可證，因?yàn)樗麄兒ε卤┝Α！拐l(shuí)害怕暴力？如果神經(jīng)網(wǎng)絡(luò)可以回答這個(gè)問(wèn)題，那么他們就能認(rèn)識(shí)到重要意義。

Sejnowski補(bǔ)充到，這里帶著深深的諷刺。如今，深度學(xué)習(xí)是源自神經(jīng)科學(xué)的開(kāi)發(fā)龐大數(shù)據(jù)庫(kù)的最有前途的工具之一。「我們做這件事是用來(lái)理解大腦工作方式的，」他說(shuō)，「結(jié)果表明，這個(gè)工具很管用，工具與大腦有很多不同之處，它是用來(lái)理解神經(jīng)科學(xué)的較好工具。」

那是在多倫多的漫長(zhǎng)的一天。在我訪問(wèn)期間的某一刻，我注意到 Hinton在他的筆記本電腦上運(yùn)行著一個(gè)程序。每隔幾秒鐘，兩個(gè)手寫(xiě)體黑白數(shù)字閃現(xiàn)在屏幕上，并隨機(jī)覆蓋。他正在測(cè)試一種新的算法，查看它在視覺(jué)混亂的情況下對(duì)兩個(gè)數(shù)字的檢測(cè)效果。

兩個(gè)新數(shù)字出現(xiàn)了。他眼中露出一絲調(diào)皮的神情。

「這兩個(gè)數(shù)字是什么」他問(wèn)我。

「6和4？」

我答對(duì)了，電腦也一樣。但我漸漸累了。我的神經(jīng)網(wǎng)絡(luò)漸漸失靈。另一組數(shù)字閃現(xiàn)。

Hinton問(wèn)，「這組呢？」

我說(shuō)：「這好難。0和5嗎？」

「0和9。它檢測(cè)到了0和9。現(xiàn)在它比你強(qiáng)了。」

我弄錯(cuò)了，但機(jī)器卻沒(méi)有。