摘要：年實驗室團隊采用了深度學習獲勝，失敗率僅。許多其他參賽選手也紛紛采用這一技術年，所有選手都使用了深度學習。和他的同事運用深度學習系統贏得了美元。深度學習，似乎是解決

三年前，在山景城（加利福尼亞州）秘密的谷歌X實驗室里，研究者從YouTube視頻中選取了大約一千萬張靜態圖片，并且導入到Google Brain —— 一個由1000臺電腦組成的像幼兒大腦一樣的神經網絡。花費了三天時間尋找模式之后，Google Brain 能夠只靠自己就能區分出某些特定的分類：人臉，身體，還有——貓！

Google Brain發現，互聯網上充斥著貓的照片，這個發現讓人感到很有趣。但這也是深度學習復興中的里程碑：一門發展三十余年，擁有大量數據及處理能力的技術，幫助計算機解決一些人們可以直觀解決的繁瑣的問題，小至人臉識別，大到語言理解。

深度學習使計算機中的神經網絡重新煥發生機，這一直是計算機領域的古老想法。這些系統，零星的被腦中密集的聯通神經細胞所影響，在實驗的基礎上，通過調整神經元直接連接的參數來模仿人類學習的過程。Google Brain， 有大約一百萬模擬神經元，十億個模擬神經連結（突觸），比之前的深度神經網絡大十倍。 該項目創建者 Andrew Ng（吳恩達），已經再一次地把深度學習系統擴大了10倍，如今吳恩達的身份是百度首席科學家。

這些先進技術使那些盼望電腦能像人類一樣思考的想法越來越接近現實。過去幾年中，像谷歌、蘋果和IBM 這類公司都已經野心勃勃的啟動了相關研究。對普通用戶來說，深度學習的成果體現在越來越聰明的軟件層面，比如智能地進行照片分類、理解口頭命令、翻譯外語文章等。對于工廠和科學家們，深度學習計算機能搜索潛在的候選藥物，繪制大腦中真實的神經網絡或者預測蛋白質的功能。

「人工智能一直在失敗中進步。它可能成為另一個leapfrog（蛙跳）」紐約大學數據科學中心主任、深度學習研究者Yann LeCun說到。

「接下來幾年我們將目睹許多大魚吃小魚的事例，許多人將進入深度學習的大潮中，」加州伯克利分校的計算機圖像識別研究者Jitendra Malik很同意這個觀點，但就長遠而言，深度學習可能不會占上風；一些研究者追求那些有保障的技術。「我是不可知論者」Malik說。「時間將會告訴人們哪些技術更適合。」

受大腦啟發 ??

如果追溯到20世紀50年代，計算機還是一個新鮮產物，第一代人工智能研究者急切地幻想成熟的人工智能技術近在眼前。但當研究者發現實際的知識里蘊含著巨大復雜度時，他們漸漸不再樂觀，尤其是遇到一個感知問題，比如說人臉與面具或猴子臉的區別到底在哪里。許多研究者與學者花了幾十年時間對計算機識別物體所必備的不同特征的規則進行手動編程。「找出特征是件難事，耗費很多時間，并且需要專業知識，」Ng說到，「你得想想有沒有更好的方法。」

20世紀80年代，神經網絡的深度學習似乎是個更好的解決方案。這些系統能夠從抓取的數據中生成自己的規則，提供一種采用受大腦啟發機制的對稱性來完成類大腦功能。這種策略需要模擬神經元并將之組織成多個層次。當系統面對一張圖片時，學習系統的第一層僅能簡單區分其中的明暗像素點。下一層就能意識到某些像素點構成了邊界；再往下一層就能區別水平和垂直線條。最后一層能識別出眼睛，并且認識到人臉中通常有的兩只眼睛。(見“臉部識別”圖)。

Malik說，第一個深度學習程序表現的并不比更簡單的系統好，除此之外，使用起來還需要技巧。他說，「神經網絡是需要管理的優雅藝術。其中包含著些許黑色魔法」。神經網絡需要學習大量實例，就像小孩收集現實世界的信息一樣。80年代到90年代，由于沒有太多的數字信息可用，計算機要花費很長的時間去確定有些什么信息。因此，這一時期的技術應用非常少，其中一個是由LeCun開發的技術，現在被銀行用于手寫支票識別。

然而，直到本世紀初，諸如LeCun、他的前導師——加拿大多倫多大學計算機科學家Geoffrey Hinton等深度學習倡導者們都相信，計算能力的增強以及數字數據爆炸將會 再次推動這項研究的發展。 George Dahl，Hinton的學生說，「我們想要向世界證明，這些深度神經網絡確實有用并能有所助益。」

起初，Hinton、Dahl和其他幾個人解決了困難但有商業重要性的語音識別問題。2009年，研究報告指出，經過經典數據——三小時錄音和轉錄語音——訓練后，在口語轉為文本的準確率上，他們的深度學習網絡破了紀錄，這項紀錄由標準、基于規則的傳統套路保持了十來年。Dahl，這個在微軟實習期間，將深度學習技術帶到了微軟的人說，他們的成功吸引了主流智能手機廠商的注意。「幾年之后，他們都轉向了深度學習」。比如，蘋果手機語音助手Siri，正是以深度學習為基礎的。

巨大飛躍

當谷歌在安卓手機操作系統中采用以深度學習為基礎的語音識別技術時，單詞錯誤大幅度降低25%。Hinton認為，在這個領域有所進展，非常困難。「這就象畢十次技術突破之功于一役。」

與此同時，Ng說服谷歌讓他使用谷歌數據和計算機來建造谷歌大腦。谷歌大腦對貓的識別，是一次頗為吸引人的計算機進行無監督學習的展示（但僅憑這點，并不能說明其具有商業可行性）——無監督學習是最難的機器學習任務，因為被輸入計算機的信息沒有攜帶任何諸如姓名、題目或種類等的解釋標簽。但是，不久，Ng就遇到了麻煩，谷歌之外，幾乎沒有哪個研究者擁有從事深度學習的工具。他說，「磨了許多嘴皮子，那些沮喪的研究生們還是會跑過來跟我說，沒有1,000臺電腦，也能開展研究？」

所以，回到斯坦福后，Ng開始使用圖形處理器GPUs——一種為家用電腦游戲開發的超快芯片，開發更大、更便宜的深度學習網絡。其他人正這么干著，Ng說，「在硬件上投入大約100,000美元，我們就能用64個GPU制造出一臺擁有百億連接的深度學習網絡。」

勝利的機器

但是,說服計算機視覺科學家需要更多的籌碼：他們希望看到標準測試的成績。Malik記得Hinton曾經問過他，「你是個懷疑論者，如何能夠說服你？」Malik回答說，國際著名賽事——ImageNet的勝利。

比賽中，每個團隊用大約1百萬張圖片組成的數據組來訓練計算機程序， ?這1百萬張圖片被人工標注了所屬類別。訓練后，計算機程序就要接受測試：將程序未曾見過的相似圖片歸到所屬類別。每張圖片，程序均有5次機會，如果5次均錯，則視為測試失敗。過去的獲勝者失敗率約為25%。2012年Hinton實驗室團隊采用了深度學習獲勝，失敗率僅15%。

LeCun說，「深度學習完勝任何其他技術」，不過他并非戰隊成員。 勝利讓Hinton贏得了谷歌兼職工作 。2013年5月，公司將成果用于升級更新Google+圖片搜索。

Malik被說服了，「在科學領域，你不得不隨經驗證據的變化，適時而動，這場比賽結果就是證據」。后來他修改了技術，在另一場視覺識別競賽中，打破了比賽記錄。許多其他參賽選手也紛紛采用這一技術：2013年，所有ImageNet選手都使用了深度學習。

在圖像和語音識別上取得巨大勝利后， ?人們對將深度學習運用到自然語言理解——比如，很好地理解人類對話以轉述或回答問題——以及語言翻譯，越來越感興趣。同樣，當前這些任務是靠硬編碼規則以及明文本的統計分析完成的。這些技術的最先近成果可以在諸如谷歌翻譯這樣的軟件中找到，該翻譯軟件能夠生成用戶理解的翻譯結果（盡管有時很搞笑），但是，和順暢的人工翻譯相比，還差得遠。「未來，深度學習會比現在表現地更好」，眾包專家Lius von Ahn說，他的公司Duolingo(位于Pittsburgh, Pennsylvania)，（眾包）依賴于人而不是計算機進行文本翻譯，「所有人都同意時是嘗試不同的方法的時候了」。

深度科學

與此同時，深度學習也被證明有助于完成各種科學任務，Hinton說，「深度網絡確實擅于發現數據集中的模式」。2012年，默克（Merck)藥物公司表示，在有效備選藥物的預測上，任何打敗公司機器程序的選手，將會獲得公司給出的賞金。比賽任務是，從數據庫中獲取三千多萬小分子，每個小分子有成千上萬種化學性質描述，以此為基礎，預測每個小分子對15種不同的目標分子的反應。Dahl和他的同事運用深度學習系統贏得了22,000美元。「我們改進了默克程序基準，提高了約15%」他說。

生物學家和機器計算研究人員（包括麻省理工學院的 Sebastian Seung）正在使用深度學習來幫助他們研究大腦切片的三維圖像。這些圖像中有表示神經元聯結的亂如團麻的線；它們要先被標定出來，然后才能用于繪制和計量。過去，追蹤標定線條的工作由本科生來完成，但是隨著項目的開展，面對將會出現的數百萬神經元，追蹤標定工作的自動化將是解決問題的辦法。深度學習，似乎是解決自動化的較佳手段。Sebastian Seung正在使用一個深度學習程序去繪制視網膜中的一大片神經元，再將結果轉發給一個叫做EyeWire的眾包游戲上，由志愿者們去審校。

威廉·斯坦福·諾貝爾（William Stafford Noble,），西雅圖華盛頓大學的計算機科學家，已經使用深度學習教授一個程序如何查看一連串的氨基酸并預見其聚合成的蛋白質結構—比如，氨基酸不同的部分會形成多肽鏈還是α螺旋，或者溶劑浸入該結構中的孔隙是否容易。一直以來，諾貝爾都是在一個小數據集基礎上訓練該程序，接下來的幾個月，他將進一步深入到蛋白質數據庫：一個目前有著將近10萬個蛋白質結構的全球數據庫。

深度學習也能為計算機科學家們帶來巨大經濟利益：Dahl正在考慮創業良機，LeCun上個月被Facebook聘去領導一個新的人工智能部門。這種技術（深度學習）為人工智能的實踐成功奠定了基礎。「深度學習剛好符合一個特性—如果你給它越多數據它會變得越來越好，」Ng提到。「深度學習算法并不僅僅如此，但是，毋庸置疑，它是較好的—當然，也是最簡單的。那就是他是AI能夠得以實現的巨大保障的原因所在。」

不是所有的研究人員都對深度學習方案，堅定不移。Oren Etzioni，西雅圖艾倫人工智能研究所（ Allen Institute for Artificial Intelligence，去年9月成立，目標是發展人工智能）的主管Oren Etzioni說，他將不會再靠大腦獲得靈感。「和我們發明飛機時一樣，」他說，「最成功的飛機設計并不是以鳥類生物為模型。」Etzioni的具體目標是發明一種電腦，它可以在瀏覽了一堆文書之后，通過標準化小學科學知識測試（最終直至通過大學入學考試）。為了通過考試，電腦必須要學會閱讀和理解圖表和文字。艾倫研究所將如何做到這一點還是未知數——但是對于Etzioni來說，神經網絡和深度學習并不是推薦的解決方案。

另一個與之抗衡的方案是，依靠一種可依據輸入事實進行推理的電腦，而不是讓電腦從抓取數據自己生成事實。因此，可以采用斷言（ assertions）進行編程，諸如「所有女孩都是人類」。接下來，當面對帶有女孩的文本時，它就能做出如下判斷：這個女孩是一個人。為了囊括世間的普通常識，需要數以千記（如果不是數百萬）的斷言。 這和微軟的沃森電腦工作原理大致相同，眾所周知，2011年，這臺電腦在電視節目 Jeopardy中戰勝了較高級人類選手。即便如此，Rob High（位于德克薩斯州的公司首席技術官）聲稱，他們已經嘗試性地使用深度學習，提升Watson的模式識別能力。

谷歌也在對沖賭注風險。盡管基于Hinton的深度學習網絡，谷歌的圖片標識（picture tagging)能力獲得新的進展，公司也設有其他投入更為龐大的部門。在2012年12月，谷歌雇用了未來學家Ray Kurzweil來探索讓計算機從經驗中學習的不同方式——其采用的技術，并不局限于深度學習。去年五月，谷歌得到了來自本拿比（ Burnaby），一臺加拿大研制出的量子計算機（參見《自然》雜志498,286-288；2013）。這臺電腦是非人工智能難題的保障，諸如，頗有難度的數學計算——盡管它可以，在理論上，被用于深度學習。

盡管已經取得了一些成就，深度學習依然處在嬰兒期。「它是未來的一部分，」Dahl說道。「奇妙之處在于，我們做了這么多，卻僅觸及了冰山一角。」最后，他補充道，「我們才剛剛起步」。