摘要：年的深度學(xué)習(xí)研討會，壓軸大戲是關(guān)于深度學(xué)習(xí)未來的討論。他認(rèn)為，有潛力成為深度學(xué)習(xí)的下一個重點。認(rèn)為這樣的人工智能恐懼和奇點的討論是一個巨大的牽引。

2015年ICML的深度學(xué)習(xí)研討會，壓軸大戲是關(guān)于深度學(xué)習(xí)未來的討論。基于平衡考慮，組織方分別邀請了來自工業(yè)界和學(xué)術(shù)界的六位專家開展這次圓桌討論。組織者之一Kyunghyun Cho（Bengio的博士后）在飛機(jī)上憑記憶寫下本文總結(jié)了討論的內(nèi)容，他謹(jǐn)慎地表示一些轉(zhuǎn)述不夠準(zhǔn)確，歡迎大家評論補(bǔ)充。但這篇總結(jié)仍然不失借鑒意義。

六位專家包括：Yoshua Bengio（蒙特利爾大學(xué)），Neil Lawrence（謝菲爾德大學(xué)），Juergen Schmidhuber（IDSIA），Demis Hassabis（Google DeepMind），Yann LeCun（Facebook，NYU）和Kevin Murphy（Google）。Max Welling（阿姆斯特丹大學(xué)）主持了討論。

深度學(xué)習(xí)的現(xiàn)狀與未來

Bengio首先指出，雖然在過去的一年已經(jīng)取得巨大的進(jìn)步，自然語言處理（NLP）尚未通過深度學(xué)習(xí)來革命。他認(rèn)為，NLP有潛力成為深度學(xué)習(xí)的下一個重點。此外，他希望更多的努力投資到無監(jiān)督學(xué)習(xí)，這與LeCun，Hassabis和Schmidhuber產(chǎn)生共鳴。

有趣的是，六位圓桌嘉賓中的四位，LeCun，Hassabis，Lawrence和Murphy，都認(rèn)為醫(yī)藥醫(yī)療健康是深度機(jī)器學(xué)習(xí)的下一個大的事件。他們表示有興趣的有些領(lǐng)域是醫(yī)學(xué)圖像分析（LeCun）和藥物研發(fā)（Hassabis）。對此，我認(rèn)為Lawrence已經(jīng)推入了這個方向（他當(dāng)天的演講談到DeepHealth），并且將他的方法與Google DeepMind和Facebook的方法相比較會很有意思。

LeCun和Hassabis都選擇了問答和自然語言對話系統(tǒng)作為下一個重點。尤其是，我喜歡LeCun如何在知識、其收購和神經(jīng)網(wǎng)絡(luò)（或作為實際，任何機(jī)器學(xué)習(xí)模型）規(guī)劃的基礎(chǔ)上和在結(jié)合推理的背景下推出這些。這被Hassabis和Schmidhuber所呼應(yīng)。

Schmidhuber和Hassabis認(rèn)為順序決策應(yīng)該是下一個重要的研究課題。Schmidhuber的卷尾猴例子是令人振奮并且有趣的（這不僅是因為他錯誤地把它宣布成一個卡布奇諾猴）。為了在一棵樹的頂端挑選水果，卷尾猴毫不費力地規(guī)劃了一個子目標(biāo)序列（例如，步行到樹下，爬上樹，搶水果，…）。Schmidhuber認(rèn)為，我們將在10年內(nèi)使機(jī)器擁有動物的智力水平（如Capuchin智能手機(jī)？）。

與其他嘉賓略有不同，Lawrence和Murphy更感興趣的是將深度學(xué)習(xí)的成果轉(zhuǎn)化到人類不能很好解決的任務(wù)/數(shù)據(jù)集（現(xiàn)在，讓我把這些類型的任務(wù)稱為“非認(rèn)知”任務(wù)）。Lawrence指出，到目前為止，深度學(xué)習(xí)的成果已經(jīng)很大程度上被限制于人類毫不費力的任務(wù)上，但未來可能是非認(rèn)知（non-cognitive）任務(wù)。當(dāng)談到這些非認(rèn)知任務(wù)，Murphy認(rèn)為訓(xùn)練模型的解釋性將變得更有價值。

Murphy和Schmidhuber解釋到，分層規(guī)劃、知識獲取和執(zhí)行非認(rèn)知任務(wù)的能力自然引起了自動化實驗室的想法。在這種自動化實驗室，一臺機(jī)器將積極規(guī)劃其目標(biāo)來拓展其世界的知識（通過觀察和實驗），并且可以深入了解世界（解釋性）。

產(chǎn)業(yè) vs. 學(xué)術(shù)

LeCun有一個令人驚訝的觀點，認(rèn)為工業(yè)實驗室和學(xué)術(shù)實驗室在基礎(chǔ)設(shè)施之間的差距會隨著時間的推移縮小，而不是擴(kuò)大。這很好，但我比他更悲觀。

LeCun繼續(xù)解釋在Facebook AI Research（FAIR）的開放性的研究工作。他表示，產(chǎn)業(yè)（不是特指FAIR）應(yīng)該促進(jìn)開放性科學(xué)有三個原因：（1）這是研究水平整體提升的方式，（2）這使得公司對未來的雇員、研究員更具吸引力，（3）不同公司在研究方面有競爭，這是保持領(lǐng)先他人的方式。

令我驚訝的是，Hassabis表示，Google DeepMind和FAIR已經(jīng)同意共享基于Torch的軟件框架的研究。我依稀記得聽到這個正在討論是在這幾個星期或幾個月前，但顯然它已經(jīng)發(fā)生了。我相信，這將進(jìn)一步加快FAIR和DeepMind的研究。然而，它對其他研究機(jī)構(gòu)（如大學(xué)）對于擁有世界上最集中的深度學(xué)習(xí)的兩地共享和使用相同的代碼庫是否有益還有待觀察。

Hassabis，Lawrence，Murphy和Bengio都認(rèn)為工業(yè)實驗室提供的巨大資源對于學(xué)術(shù)實驗室不一定是個問題。Lawrence指出，相比其他那些數(shù)據(jù)驅(qū)動的公司（想想Google和Facebook），世界上的大多數(shù)公司忍受著大量數(shù)據(jù)的痛苦，而不是在享受它，這將為學(xué)術(shù)實驗室的研究人員打開一個大的機(jī)會。Murphy近期比較了美俄太空競賽時期兩國的學(xué)術(shù)研究。資源的缺乏證明可能是有用的，甚至對于算法突破是有必要的，Bengio和Hassabis發(fā)現(xiàn)它依然重要。此外，Hassabis建議尋找那些人們可以很容易制造人為數(shù)據(jù)的任務(wù)或問題，比如游戲。

Schmidhuber的回答是這里最獨特的一個。他認(rèn)為，真正運行AI代理的代碼是非常簡短的，甚至高中生都能玩轉(zhuǎn)它。換句話說，不用有任何擔(dān)心會有行業(yè)壟斷AI及其研究。

炒作和可能的第二個NN冬天

曾多次被記者問到過度炒作的問題，LeCun提到，過度炒作是危險的，有四個因素：（1）需要資金的自欺欺人的學(xué)者，（2）需要資金的創(chuàng)業(yè)者，（3）資助機(jī)構(gòu)管理資金的項目經(jīng)理以及（4）失敗的新聞界（可能也需要資金、工資）。最近，在深度學(xué)習(xí)領(lǐng)域，第四因素起到了重要的作用，而奇怪的是，并非所有的新聞報道都是Google和Facebook公關(guān)機(jī)器的結(jié)果。相反，如果記者們在寫潛在的廢話之前呼喚研究員的話，LeCun會更喜歡。

LeCun和Bengio認(rèn)為，一個既避免過度炒作、又加快研究進(jìn)度的潛在的解決方案是開放的審查制度，其中，（真正的）科學(xué)家、研究人員把自己的成果放在網(wǎng)上并且公開發(fā)表評論，以便讓人們看到文章的兩面（以及為什么單文本不會造成奇異性）。進(jìn)一步推動它，Murphy指出了開源軟件研究的重要性，使用它，其他人可以更容易地理解論文中新提出方法的軟弱性和局限性。不過，他指出，當(dāng)寫文章時，作者自己清楚地說明自己方法的局限性是非常重要的。當(dāng)然，這需要Leon Bottou在他的全體會議演講上提到的（評審應(yīng)鼓勵局限性的討論，而不是因為局限性而抹殺這些文章）。

同樣，Lawrence建議，研究人員和科學(xué)家應(yīng)緩慢但穩(wěn)步地多接近公眾。如果我們不能相信記者的話，我們可能需要自己動手。他指出的一個很好的例子是由Ryan Adams和Katherine Gorman展示的“Talking Machines”。

Hassabis贊同過度炒作是危險的，但也認(rèn)為不會再有第三個AI/NN冬天了。因為我們現(xiàn)在知道了什么導(dǎo)致以前的AI/NN冬天，并且我們已經(jīng)在不過度承諾方面做得更好。如果我可以在這里補(bǔ)充我自己的觀點，我同意Hassabis，尤其是因為神經(jīng)網(wǎng)絡(luò)現(xiàn)在被廣泛部署于商業(yè)應(yīng)用（想想Google Voice），這將更加難以再有另一個NN冬季（我的意思是，它起作用！）。

Schmidhuber也同意所有其他嘉賓，認(rèn)為不會再有任何更多的AI/NN冬天，但是因為另一個原因：硬件技術(shù)的進(jìn)步。他聽起來好像他相信所有必要的算法組件已經(jīng)開發(fā)并且一定程度上在目前形式的數(shù)碼電腦上得到了驗證。他認(rèn)為這是一時機(jī)：從在發(fā)展通用AI方面取得更大進(jìn)步，轉(zhuǎn)移到不適合神經(jīng)網(wǎng)絡(luò)、更具體的回歸神經(jīng)網(wǎng)絡(luò)的硬件技術(shù)上。

Murphy的一個評論是我最喜歡的：“這簡直是人類的天性。”

人工智能恐懼和奇點

顯然DeepMind的Hassabis近期已經(jīng)從知名人士如Elon Musk，Stephen Hawking和Bill Gates中脫穎而出，成為的人工智能恐懼（AI fear）的核心。Hassabis向Musk介紹了AI，這可能讓他感到震驚。然而，在最近幾個月，Hassabis已經(jīng)說服了Musk，并且和Hawking就這一點也有三個小時的長聊。據(jù)他介紹，Hawking現(xiàn)在不太擔(dān)心。不過，他強(qiáng)調(diào)，我們必須為未來做好準(zhǔn)備，不要害怕。

Murphy認(rèn)為這樣的人工智能恐懼和奇點的討論是一個巨大的牽引。目前，世界上許多其他重大的問題需要立即得到更多的關(guān)注，如氣候變化和傳播的不平等現(xiàn)象。這種人工智能恐懼是一個簡單的超跌的炒作，需要停下來，直到Bengio和LeCun同意。同樣，Lawrence沒有找到人工智能恐懼真正擔(dān)心的問題。相反，他更關(guān)注的是數(shù)字寡頭和數(shù)據(jù)的不平等問題。

LeCun的一個有趣的評論是，我們必須要小心區(qū)分智能和素質(zhì)（quality）。大多數(shù)有問題的人類行為，由于許多擔(dān)心類似人類的人工智能，是由人類素質(zhì)而不是智能造成的。任何智能機(jī)不需要繼承人的素質(zhì)。

Schmidhuber對此事有非常獨特的觀點。他認(rèn)為，我們將看到人工智能代理商社區(qū)由聰明的人和糊涂的人組成。他們會對彼此更感興趣（正如十歲的女孩對其他十歲的女孩更感興趣并且一起閑逛，以及卷尾猴對其他卷尾猴有興趣并一起出行），并且對人類不怎么感興趣。此外，他認(rèn)為人工智能代理商會比人類（或者說他自己）顯著聰明，沒有這些人類的素質(zhì)，他不像是自己，這與LeCun的言論一致。

聽眾提問

不幸的是，Q&A時間我拿著麥克風(fēng)到處跑，無法針對好問題和專家回復(fù)進(jìn)行記錄和注釋。

我記得一個來自Tieleman的問題。他詢問了嘉賓有關(guān)他們在主動學(xué)習(xí)、探索方面的觀點，作為有效監(jiān)督學(xué)習(xí)的一個選擇。Schmidhuber和Murphy進(jìn)行了回答，在我透露他們的答復(fù)之前，我真的很喜歡它。總而言之（或我盡可能肯定我的記憶），積極探索會自然而然的發(fā)生，作為獎勵更好解釋世界的結(jié)果。周圍世界的知識和它的積累應(yīng)該得到回報，并較大限度該獎勵，代理人或算法將積極探索周邊地區(qū)（甚至沒有監(jiān)督）。Murphy表示，這可能反映嬰兒如何在沒有太多的監(jiān)督信號，甚至沒有太多的無監(jiān)督信號的情況下（他們積極探索的方式通過允許嬰兒收集高質(zhì)量的無監(jiān)督例子來彌補(bǔ)無監(jiān)督例子的缺乏）這么快就學(xué)會。

我很榮幸可以直接向Hassabis，LeCun和Murphy詢問最后的問題：如果他們（有意或無意）建立了一個真正工作的AI代理（不管什么意思），公司會怎么做？他們會掩蓋它，認(rèn)為世界還沒有為此做好準(zhǔn)備嗎？他們會因為商業(yè)的潛在機(jī)會而保密嗎？

他們都表示，不會發(fā)生這樣的情況（一次事故導(dǎo)致有思維的機(jī)器）。而且，正因為如此，LeCun沒有找到它相關(guān)的，因為這將逐漸發(fā)生，這是許多工業(yè)界和學(xué)術(shù)界的科學(xué)家都加入進(jìn)來共同努力的結(jié)果。Hassabis認(rèn)同LeCun的做法，也無法想象，這樣的發(fā)現(xiàn)既然已經(jīng)發(fā)生了，就可以被容納（可能是人類歷史上較好的漏洞）。不過，他主張為未來做好準(zhǔn)備：我們，人類，將有機(jī)會使用真正有思維的機(jī)器，它們擁有我們分享的情緒。Murphy同意LeCun和Hassabis。他連同LeCun做了關(guān)于最近發(fā)布電影的評論，Ex-Machina（順便說一下，這是今年到目前為止我的最愛）：這是一個美麗的拍攝電影，但不會在現(xiàn)實中發(fā)生。

我同意他們所提出的觀點。不過，在我的問題背后還有另外一個原因，很不幸的是沒有被他們討論（無疑是由于時間的限制）。也就是說，一旦我們有正在“思考”的算法或機(jī)器，而且說出幾個商業(yè)公司開發(fā)的最重要的幾個部分（像Hassabis，LeCun和Murphy那樣的），我們就在這些關(guān)鍵部件上有權(quán)利，這些至關(guān)重要的組件屬于這些公司還是個人？他們將不得不做出公開（像人工智能的普遍權(quán)利）嗎？以及最重要的是誰將決定所有這些？

結(jié)論？

很顯然，目前還沒有定論。這是一個持續(xù)的努力，而我或者我們的組織者，希望這個圓桌討論會可以成功落地，至少給深度學(xué)習(xí)及一般人工智能的未來路徑帶來些許光明（然而，Lawrence通過引用Zoubin Ghahramani的話“如果鳥的飛行稱為飛行，那么飛機(jī)的飛行稱為人造飛行？”來指出這個詞的荒謬）。

但是，讓我指出我已經(jīng)找到的個人覺得非常有趣的、令人振奮的幾件事情：

無監(jiān)督學(xué)習(xí)作為強(qiáng)化學(xué)習(xí)和自動化實驗室：不用只是考慮每一個多帶帶的、未標(biāo)記的例子，我們應(yīng)該讓一個模型選擇性的考慮未標(biāo)記示例的一個子集，以較大化限定于積累知識量的獎勵。

過度炒作可以在很大程度上避免研究人員在發(fā)布成果和理念方面的積極參與，而不是讓非專業(yè)人士向非專業(yè)人士解釋。播客、開放的審查和博客有一定幫助，但也有可能是沒有一個正確的答案。

我不認(rèn)為工業(yè)界與學(xué)術(shù)界之間有任何的協(xié)議。不過，我覺得所有的三位學(xué)術(shù)專家以及其他產(chǎn)業(yè)專家都贊同，他們每個人都有自己的角色（有時是重疊的），朝著一個宏偉目標(biāo)。

深度學(xué)習(xí)已經(jīng)在人類擅長的領(lǐng)域（例如視覺和語音）獲得了成功，并且未來我們作為研究者還應(yīng)該探索人類并不擅長（或者在一年又一年的專門培訓(xùn)后變得擅長）的任務(wù)、數(shù)據(jù)集。在這個意義上，醫(yī)藥、保健似乎是大部分專家感興趣并且愿意投資的一個領(lǐng)域。