摘要：我仍然用了一些時間才從神經(jīng)科學(xué)轉(zhuǎn)向機器學(xué)習(xí)。當(dāng)我到了該讀博的時候，我很難在的神經(jīng)科學(xué)和的機器學(xué)習(xí)之間做出選擇。

我學(xué)習(xí)機器學(xué)習(xí)的道路是漫長而曲折的。

讀高中時，我興趣廣泛，大部分和數(shù)學(xué)或科學(xué)沒有太多關(guān)系。我用語音字母表編造了我自己的語言，我參加了很多創(chuàng)意寫作和文學(xué)課程。高中畢業(yè)后，我進了大學(xué)，盡管我不想去，我父母為我付了學(xué)費，此外他們不會給我錢去干別的事情?，F(xiàn)代經(jīng)濟體系似乎徹底地操縱了一個青少年，讓他無法用自己存的零用錢去干自己想干的事業(yè)。我選擇了斯坦福，因為它不會在低年級就要求我選擇一個主修專業(yè)，還因為它不需要你連續(xù)四年讀完學(xué)位。例如，John Steinbeck 幾次中斷學(xué)業(yè)，從不完成學(xué)位。

在斯坦福的第一年，我選了一些編程入門課，但是很討厭這些課。幾乎都是 C++，而且一旦出現(xiàn) Bug 它就變成一團麻了，我很煩這個。我對解碼大腦如何工作很感興趣，所以我選了一些心理學(xué)和認知科學(xué)的課程。這些課沒我想的那么扎實，跟我原來想的一樣，大學(xué)浪費了我很多時間還有我父母的錢。我決定像 John SteinBeck 看齊，暫停斯坦福的學(xué)業(yè)。我和兩個朋友去了蘇格蘭，嘗試寫作事業(yè)，白天干別的工作。我申請了能想到的所有工作（林業(yè)工廠，快餐）但是沒有任何收獲，部分是因為 G7 峰會當(dāng)時在附近召開，很多雇主認為我這樣的外國學(xué)生想必是這個會議的抗議者。花完所有的積蓄后，我又回去依靠父母了，也回到了大學(xué)。

在斯坦福的第二年，我想到我能研究的最有趣的學(xué)術(shù)主題是解碼大腦如何工作。大學(xué)一年級時我已發(fā)現(xiàn)心理學(xué)和認知科學(xué)課的內(nèi)容比較軟，所以我想神經(jīng)科學(xué)的應(yīng)該有很多的硬技術(shù)知識。 我花了一年和醫(yī)學(xué)預(yù)科生學(xué)完了所有生物學(xué)的需要基礎(chǔ)知識，像化學(xué)、生物等等。我也開始在一個功能磁共振成像實驗室工作，甚至聽了一點點神經(jīng)科學(xué)課程。很高興我能在大學(xué)時就開始熱衷于這門學(xué)科。

在這段時間里，我開始想我應(yīng)該學(xué)一些編程，因為做神經(jīng)科學(xué)研究時會用的上。我上了 Jerry Cain 的更高級的編程課，而且非常喜歡它。大一時我非常討厭編程入門課，因為一出現(xiàn)錯誤就會變得讓人摸不著頭腦，但是 Jerry 把每個問題都講的非常細致，細致到運行一個 C 代碼時，機器指令執(zhí)行了什么。這就讓事情變得很明確，不會讓人找不著北。自從參加他的課以來，我從未覺得自己的編程能力或者對計算機的理解被限制。我也開始花很多時間泡在 Jerry 的辦公室里學(xué)習(xí)軟件工程 。

在斯坦福讀了兩年大學(xué)后，我拿到了去美國國家衛(wèi)生研究所（ NIH ）實習(xí)的機會，用經(jīng)顱磁刺激技術(shù)（ TMS ）做神經(jīng)科學(xué)研究。我對此很興奮—— TMS 是一項使用磁場影響大腦內(nèi)部電活動的技術(shù)，不需要切開大腦。我閱讀了很多這方面的資料，認為 TMS 是最炫酷的事了。在我去 NIH 后，結(jié)果發(fā)現(xiàn)這其實有些無聊。第一次學(xué)會操控一些人的大腦時，確實覺得很興奮。然后你必須以相同的方式較精確操控幾十個人的大腦，以便收集足夠多的實驗數(shù)據(jù)從而達到統(tǒng)計顯著性。我覺得這種常規(guī)的數(shù)據(jù)收集工作太枯燥乏味了。同時， NIH 的醫(yī)生教了我很多數(shù)據(jù)分析技術(shù)。他們編寫過機器學(xué)習(xí)算法來進行獨立成分分析（ ICA ）等事情，區(qū)分收集到的不同 EEG 信號或者識別類似運動皮層規(guī)劃手臂運動的事件。我花了很多時間從事數(shù)據(jù)分析，最后我非常喜歡數(shù)據(jù)分析，遠遠超過對用 TMS 機器做物理實驗的喜愛。

當(dāng)我在大三回到斯坦福時，幾乎就是到了我申請專業(yè)的時候。我差不多確定我要選生物醫(yī)學(xué)計算。然后我告訴 Jerry Cain 我的實習(xí)經(jīng)歷和我多么喜歡數(shù)據(jù)分析。他堅持認為我應(yīng)該選吳恩達的人工智能入門課程。那時的我不知道關(guān)于人工智能的任何事物，除了用于視頻游戲的偽人工智能（在完成 Jerry Cain 的課程后，我曾經(jīng)因興趣加入視頻游戲項目）。我非常懷疑人工智能課程的價值，但是我相信 Jerry 的判斷，于是選了那門課。在聽了吳恩達講解線性回歸的偏差和方差分解后，我才相信人工智能是一門真正的科學(xué)，而且我申請了計算機科學(xué)專業(yè)。在課程結(jié)束時，吳恩達邀請我去斯坦福人工智能機器人（ Stanford AI Robot ）工作，之后我一直參與機器學(xué)習(xí)研究。

我仍然用了一些時間才從神經(jīng)科學(xué)轉(zhuǎn)向機器學(xué)習(xí)。當(dāng)我到了該讀博的時候，我很難在 Bruno Olshausen 的神經(jīng)科學(xué)和 Yoshua Bengio 的機器學(xué)習(xí)之間做出選擇。我那時仍然對兩個學(xué)科都感興趣，并與兩個領(lǐng)域內(nèi)的人士共同工作，我最后做出選擇研究機器學(xué)習(xí)的決定確實變得好像是歷史上一個重大時刻。那是一個沒有回頭路的關(guān)鍵點，而且自從我做出那個決定后就一直熱情地專注于機器學(xué)習(xí)。

我意識到寫完了我的故事而沒有回答關(guān)于書的問題。在學(xué)習(xí)機器學(xué)習(xí)時，我最喜歡的兩本書是 Chris Bishop 的書和 Daphne Koller 的書。當(dāng)我聽吳恩達的機器學(xué)習(xí)課程時，我不是很清楚線性代數(shù)或矢量分析（ vector calculus ），所以這門課燒死了我的很多腦細胞。在夏季緩慢地翻閱 Chris Bishop 的書給了我再次溫習(xí)我所需的知識片段并理解我之前在課堂上沒掌握的知識的機會。 Daphne Koller 的書真正打開了我看向概率世界的視野，尤其是對我準備在研究院花大量時間學(xué)習(xí)玻爾茲曼機大有裨益。

2.除了計算機視覺是自然語言處理之外，作為一個博士生還能在深度學(xué)習(xí)的哪個方面做出成就？

機器人是一個大方向。Pieter Abbeel 已經(jīng)把伯克利變成一個真正的機器人/深度學(xué)習(xí)動力工場。

3.對于您即將推出的《深度學(xué)習(xí)》一書，什么會是較好的預(yù)習(xí)書目？

那很大程度上取決于你的知識背景和你使用深度學(xué)習(xí)的目的。實際上，我們在文中推薦了一些書目。

你應(yīng)該讀一些書來彌補你在基礎(chǔ)知識上的空缺。微積分、復(fù)雜度理論、圖論是我們會用到的主要知識，并且不要沉溺于書本。如果你還沒學(xué)過線性代數(shù)、概率論、數(shù)值計算，那么你應(yīng)該讀一些關(guān)于這些知識的書，文中會指明你應(yīng)該在哪些地方深挖下去。

在此我隨意推薦一本我很喜歡的書：初等微積分。

這本書講述了如何用超實數(shù)進行微積分。大致來說，是關(guān)于運用基本代數(shù)法則處理無窮大或無窮小。這使得微積分及其衍生變得更加容易理解，因為你不必花費大量時間在學(xué)習(xí)極限和收斂性等方面上。

這感覺就像欺騙，因為我們只是創(chuàng)造了一種新的可以達到我們預(yù)期的數(shù)，但當(dāng)且僅當(dāng)實數(shù)的公理是成立的，超實數(shù)公理就是成立的。

如果你對微積分感到生疏或者還沒有學(xué)微積分，我認為這本書是入門深度學(xué)習(xí)的好選擇。

我也十分喜歡《函數(shù)理論基礎(chǔ)和泛函分析》，但在這我只是列出我喜歡的書目，而不是為深度學(xué)習(xí)而準備的書目。

你需要讀的書目也取決于你想用深度學(xué)習(xí)去解決什么樣的問題，我們在正文中也提供了一些推薦書目作為深入研究下去的參考。

4.考慮到神經(jīng)網(wǎng)絡(luò)的升溫，概率圖模型的未來是什么？

這兩者不是相互排斥的。神經(jīng)網(wǎng)絡(luò)的大多數(shù)應(yīng)用可以看作是使用神經(jīng)網(wǎng)絡(luò)提供一些條件概率分布的圖模型。你可能反駁說，圖模型觀點越來越?jīng)]用，因為如此多的新近的神經(jīng)網(wǎng)絡(luò)擁有簡單的圖結(jié)構(gòu)（ GANs, VAEs 和 NICE 都是二分圖（ bipartite graph ），讓每個潛變量與每個觀察變量聯(lián)系起來；PixelRNNs/MADE/NADE 都是完整的圖，沒有潛變量）。這些圖與幾年前流行起來的神經(jīng)模型（比如 DBMs ）相比還不是非常結(jié)構(gòu)化。但是最近有一些模型不怎么使用圖結(jié)構(gòu)，比如具有輔助變量的 VAEs 。

5.OpenAI正在解決的問題中，最有意思的問題是什么？

每個人的興趣都是不同的。我的興趣在于，設(shè)計可以在高維、非凸連續(xù)博弈中實現(xiàn)納什均衡（Nash equilibria）的算法。

6.在處理自然圖像方面，相比于普通卷積神經(jīng)網(wǎng)絡(luò)（ordinary convolutional neural networks），是什么讓生成式對抗網(wǎng)絡(luò)（generative adversarial networks）更優(yōu)越？

我并不完全明白普通卷積神經(jīng)網(wǎng)絡(luò)（ordinary convolutional neural networks）的意思，因為沒有標(biāo)準的用來生成圖像的卷積神經(jīng)網(wǎng)絡(luò)。如果你想用卷積神經(jīng)網(wǎng)絡(luò)生成一些圖像，那么它需要被包含于一些圖像生成框架，如 GANs/VAEs/PixelCNNs/NICE 中。所以，比較 GANs 和 NICE 是有意義的，但比較 GANs 和卷積神經(jīng)網(wǎng)絡(luò)是沒有意義的， GANs 只是訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的一種方式，但并沒有一個默認的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)生成圖像的方式。

7.在將來，2-5 人的小團隊可以通過深度學(xué)習(xí)應(yīng)用走向商業(yè)化？還是說巨頭會在各個方面占據(jù)主導(dǎo)地位？

2-5 人的小團隊可以做出一些成功的深度學(xué)習(xí)應(yīng)用，「如果他們有數(shù)據(jù)可用」。巨頭們會占據(jù)主導(dǎo)地位是因為他們有數(shù)據(jù)，從一無所有開始建立大數(shù)據(jù)流是很困難的。

8.深度殘差網(wǎng)絡(luò)（Deep Residual Networks ，DRNs）的重要性是什么？

DRNs 使得訓(xùn)練真正的深度模型變得更容易。DRNs 也確實是一種容易執(zhí)行的在 ImageNet 和其他對象識別數(shù)據(jù)集上得到優(yōu)異表現(xiàn)的方法。

9.您預(yù)期人工智能安全性什么時候會成為一個很嚴重的問題？

我認為人類惡意使用人工智能是人工智能安全方面最重要的問題。許多關(guān)于人工智能安全的討論圍繞的焦點都是某天人工智能會變得超級智能，并追求一些違背我們意愿的目標(biāo)。這樣的討論似乎暗示著正確對抗邪惡人工智能的方式是確保人工智能永遠不會偏離我們的預(yù)期。我認為這個觀點有著很危險的局限。當(dāng)然會有與人類，至少部分人的目標(biāo)向違背的人工智能產(chǎn)生，因為不同的人會有不同的目標(biāo)，而不同的人建立并操控著人工智能。我們已經(jīng)發(fā)現(xiàn)了一些惡意的人工智能，例如破解驗證碼。相比于使用人工智能做特定目標(biāo)的暗殺，這些問題都是次要的。但這是程度上的區(qū)別，而不是類型上的區(qū)別。隨著人工智能漸漸變得實用，人們利用它制造更嚴重的傷害，同時也會用它做更好的事情。我認為不會有人們說「濫用人工智能是今天的一個大問題而不是以前有的問題」。

10.計算機視覺系統(tǒng)會不會有一天產(chǎn)生和人一樣的視覺錯覺？

我認為我們最終會消除目前非常簡單的愚弄機器程序的視錯覺。同樣的，我認為我們也有能力避免那些使人迷惑的視錯覺。人類的進化尚未移除這些視錯覺是因為它們并不影響我們的生存。我們可以設(shè)計訓(xùn)練算法來消除它們。它們中的大部分，比如長度錯覺，在計算機程序中是很容易避免的，這只需要數(shù)一數(shù)線上的像素數(shù)目。

11.使用批量規(guī)范化（Batch Normalization）會不會削弱深度神經(jīng)網(wǎng)絡(luò)的性能？

表征能力并不會被影響，因為深度神經(jīng)網(wǎng)絡(luò)的規(guī)模和偏移量參數(shù)可以學(xué)習(xí)抵消規(guī)范化的影響，所以每一層都具有較精確學(xué)會和以前一樣的功能集的能力。

有效容量（effective capacity）更為復(fù)雜。由批量規(guī)范化（Batch Normalization）引入的噪聲具有一種正則化影響，但這可以通過優(yōu)化工作得到極大的改善。

12.為什么 OpenAI 沒有變得更加開放？比如使他們的想法或庫開源？

我們最終一定會公開我們的想法和庫。我們至少和大多數(shù)的學(xué)術(shù)實驗室一樣開放。要記得學(xué)術(shù)實驗室有時會為資金做研究，他們不發(fā)表這些研究，或者收費發(fā)表這些研究。

我們將這些想法和代碼保密，直到它們可以公開的主要原因在于，這對于像我這樣的研究者個人的職業(yè)生涯有利。如果我的主要的想法都已付諸論文與實踐，那將對我來說獲得貸款開發(fā) GANs 會更容易。如果我將用于制作 GANs 的所有個人想法公開，其他人可能在我完成之前已經(jīng)實現(xiàn)，這會讓申請貸款之類的事情變得困難。

13.我們怎樣才能保證與社會共享人工智能的好處，而不僅僅是進一步把財富和權(quán)力集中起來？

通過開源人工智能資源，OpenAI 正幫助減輕這種現(xiàn)狀，但這并不夠。 YCombinator Research 在基本正在收入方面做實驗，我認為像這樣的事情是必要的。

14.在批規(guī)范化（batch normalization）中，為什么我們要標(biāo)準化 XW 而不是 X？

如果標(biāo)準化 X 或者 XW+b，批規(guī)范化也是可行的。

批規(guī)范化的作者建議標(biāo)準化 XW，因為它更可能是高斯分布的。

X：通常 X 是 ReLU 層的輸出，所以來自于一個有一些 0 的非高斯分布（ non-Gaussian distribution），如果你對其標(biāo)準化，仍然會有作用，它只是不會像標(biāo)準化高斯分布那樣的有效。此外，如果 X 是輸入層，或者 X 是一個具有一定的高斯激活輸出的層，比如 maxout ，那么它可以完美地標(biāo)準化 X。

XW+b：如果你標(biāo)準化它，批規(guī)范化還是會起作用，但這是在浪費精力。相同的 b 會被加進 minibatch 的每個樣本，因此平均增加了 b。而 minibatch 去除了這種平均，所以 b 沒有作用。

15.深度學(xué)習(xí)僅僅是炒作嗎？

不，起碼它在計算機視覺方面的工作是真正革命性的。

16.Sam Altman 和 Elon Musk 在 OpenAI 是如何參與工作的？

他們參與地相當(dāng)積極，每周都在辦公室里。我的角色大多數(shù)時間并不直接和他們接觸，所以我不知道他們主要做了什么。他們都參與了招聘我的過程，在一些每周例會上我能看見 Elon Musk。

17.你為寫深度學(xué)習(xí)著作投入了多少時間？

我不確定，個人覺得投入了大約 1500 小時。我們將它寫在 Github 上的一個私人資料庫，所以，為了回答這個問題，我寫了一個腳本來列出我所有的提交記錄，并去掉那些在一個小時內(nèi)就提交的記錄。

這可能有些高估，因為有時我可能只工作幾分鐘然后做一次提交，但我覺得更可能低估了，因為我在正常情況下大概工作 3 小時就做一次提交。同時，有很多工作不需要寫到 Git 上，比如視頻會議討論制定計劃，閱讀和寫郵件，檢查我的合著者的工作，校對，閱讀研究論文以整理到書中等等?？傆嫶蠹s 1800 小時。

18.對抗網(wǎng)絡(luò)和對抗訓(xùn)練的聯(lián)系和區(qū)別是什么？

下面是時間線：

Christian Szegedy 發(fā)明了對抗訓(xùn)練（ adversarial training ），這種算法包括訓(xùn)練神經(jīng)網(wǎng)絡(luò)正確分類正常實例與「對抗實例（ adversarial examples ）」，對抗實例是指故意設(shè)計出來搞亂模型的最糟糕的輸入實例。我們發(fā)表的論文「神經(jīng)網(wǎng)絡(luò)的有趣屬性（ Intriguing properties of neural networks ）」描述了對抗訓(xùn)練。那時，對抗訓(xùn)練表現(xiàn)得還不是很好，實際上我們還沒給它取名。

我發(fā)明了生成式對抗網(wǎng)絡(luò)，并寫了一篇相關(guān)論文。生成式對抗網(wǎng)絡(luò)是成對的網(wǎng)絡(luò)：其中一個是生成器網(wǎng)絡(luò)（ generator network ），從由一系列訓(xùn)練范例定義的概率分布中學(xué)習(xí)創(chuàng)造新的樣本；另一個是鑒別器網(wǎng)絡(luò)（ discriminator nerwork ），可以查看樣本，辨別它是真的（來自數(shù)據(jù)集）還是假的（來自生成器網(wǎng)絡(luò)）。這篇論文沒有使用術(shù)語「對抗訓(xùn)練」。

我找到了一種更快生成對抗實例的方法。這就在對抗訓(xùn)練的每一步上讓制造一小批新的對抗實例變得實際可行，而不是在每個階段只能制造幾個實例。改進之后，對抗訓(xùn)練開始表現(xiàn)優(yōu)異。在一篇揭示它事實上如何運行的論文「解釋和利用對抗實例 （ Explaining and Harnessing Adversarial Examples ）」中，我們首次給它命名為「對抗訓(xùn)練」

后來，其他人開始使用「對抗訓(xùn)練」指代生成式對抗網(wǎng)絡(luò)。這就有點混淆不清了，但它在科技領(lǐng)域仍然有效。我們可以將生成式對抗網(wǎng)絡(luò)視作執(zhí)行對抗訓(xùn)練，對抗訓(xùn)練中的生成器網(wǎng)絡(luò)為鑒別器網(wǎng)絡(luò)制造對抗實例。或許，我們可以將「對抗訓(xùn)練」視作一個指代訓(xùn)練神經(jīng)網(wǎng)絡(luò)贏得游戲的過程的通用術(shù)語，而不是 Christian 和我用來指代以對抗實例來訓(xùn)練的術(shù)語。沒有英語語言學(xué)院來確定如何使用詞語，看上去「對抗訓(xùn)練」這樣的詞語表現(xiàn)出了自己的生命力，其含義正在不斷擴大，超過了我們最初使用它來指代的范圍。這可能在過渡時期引起一些困惑，但是不久我們將有希望達成清晰的共識。

19.你對使用深度學(xué)習(xí)的創(chuàng)業(yè)公司是敬仰還是失望？創(chuàng)業(yè)公司成功應(yīng)用深度學(xué)習(xí)有多難？

有很多創(chuàng)業(yè)公司已經(jīng)以一種令人敬仰的方式成功地應(yīng)用了深度學(xué)習(xí)：

Indico 和 DCGANs （與 FAIR 合作）

Quest Visual 和 Word Lens

Nervana 和他們的 CUDA 核

Clarifai 在 2013 年贏得 ImageNet 競賽

一家創(chuàng)業(yè)公司要成功應(yīng)用深度學(xué)習(xí)顯然沒有任何人要做到這點那么困難。困難的是通過應(yīng)用深度學(xué)習(xí)獲取利益。大多數(shù)從使用深度學(xué)習(xí)中獲利的公司能獲利是因為他們掌握了有價值的數(shù)據(jù)，而不是因為他們擁有重要的算法優(yōu)勢。我認為那些主要資本是深度學(xué)習(xí)人才庫的創(chuàng)業(yè)公司通常會以被收購告終。

20.你最喜歡的機器學(xué)習(xí)算法是什么？

我喜歡 dropout ，因為從單一模型構(gòu)建指數(shù)級大規(guī)模集合這種觀點太美妙了。我也認為二分權(quán)重的技巧在近似預(yù)測集合方面表現(xiàn)得如此好，簡直讓人驚訝。我不知道關(guān)于它為何在深度非線性模型上表現(xiàn)得如此好的任何理論推理，但它就是表現(xiàn)得這么好。

21.FractalNet 論文有多么重要？

現(xiàn)在做出判斷可能為時尚早，因為這篇論文出現(xiàn)在 arxiv 上還不到三個月。而且我也只讀了摘要。然而，我猜測它不是特別重要，主要是因為摘要里宣稱改進的結(jié)果只是來自一個數(shù)據(jù)集，并且 CITAR-100 這個數(shù)據(jù)集大概不如 CIFAR-10 和 ImageNet 那么流行和有競爭力。但公平來說，你不應(yīng)該評斷這篇論文，直到你已經(jīng)讀完它或者聽別人解讀它；我也只是通過摘要猜測它沒有取得重大進展。

有一篇相關(guān)論文，我認為更加重要，即「帶有隨機深度的深度網(wǎng)絡(luò) （ Deep Networks with Stochastic Depth ）」。這篇隨機深度論文引起了更廣泛的影響，因為它表明未被歸類于「深度神經(jīng)網(wǎng)絡(luò)在每一層上學(xué)習(xí)不同的表征」這一范式的深度模型表現(xiàn)得也確實很好。這帶來很多證據(jù)支持「深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)多步驟程序」范式。先前，人們意識到了這兩種解釋。大多數(shù)深度學(xué)習(xí)模型應(yīng)該用兩種范式同樣好地描述，但是我感覺表征學(xué)習(xí)解釋更加流行（考慮到一個叫做學(xué)習(xí)表征國際會議的重要的深度學(xué)習(xí)會議）。隨機深度論文揭示了你可以有一個被許多步驟的程序更新的單一表征，而且這真的表現(xiàn)得很好。這篇論文還揭示了僅僅讓程序運行更長時間就會有所助益，即使它沒有被訓(xùn)練來運行那么長時間。這表明相對而言為人忽視的多步驟程序解釋可能一直以來是更加重要的。

22.我如何有效學(xué)習(xí)人工智能和深度學(xué)習(xí)？

讀書：《深度學(xué)習(xí)》http://www.deeplearningbook.org/

做一個基礎(chǔ)項目，以確保你理解透了，比如實現(xiàn)一個 MNIST 分類器。

尋找項目：Requests for Research

23.人工智能有哪些不顯眼但發(fā)展空間巨大的應(yīng)用？

基于模型的優(yōu)化，或者我喜歡稱之為「自動發(fā)明家」。

目前我們制造的模型接收輸入，然后產(chǎn)生輸出。我們放進去一張照片，模型輸出一個值說明這是一只貓。

將來（從現(xiàn)在到一個有限的時間范圍），我們將能夠使用優(yōu)化算法搜索模型的輸入，這種模型產(chǎn)生最優(yōu)化的輸出。假設(shè)我們有一個可以查看汽車設(shè)計圖、預(yù)測汽車的行駛速度的模型。然后我們在設(shè)計圖的連續(xù)表征上使用梯度下降來針對最快的汽車做出優(yōu)化。

現(xiàn)在，這種方法表現(xiàn)得還不是很好，因為你不能獲得在真實世界中實際最優(yōu)的輸入。相反，你得到的是對抗實例，在模型世界里表現(xiàn)優(yōu)異而在現(xiàn)實世界中卻表現(xiàn)糟糕。例如，如果你開始優(yōu)化一張飛機圖片，然后用梯度下降法搜索一張被歸類為貓的圖片，梯度下降法將找出一張對我們?nèi)祟愑^察者仍然看起來像飛機而被模型歸類為貓的圖片。

將來，當(dāng)我們搞定對抗實例問題，我們將能夠構(gòu)建出用于測評醫(yī)藥有效性、基因和其它對人類而言太過復(fù)雜而不能有效處理的事情的深度網(wǎng)絡(luò)。然后通過在設(shè)計空間的連續(xù)表征上使用梯度下降，我們將能發(fā)明新的藥品，發(fā)現(xiàn)新的有用基因。

24.就研究目標(biāo)、工作氛圍和人才資源方面，你如何比較谷歌研究院、FAIR（Facebook 人工智能研究中心） 和 OpenAI？

谷歌（谷歌研究院是一個特定組織；我假定這個問題問的是一般意義上谷歌的研究）：非常龐大的研究機構(gòu)，在許多領(lǐng)域內(nèi)有天賦異稟的人才，研究著令人難以置信的各種問題。谷歌的研究有一些是長期的，大多數(shù)是中短期的，而且結(jié)合了基礎(chǔ)和應(yīng)用研究。谷歌很容易做大規(guī)模的項目，但比高等學(xué)校更難快速地做小規(guī)模研究項目（因為你將同樣的工具/過程用于大規(guī)模項目）。谷歌能獲取你不能在任何其他地方獲取的海量數(shù)據(jù)。

OpenAI ：中等規(guī)模的研究機構(gòu)（比大多數(shù)學(xué)術(shù)實驗室要大），有專注于實現(xiàn)通用人工智能的深度學(xué)習(xí)途徑的才華橫溢的人才。幾乎所有研究都聚焦于費力的基礎(chǔ)問題，而不太關(guān)心短期收益；所有工作都是關(guān)于開發(fā)新的機器學(xué)習(xí)技術(shù)，而不是應(yīng)用它們。我們的計算資源肯定足以支撐研究目的——請記住開發(fā)出一個機器學(xué)習(xí)模型后，公司必須針對數(shù)百萬用戶做出部署，所以在很多情況下公司將投入更多到生態(tài)布局而非訓(xùn)練模型上。OpenAI 不必將資源傾注到市場布局上，因為我們不制造產(chǎn)品。

FAIR ：我沒在 FAIR 工作過，所以沒有太多發(fā)言權(quán)。我能說的主要都是猜測，而且可能是不對的，但是 FAIR 似乎是一個純粹專注于深度學(xué)習(xí)的小團隊，比 OpenAI 的強化學(xué)習(xí)更少，但是 FAIR 的計算資源和可獲得的數(shù)據(jù)大概與谷歌相似。我 2013 年采訪了 FAIR ，但是自那以后 FAIR 改變了很多；那時 Yann 還沒有加入。

25.生成式對抗網(wǎng)絡(luò)（ GAN）未來有哪些激動人心的應(yīng)用？

我樂意看到過去常常用于構(gòu)建世界模型的 GAN 現(xiàn)在用于強化學(xué)習(xí)/動作規(guī)劃。Chelsea Finn、Sergey Levine 和我寫過一篇關(guān)于生成機器人運動視頻的論文「通過視頻預(yù)測的針對物理交互的無監(jiān)督式學(xué)習(xí)（ Unsupervised Learning for Physical Interaction through Video Prediction ）」。

我希望 GAN 將最終很好地跟進我們在此使用的模型。我們連同論文一起發(fā)布的數(shù)據(jù)集應(yīng)該能促進這個方向的研究。

26.深度學(xué)習(xí)如何提升我們對于因果性的理解？為什么？

如果這個問題指的是物理學(xué)中的因果性，或是因果模型，那么我不確定也不夠資格來回答這個問題（問Pierre Baldi（加州大學(xué)爾灣分校計算機科學(xué)教授）可能是個更好的主意）。我對于因果模型的回答：我不認為深度學(xué)習(xí)為因果模型從根本上帶來了什么新東西，；它只是為我們提供了一個在因果模型中的新工具。我很樂意回答更多具體的后續(xù)問題。

27.在機器學(xué)習(xí)研究中，有哪些很有意思但卻被忽視的開發(fā)？

這里追溯到一個：Ronald Williams 1992 年的論文就提出了離散策略梯度/重新參數(shù)技巧技術(shù)，但它在 2013 年被重新發(fā)現(xiàn)之后才變得炙手可熱：Simple statistical gradient-following algorithms for connectionist reinforcement learning。

28.OpenAI 現(xiàn)在有沒有一些沒有使用深度學(xué)習(xí)的項目？

據(jù)我所知，沒有。但我們不是教條主義者；如果一個非深度的領(lǐng)域表現(xiàn)出對于人工智能的明顯作用，那我們也會為之而工作。

記住，深度學(xué)習(xí)常常借鑒其他類型的機器學(xué)習(xí)，dropout是深度學(xué)習(xí)中的一種結(jié)合集成方法、創(chuàng)造貝葉斯深度學(xué)習(xí)模型是可能的、一些有正確的損失函數(shù)的神經(jīng)網(wǎng)絡(luò)可以被解釋為有學(xué)習(xí)的內(nèi)核的支持向量機等等。我們的許多項目仍在其他機器學(xué)習(xí)領(lǐng)域汲取靈感，并將這些想法融入到一個深度學(xué)習(xí)模型中。

29.對于一個需要決定進入行業(yè)或是讀博的人，您會提出怎樣的建議？

學(xué)術(shù)界一直要求你在薪酬方面，自由方面（例如搬遷）和生活方式上做出很多犧牲。在過去，它以做你感興趣的而在行業(yè)里做不了的課題為回報。如今，在行業(yè)里做深度學(xué)習(xí)是可能的（而且我認為現(xiàn)在在行業(yè)里做會更好）。這意味著，有兩條理由（就我所關(guān)心的）使你放棄學(xué)術(shù)界：

1）如果你認為目前的情況只是曇花一現(xiàn)，未來在深度學(xué)習(xí)領(lǐng)域做有意思的研究是不可能的。我的計劃是，如果行業(yè)在深度學(xué)習(xí)領(lǐng)域失去了興趣，我會轉(zhuǎn)變方向，繼續(xù)工作在一些前沿的可盈利的領(lǐng)域。

2）如果你還不能在行業(yè)中得到一份研究型的工作，那么做一份好的工作作為博士課程的一部分是進入研究世界的一個好方法。

對于這個回答，我將 OpenAI 作為「產(chǎn)業(yè)」的一部分，盡管它是非營利的。

30.對于剛開始博士學(xué)習(xí)生涯的學(xué)生，你有什么建議？

最重要的是做好的工作。

做好的工作的較好方式是找到一個可以提供給你大量的時間和自由去做你相信的研究博士課程，并且找到一個和你有相同研究方向的并且重視你的導(dǎo)師。在那些聲望較低的大學(xué)總是有一些好的教授。而在那些有名的大學(xué)，你更可能被分派一些非研究性的工作。

申請很多外部的獎學(xué)金，這樣你就不用花費時間在你的助學(xué)金上，可以專心做研究了。我獲得了谷歌的 PhD Fellowship，為我在發(fā)明 GAN 時提供津貼。也有許多其他的獎學(xué)金，比如這個來自 Facebook 的：https://research.facebook.com/blog/facebook-graduate-fellowship-application-now-open-/

31.人工智能會變得有意識、有知覺嗎？

我找不出一個對于「意識（conscious）」和「知覺（sentient）」的好定義。

有一些非常實用的定義，如意識到自己，可以說強化算法已經(jīng)實現(xiàn)了這點，它可以學(xué)習(xí)自己的行為對于環(huán)境產(chǎn)生的影響。但我不認為這和我們的問題相關(guān)。

我通常將這類問題理解為機器是否可以有感受質(zhì)（Qualia）。

人是否有感受質(zhì)甚至都還無法確定，我覺得我有感受質(zhì)，但我真的很難解釋我的意思，而且我不能舉出一個證明我有感受質(zhì)的例子；我假設(shè)人和許多種動物有感受質(zhì)，僅僅是因為在其他方面它們和我是相似的，一些喜歡 Daniel Dennett（美國哲學(xué)家、認知科學(xué)家）的人認為，感受質(zhì)完全不存在，并且很樂意接受這種可能性。如果他們是正確的，那么「有意識的」「有知覺的」這些詞完全不起作用，因為與人的任何東西都不相關(guān)聯(lián)。盡管迄今為止我不參與反感受質(zhì)辯論，因為他們大多卷入了文字游戲（在一次反感受質(zhì)的思想實驗中，如果顏色科學(xué)家瑪麗「知道」關(guān)于顏色的一切，那么反感受質(zhì)觀點的就聲稱她也知道顏色帶來的感受質(zhì)……看起來這條理由糾結(jié)于「知道」帶來的歧義），或是爭辯于我們的大腦不善于處理、儲存和在之后檢索關(guān)于感受質(zhì)的信息，這不同于人完全沒有感受質(zhì)的觀點。

總而言之，我甚至不能確定我是「有意識的」，所以我當(dāng)然不知道人工智能會變成什么樣子，除非我們開發(fā)了一門更好的語言來確定所謂的感受質(zhì)是什么意思，那樣我們才能決定它是否存在，機器是否可以擁有它們。

我也十分好奇章魚是否具有意識，因為它們和我們有著不同的進化路線，也有著發(fā)達的大腦。

32.與其它生成模型相比，生成對抗式網(wǎng)絡(luò)的優(yōu)勢是什么？

與其它模型相比我認為有一下幾個優(yōu)勢：

根據(jù)實際的結(jié)果，它們看上去可以比其它模型產(chǎn)生了更好的樣本。

生成對抗式網(wǎng)絡(luò)框架能訓(xùn)練任何一種生成器網(wǎng)絡(luò)（理論上-實踐中，用 REINFORCE 來訓(xùn)練帶有離散輸出的生成網(wǎng)絡(luò)非常困難）。大部分其他的框架需要該生成器網(wǎng)絡(luò)有一些特定的函數(shù)形式，比如輸出層是高斯的。重要的是所有其他的框架需要生成器網(wǎng)絡(luò)遍布非零質(zhì)量（non-zero mass）。生成對抗式網(wǎng)絡(luò)能學(xué)習(xí)可以僅在與數(shù)據(jù)接近的細流形（thin manifold）上生成點。

不需要設(shè)計遵循任何種類的因式分解的模型，任何生成器網(wǎng)絡(luò)和任何鑒別器都會有用。

與 PixelRNN相比，生成一個樣本的運行時間更小。GAN 每次能產(chǎn)生一個樣本，而 PixelRNN 需要一次產(chǎn)生一個像素來生成樣本。

與VAE 相比，它沒有變化的下限。如果鑒別器網(wǎng)絡(luò)能完美適合，那么這個生成器網(wǎng)絡(luò)會完美地恢復(fù)訓(xùn)練分布。換句話說，各種對抗式生成網(wǎng)絡(luò)會漸進一致（asymptotically consistent），而 VAE 有一定偏置。

與深度玻爾茲曼機相比，既沒有一個變化的下限，也沒有棘手的分區(qū)函數(shù)。它的樣本可以一次性生成，而不是通過反復(fù)應(yīng)用馬爾可夫鏈運算器（Markov chain operator）。

與 GSN 相比，它的樣本可以一次生成，而不是通過反復(fù)應(yīng)用馬爾可夫鏈運算器。

與NICE 和 Real NVE 相比，在 latent code 的大小上沒有限制。

明確一下，我認為很多這些其它方法都是很好的，它們相對于 GAN 也有不同的優(yōu)勢。

33.OpenAI 的團隊結(jié)構(gòu)是怎樣的？

非常扁平，所有的技術(shù)人員都向 Ilya 或 Greg 報告。

34.深度無監(jiān)督學(xué)習(xí)的未來是什么？

我對完全無監(jiān)督的學(xué)習(xí)有些懷疑，因為它會很難知道你要執(zhí)行什么樣的任務(wù)。如果你想要訓(xùn)練一個模型識別照片中的人，那么它會需要提取完全不同的特征給不同的程序。一個可以通過看你的面部表情評估你的參與水平的電子游戲，相比于一個需要識別人身上衣服的標(biāo)簽并推薦購買位置的購物應(yīng)用，需要提取的特征是不同的。因此我認為，深度無監(jiān)督學(xué)習(xí)的未來將成為半監(jiān)督的學(xué)習(xí)。Takeru Miyato 等人的虛擬對抗訓(xùn)練就是一個很好的例子：

Distributional Smoothing with Virtual Adversarial Training

Virtual Adversarial Training for Semi-Supervised Text Classification

另外還有 Tim Salimans 的帶有特征匹配的 GAN 的半監(jiān)督學(xué)習(xí)：

Improved Techniques for Training GANs

35.非營利的 OpenAI 的薪酬如何？

OpenAI 的薪酬和行業(yè)薪酬差不多。非營利組織不被允許給員工發(fā)過高的薪水，但是可以以市場標(biāo)準，按照能力給予薪資。因為我們更喜歡雇傭?qū)τ谖覀兊娜蝿?wù)十分熱情的員工，如果你尋求的是高薪水，OpenAI 的薪水在市場上不是較高的，你應(yīng)該去別的地方；如果你對建立安全的人工智能很有激情，那你應(yīng)該來這。

36.Dropout 和批規(guī)范化（Batch Normalization）之間有什么不同？

Dropout 基本上是用于正則化（regularization）。它為神經(jīng)網(wǎng)絡(luò)引入噪聲以迫使神經(jīng)網(wǎng)絡(luò)學(xué)會更好的歸納方法以便應(yīng)付噪聲（這種說法過于簡化了，Dropout 遠不止是在噪聲下的穩(wěn)健性）。

批規(guī)范化基本上是用于改善優(yōu)化（optimization）。其有一個副作用：批規(guī)范化碰巧會向網(wǎng)絡(luò)中引入一些噪聲，所以它也可以在模型的正則化上做點貢獻。

當(dāng)你有一個大型數(shù)據(jù)集時，較好的優(yōu)化就很重要了，較好的正則化就沒有那么重要；所以在大型數(shù)據(jù)集上，批規(guī)范化更重要。你當(dāng)然也可以同時使用 Dropout 和批規(guī)范化——我在我的 GAN 中這么做過：Improved Techniques for Training GANs

37.在改善生成式對抗網(wǎng)絡(luò)上，你有哪些研究方向？

我基本上是在想辦法解決不收斂（non-convergence） 的問題。

我們面臨的基本問題是，所有的理論都認為 GAN 應(yīng)該在納什均衡（Nash equilibrium）上有卓越的表現(xiàn)，但梯度下降只有在凸函數(shù)的情況下才能保證實現(xiàn)納什均衡。當(dāng)博弈雙方都由神經(jīng)網(wǎng)絡(luò)表示時，在沒有實際達到均衡的情況下，讓它們永遠保持對自己策略的調(diào)整是可能的。

38.有沒有一種理論可以解釋為什么批規(guī)范化具有正則化效應(yīng)（regularzing effect）？

Batch 形式（batch norm)在某種意義上類似于 dropout ，它在訓(xùn)練的每一步為每個隱藏單元乘上一個隨機值。在這種情況下，該隨機值是所有 minibatch 內(nèi)隱藏單元的標(biāo)準差。因為不同實例在每一步驟是針對 minibatch 所包含的東西隨機選擇出來的，標(biāo)準差也是隨機浮動。

Batch norm 也在每一步從隱藏單元減去了一個隨機值（ minibatch 的均值）。 這兩種噪音的來源意味著每一層必須學(xué)會穩(wěn)健處理輸入的許多變量，就像 dropout 一樣。

39.為成為 OpenAI 的研究科學(xué)家，你采取了什么步驟？

在 OpenAI 選擇我之前，我經(jīng)歷了和其他人一樣的面試過程。我最初回答的問題是「如何讓你的應(yīng)用引起注意？」

OpenAI 雇傭了我。我并沒有經(jīng)歷申請流程。我覺得 OpenAI 想招募我，是因為我發(fā)明了GAN，我是其深度學(xué)習(xí)教材的首要作者，并且我之前和 Wojciech 一起共事過。我也和 Ilya 一起工作過，但因為非招攬協(xié)議（non-solicit agreement），他不能推薦我。

40.針對當(dāng)前機器學(xué)習(xí)系統(tǒng)的對抗性攻擊的例子有哪些？

在金融領(lǐng)域，這種情況很常見：對對手的交易算法進行反向工程，欺騙對手做出有利于你的的交易。這就是一種通過操縱市場條件創(chuàng)造出的對抗性樣本。由于這種做法的存在，模糊交易訂單和時常改變算法就很重要了。由于這些公司是依靠保密性來獲取利潤的，因此，我們很難獲得該領(lǐng)域真相事實方面的可靠數(shù)據(jù)。

垃圾郵件可被視為一種針對垃圾郵件過濾器的對抗性攻擊。

一些 SEO 策略是合法的，但是另一些屬于一種針對搜索排名算法的對抗性攻擊。

計算機視覺可被用于破解 CAPTCHA 驗證碼。在解決地址數(shù)字轉(zhuǎn)錄問題期間，我的 Street View 的同事們和我不小心打造了一個 CAPTCHA 破解器（ Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks）真實世界的犯罪肯定也能使用機器學(xué)習(xí)來讓他們的機器人程序被識別為人類。

DARPA 網(wǎng)絡(luò)挑戰(zhàn)賽基本上就是一個自動化攻擊競賽： Cyber Grand Challenge (CGC)。

也有很多攻擊可以在可控背景下得以證實，但是在其他背景下，可能發(fā)生，也可能不會發(fā)生。

Nicholas Papernot 和他的同事也展示了，在無需接入訓(xùn)練集、模型參數(shù)、結(jié)構(gòu)描述，甚至得知哪種算法正被使用著的情況下，如何使用對抗性樣本來愚弄遠程托管的機器學(xué)習(xí) API。這些攻擊能對 MetaMind、Amazon 以及谷歌托管的 API 起作用：

Practical Black-Box Attacks against Deep Learning Systems using Adversarial Examples from Phenomena to Black-Box Attacks using Adversarial Samples

Kathrin Grosse 和合作者們展示了這些想法可被用于讓惡意軟件通過惡意軟件檢測器的檢測：

Adversarial Perturbations Against Deep Neural Networks for Malware Classification

Alexey Kurakin、Samy Bengio 和我的研究也表明，可以制造出能夠愚弄通過攝像頭觀察它們的機器學(xué)習(xí)系統(tǒng)的物理物體： Adversarial examples in the physical world （我們最近也發(fā)現(xiàn) Dileep George 也注意到，一種不同的惡意輸入，當(dāng)目標(biāo)識別器通過攝像頭進行觀察時，它也能愚弄物體識別器： Evolving AI Lab - University of Wyoming 在這種情況下，在一位人類觀察者看來，圖像看起來不像任何可識別的物體，但是卻被機器學(xué)習(xí)模型視為一種特定物體。我主要研究這種情況：一個物體被偽裝為另一種物體）

41.在你的研究經(jīng)歷中，最值得記住的失敗是什么？你從中學(xué)到了什么？

絕大多數(shù)研究思路會失敗，但是在機器學(xué)習(xí)中，嘗試新想法的成本不高。我有一個高通量的篩選方法來研究我什么地方并行嘗試了多個想法，希望的是丟棄大多數(shù)想法，只執(zhí)行少數(shù)有希望的想法。正因為如此，當(dāng)一個研究的想法得不到解決時，忘了它也不難。（我已經(jīng)試過并丟棄了并行的幾個研究思路，并將它們寫進了這個 Quora 問答中。）

做研究，尤其是技術(shù)發(fā)展中的研究，也都常常會有失敗，因為過時是無法避免的。所以即便我花了很長時間在玻爾茲曼機器上后它變得不再流行，或者 Pylearn2 的開發(fā)不再活躍后，我也覺得沒什么。這是技術(shù)的自然屬性。

困擾我的主要失敗是輸?shù)粢粓霰荣悂硗瓿梢豁棄雅e。大約在 2007 年到 2012 年之間，我曾和其他很多人嘗試過解決對象識別問題，但 Alex、Ilya、Geoff 給了我一個暴擊，我花了很多時間試圖做出更聰明的可以從較少的有標(biāo)注數(shù)據(jù)中學(xué)習(xí)的算法。Alex、Ilya、Geoff 做到了一點（dropout），但是主要是他們升級了已經(jīng)存在了幾十年的算法，并在更多的數(shù)據(jù)中訓(xùn)練它們。在這種情況下，我主要誤認為大約對于現(xiàn)有的算法來說，每類 1000 個樣本就夠用了。 和后來其他輸?shù)暨@場比賽的每個人一起，我認為因為對于卷積網(wǎng)絡(luò)來說，在 CIFAR-10 上的每類 5000 個樣本，不能讓它發(fā)揮得很好。在 ImageNet 上每類 1000 個樣本不能讓它們發(fā)揮的很好。

42.如何運用 GAN 處理文本？

理論上，如果你使用類似 REINFORCE 的東西，通過離散輸出層來估計梯度應(yīng)該是有效的。實際上，僅僅輸出詞的 softmax 分布會更容易。如果鑒別器（discriminator）的第一層是一個詞嵌入層，那么當(dāng)用于生成器時這將有利于得到嵌入的加權(quán)平均。

43.你最希望深度學(xué)習(xí)用于哪方面？

我希望將深度學(xué)習(xí)用于醫(yī)藥領(lǐng)域。

44.有興趣深度學(xué)習(xí)通用對抗網(wǎng)絡(luò) 。除了閱讀論文，還有什么好的研究方法？

請查看我們與論文有關(guān)的 GitHub 代碼，并試著將之運用到幾個不同問題中去。

45.如果我目前不在學(xué)術(shù)界工作，也不在某個產(chǎn)業(yè)研究背景下工作，如何發(fā)表人工智能研究成果？

寫論文，然后發(fā)表在arXiv上，以及遞交會議論文。依附一個機構(gòu)并非發(fā)表論文的必要條件。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754