摘要：是世界上最重要的研究者之一，他在谷歌大腦的競爭對手，由和創立工作過不長的一段時間，今年月重返，建立了一個探索生成模型的新研究團隊。機器學習系統可以在這些假的而非真實的醫療記錄進行訓練。今年月在推特上表示是的，我在月底離開，并回到谷歌大腦。

理查德·費曼去世后，他教室的黑板上留下這樣一句話：“我不能創造的東西，我就不理解。”（What I cannot create, I do not understand.）

Ian Goodfellow 在解釋他在 Google Brain 所做的研究時，引用了這位偉大的物理學家的這句名言，費曼是加州理工學院教授，同時也是暢銷書作者。但 Goodfellow 指的不是自己，也不是 Google 內部的其他任何人。他指的是機器：“ AI 不能創造的東西，它就不理解。”

Goodfellow 是世界上最重要的 AI 研究者之一，他在 OpenAI（谷歌大腦的競爭對手，由 Elon Must 和 Sam Altman 創立）工作過不長的一段時間，今年3月重返 Google Brain，建立了一個探索“生成模型”（generative models）的新研究團隊。生成模型是創造照片、聲音、以及其他現實世界的表征的系統。Goodfellow 將這些工作描述為通向各種各樣的人工智能的重要途徑。

“如果 AI 能夠想象這個世界的現實細節——學習如何創造逼真的圖像和逼真的聲音——就能讓 AI 得以學習現實世界的結構。”他解釋說，“這能幫助 AI 理解它看到的圖像或聽到的聲音。”

2014年，還是蒙特利爾大學的博士生時，一次在一家酒吧稍微喝醉與人爭論，Goodfellow 設想了這樣一種被稱為“生成對抗網絡”，即 GAN 的 AI 技術。雖然其起源有酒精的因素，但這是一個非常優雅的設想：一個 AI 能夠創造出足以亂真的假圖像，然后第二個 AI 分析其結果，并判斷這些圖像是真實的還是假造的。“你可以把它想象成一個藝術家和一個藝術評論家，”Goodfellow 說，“生成模型想要騙過藝術評論家——讓藝術評論家認為它產生的圖像是真實的。”由于第二個 AI 要識別出圖像是假的非常困難，第一個 AI 學會了以這樣的方式模仿真實的圖像，而它獨自是沒法做到的。在這個過程中，這兩個神經網絡能夠將 AI 推向計算機宣布完全脫離它們的人類老師的一天。

Facebook AI 研究主管 Yann LeCun 稱 GAN 是“過去20年來深度學習方面最酷的想法”。深度學習是 AI 的一個子領域，它正在改變所有互聯網大公司的方向，包括 Google，微軟，Amazon，以及 Facebook。Goodfellow 的想法雖然尚未成熟仍在不斷發展，但它們已經迅速在 AI 社區中廣為傳播。許多研究者，包括 LeCun，相信 GAN 能夠達成“無監督學習”，這是 AI 研究領域的一個強烈愿景：不需要人類直接幫助的機器學習。

讓 Goodfellow 冒出這個想法的酒吧叫 Les 3 Brasseurs，或稱 The 3 Brewers。他的朋友 Razvan Pascanu，現在是 DeepMind 的研究員，當時剛完成博士學位，Goodfellow 以及其他許多朋友一起聚在那個酒吧為他慶祝。其中一位朋友說起一個新的研究項目，研究如何在數學上確定一張照片里的所有信息。他們的想法是將這些統計數據輸入到一臺機器，然后讓機器自己創造照片。已經喝得微醺的 Goodfellow 說這永遠不可能奏效，因為需要考慮的數據太多，沒有人能夠把所有數據記錄下來。但這時，他想到了一個更好的方法：可以讓神經網絡去教會機器如何創造逼真的圖像。

神經網絡是一個復雜的數學系統，通過分析大量數據來學習任務，從識別照片中的人臉到理解對話，等等。在那間酒吧里，Goodfellow 想到在一個神經網絡學會創造逼真的圖像后，第二個神經網絡可以當它的對手，試圖判斷這些圖像是否是假造的，然后，將這個判斷輸入給第一個網絡。Goodfellow 說，通過這種方式，最終能教會第一個神經網絡生成足以亂真的“假造”圖像。

這隨后引來了爭論。Goodfellow 的朋友們同樣堅持這種方法不會奏效。所以，當天晚上 Goodfellow 回家后，他就開始著手建這個東西。“我回到家時還是有點醉醺醺的，女朋友已經睡著了，然后我就坐在那里想：‘是我的朋友們是錯的！’”他回憶道：“然后我就熬夜用 laptop 寫出了 GAN 的代碼。”正如他的想法那般，代碼在第一次嘗試是就奏效了。“真的很幸運，”他說，“因為假如它第一次不工作，我可能就放棄這個想法了。”

當年晚些時候，Goodfellow 和其他一些研究人員合作發表了一篇論文，描述了這些想法。三年來，探討這個概念的論文已經有數百篇。在 Goodfellow 的第一篇 GAN 論文里，兩個神經網絡一起工作，產生了一個能夠生成手寫數字的逼真圖像的系統。現在，研究人員已經將這個想法應用到貓、火山乃至整個星系的圖像。GAN 甚至能協助天文學實驗，幫助模擬粒子物理。

但這仍然是非常難以實現的想法。它需要訓練的不僅僅是一個神經網絡，而是要同時訓練兩個神經網絡。Goodfellow 在 Google 創建專注于 GAN 及其相關研究的新團隊時，他希望能夠改進這個過程。他說：“我作為一名機器學習的研究者，必須面對的一個主要問題，是提供一種能夠非常可靠地訓練這些網絡的方法。”

最終的結果：不僅是生成圖像和聲音，而且在識別圖像和聲音方面，GAN 都能做得非常好，而識別圖像和聲音是通往不需人類太多幫助就能學習的系統的一個路徑。Goodfellow 說：“這些模型學會了理解世界的構造，這能幫助系統在沒有很多明確的告知的情況下學習。”

GAN 甚至能夠提供無監督學習，雖然這在目前還沒有真正實現。目前，神經網絡可以通過分析幾百萬張貓的照片來學習識別貓，但這需要人工地仔細甄別這些照片，并將它們標記為貓的照片。在這個過程中，人仍然是很重要的角色，而且這往往是很大的問題，例如偏見的問題，訓練 AI 所需的龐大的人力的問題，等等。LeCun 等研究者正在推動不需這樣龐大的人力參與的情況下學習的系統，這可以加速 AI 的發展。?

但這僅僅是個開始。GAN 也帶來了數量眾多的可能性。南加州大學的AI 研究員David Kale 認為，GAN 將會幫助他和他的同事在不侵犯病人隱私的前提下開發醫療AI。

基本上，GAN 可以“制造出”假的醫療記錄。機器學習系統可以在這些假的而非真實的醫療記錄進行訓練。“與其把病人的醫療記錄放到互聯網上，讓大家都來用，為什么不在這樣的數據上訓練GAN，創造出一個完全人造的數據集，并且對所有的研究者開放呢？” Kale 說。“為什么我們不這樣做？畢竟從這個數據集訓練的模型與原始數據訓練并沒有什么區別。”

盡管現在有很多研究者都在探索GAN背后的原理，但是，GoodFellow 將在谷歌建立自己的研究團隊卻格外引人注目。GoodFellow 早年在谷歌，后加入Open AI，在不到一年以后又返回谷歌，因為他所有的合作者幾乎都在谷歌。

Goodfellow 今年3月在推特上表示：

是的，我在 2月底離開 OpenAI，并回到谷歌大腦。

我很喜歡在 OpenAI 的日子，也為 OpenAI 的同事們與我合作完成的工作感到自豪。我重回谷歌大腦，是因為隨著時間的推移，我發現我的研究集中在對抗樣本，以及與差分隱私相關的技術，而這些研究我主要是與谷歌的同事合作進行的。

“每天都把時間花費在視頻電話上，這可不好玩”，他說，“這不是做事的較佳方法”。分享很重要，但是，近距離的協作也很重要，不管對于AI研究者還是神經網絡都是如此。

關于生成對抗網絡的詳細介紹

摘要

我們提出一個通過對抗過程評估生成模型的新框架，其中我們同時訓練兩個模型：一個用于捕捉數據分布的生成模型 G，以及一個用于評估來自訓練數據而非來自生成模型 G 的樣本概率的判別模型 D。生成模型 G 的訓練過程目的是較大化判別模型 D 犯錯誤的概率。這個框架相當于一個極小化極大的雙方對弈。在任意函數 G 和 D 的空間中，存在一個的解，此時 G 恢復訓練數據的分布，而 D 處處都等于 1/2。在 G 和 D 由多層感知器（multilayer perceptrons）定義的情況下，整個系統可以用反向傳播進行訓練。在訓練或生成樣本時，不需要任何馬爾科夫鏈（Markov chains）或展開的近似推理網絡（unrolled approximate inference networks）。實驗通過對生成的樣本進行定性或定量評估來證明這個框架的潛力。

論文地址：https://arxiv.org/pdf/1406.2661.pdf

生成對抗網絡的簡單介紹如下，訓練一個生成器（Generator，簡稱G），從隨機噪聲或者潛在變量（Latent Variable）中生成逼真的的樣本，同時訓練一個鑒別器（Discriminator，簡稱D）來鑒別真實數據和生成數據，兩者同時訓練，直到達到一個納什均衡，生成器生成的數據與真實樣本無差別，鑒別器也無法正確的區分生成數據和真實數據。GAN的結構如圖1所示。

Ian Goodfellow在生成對抗網絡（GAN）論文最后總結的幾點：

優點

模型只用到了反向傳播，而不需要馬爾科夫鏈；

訓練時不需要對隱變量做推斷；

理論上，只要是可微分函數都可以用于構建D和G，因為能夠與深度神經網絡結合做深度生成式模型；

G的參數更新不是直接來自數據樣本，而是使用來自D的反向傳播（這也是與傳統方法相比差別較大的一條吧）。

缺點

可解釋性差,生成模型的分布 Pg(G)沒有顯式的表達。

比較難訓練,D與G之間需要很好的同步,例如D更新k次而G更新一次。

Ian Goodfellow?

Ian Goodfellow 是深度學習大神 Yoshua Bengio的學生，以第一作者的身份和Bengio、Allan Courville合著了“Deep Learning”這本書——是的，就是【那本】Deep Learning。

LinkedIn 頁面顯示 Goodfellow 的職業軌跡：

2013年6月到2013年9月，在谷歌實習，職位：軟件工程師

2014年7月到2015年11月，谷歌研究員

2015年11月到2016年3月，谷歌高級研究員

2016年3月到2017年3月，Open AI 研究員

2017年3月到現在，谷歌 Staff Research Scientist

原文地址：https://www.wired.com/2017/04/googles-dueling-neural-networks-spar-get-smarter-no-humans-required/

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754