資訊專欄INFORMATION COLUMN
摘要：例如，即插即用生成網絡通過優化結合了自動編碼器損失，損失，和通過與訓練的分類器定于的分類損失的目標函數，得到了較高水平的樣本。該論文中，作者提出了結合的原則性方法。
在機器學習研究領域，生成式對抗網絡（GAN）在學習生成模型方面占據著統治性的地位，在使用圖像數據進行訓練的時候，GAN能夠生成視覺上以假亂真的圖像樣本。但是這種靈活的算法也伴隨著優化的不穩定性，導致模式崩潰（mode collapse）。將自動編碼器(auto-encoder)與GAN相結合，能夠使模型更好的表示所有被訓練的數據，以阻止模式崩潰。來自Google DeepMind的研究者Mihaela Rosca等人利用生成模型的層級結構，提出了將自動編碼器與生成對抗網絡相結合的原則，結合了兩種方法的優點，得到了頂尖結果。
而Ian Goodfellow也鼎力推薦了論文內容。
以下為 AI科技評論據論文內容進行的部分編譯：
論文摘要
生成對抗網絡是目前機器學習研究領域學習生成模型的最主要的方法之一，它提供了一種學習隱變量模型的更靈活的算法。定向隱變量模型描述了源噪聲數據是如何通過非線性函數變換為貌似真實的數據樣本的，而GAN則通過辨別真實數據和模型生成數據來驅動學習過程。GAN可以在大型數據集上進行訓練，當使用圖像數據進行訓練的時候，GAN能夠生成視覺上相當真實的圖像樣本。但這種靈活性也帶來了優化過程中的不穩定性，會導致模式崩潰的問題，即生成的數據不能反應潛在的數據分布的差異?；谧跃幋a器的GAN（auto-encoder-based GAN, AE-GAN）正是為了解決這個問題的GAN變種，它使用了自動編碼器來鼓勵模型更好的表示所有被訓練的數據，從而阻止模式崩潰。
自動編碼器的應用成功的改善了GAN訓練。例如，即插即用生成網絡（plug and play generative network, PPGN）通過優化結合了自動編碼器損失，GAN損失，和通過與訓練的分類器定于的分類損失的目標函數，得到了較高水平的樣本。AE-GAN可以大致分為三種：（1）使用自動編碼器作為判別器，例如energy-based GAN和boundary-equilibrium GAN。（2）使用去噪自動編碼器以得到更稱其的輔助損失函數，例如denoising feature matching GAN。（3）結合了VAE和GAN的方法，例如變分自動編碼器GAN（variational auto-encoder GAN, VAE-GAN）。
該論文中，作者提出了結合AE-GAN的原則性方法。通過探索由GAN學習到的隱變量模型的層次結構，作者展示了如何將變分自動編碼器與GAN結合到一起。該方法能夠克服各自方法的限制，因此具有極大的優勢。當基于圖像進行訓練時，VAE方法經常會生成模糊的圖像，但VAE不會像GAN一樣受到模式崩潰問題的困擾。GAN幾乎不允許對模型進行分布假設，而VAE允許對隱變量進行推斷，這對于表征學習，可視化和解釋是很有用的。該論文開發的方法結合了這兩個方法中的優點，提供統一的學習目標函數，無監督，不需要預訓練或外部分類器，并且可以輕松的擴展到其他生成模型任務。
該論文主要進行了一下工作：
表明變分推理（variational inference）同樣使用與GAN，以及如何可以將判別器用于具有隱式后驗近似的變分推理。
在學習生成模型時，可以組合likelihood-based和likelihood-free模型。在likelihood-free設定中，開發了具有合成似然性的變分推理，使得可以學習這種模型。
制定了自動編碼GAN（auto-encoding GAN，α-GAN）的原則目標函數，并描述了使它進行實際工作所需的思考。
評估是GAN研究中的主要挑戰之一，作者使用了一系列評估措施仔細評估了該方法的性能，與DC-GAN， WGAN和對抗-生成-編碼器（adversarial-generator-encoder，AGE）進行比較，展示了論文中的方法與這些方法有相媲美的性能，并強調隱生成模型中持續評估的挑戰。
實驗結果
為了更好地理解基于自動編碼器的方法在GAN領域中的重要性，作者將該方法與其他GAN方法在三個數據集上進行了對比，包括混合模型AGE，和其他純GAN方法的變種,例如DCGAN和WGAN-GP。數據集為ColorMNIST，CelebA和CIFAR-10。在實驗中，使用了Inception score，MS-SSIM和Independent Wasserstein critic作為評估指標。為了綜合分析實驗結果，結果采用了每個算法獲得的較佳值。為了評估模型對超參數的敏感性，采用了每個模型各個超參數中較好的十個，在圖中由黑色圓圈表示。
圖一：Wasserstein critic指標下各方法的實驗結果
圖二：Sample diversity和Inception score指標下各方法實驗結果
ColorMNIST數據集結果:
在上圖（a）中比較了Wasserstein critic指標的值，其中值越高越好。該方法對超參數的敏感度較低，在這個指標下，該方法在各種設置下都取得了較佳的性能。這也在下圖生成的樣本中得到了證明：
從左到右分別為：DCGAN，WGAN-GP，AGE，論文中方法
CelebA數據集結果：
CelebA數據集有64*64像素的名人臉圖片組成。下圖展示了四種模型生成的樣本。作者也在Wasserstein critic指標下（見圖一（b））和sample diversity score標準下（見圖二（a））對各方法進行了比較，論文中方法與WGAN-GP和AGE方法有接近的表現。
從左到右分別為：DCGAN，WGAN-GP，AGE，論文中方法
CIFAR-10數據集結果：
下圖中展示了CIFAR-10數據集上四種模型生成的樣本。如圖一（c）所示，在Wasserstein critc指標下，WGAN-GP是較佳模型。如圖二（b）所示，基于ImageNet的Inception score中，論文種方法有較佳的性能，如圖二（c）所示，基于CIFAR-10的Inception score中，論文中方法與DC-GAN有相近的性能。
從左到右分別為：DCGAN，WGAN-GP，AGE，論文采用的方法
想要深入了解該方法的請閱讀原論文：https://arxiv.org/pdf/1706.04987.pdf
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4579.html
摘要：我們還經驗性地演示了貝葉斯在語言建模基準和生成圖說任務上優于傳統，以及通過使用不同的訓練方案，這些方法如何改進我們的模型。第節和第節分別回顧了通過反向傳播做貝葉斯，和通過時間做反向傳播。 摘要在這項工作里，我們探討了一種用于 RNN 的簡單變分貝葉斯方案（straightforward variational Bayes scheme）。首先，我們表明了一個通過時間截斷反向傳播的簡單變化，能...
摘要：文本谷歌神經機器翻譯去年，谷歌宣布上線的新模型，并詳細介紹了所使用的網絡架構循環神經網絡。目前唇讀的準確度已經超過了人類。在該技術的發展過程中，谷歌還給出了新的，它包含了大量的復雜案例。谷歌收集該數據集的目的是教神經網絡畫畫。 1. 文本1.1 谷歌神經機器翻譯去年，谷歌宣布上線 Google Translate 的新模型，并詳細介紹了所使用的網絡架構——循環神經網絡（RNN）。關鍵結果：與...
摘要：老顧受邀在一些大學和科研機構做了題為深度學習的幾何觀點的報告，匯報了這方面的進展情況。昨天年月日，嚴東輝教授邀請老顧在泛華統計協會舉辦的應用統計會議上做了深度學習的幾何觀點的報告。小結最優傳輸理論可以用于解釋深度學習中的概率分布變換。 （最近，哈佛大學丘成桐先生領導的團隊，大連理工大學羅鐘鉉教授、雷娜教授領導的團隊應用幾何方法研究深度學習。老顧受邀在一些大學和科研機構做了題為深度學習的幾何觀...
摘要：二是精度查全率和得分，用來衡量判別式模型的質量。精度查全率和團隊還用他們的三角形數據集，測試了樣本量為時，大范圍搜索超參數來進行計算的精度和查全率。 從2014年誕生至今，生成對抗網絡（GAN）熱度只增不減，各種各樣的變體層出不窮。有位名叫Avinash Hindupur的國際友人建立了一個GAN Zoo，他的動物園里目前已經收集了多達214種有名有姓的GAN。DeepMind研究員們甚至將...
摘要：相比于，它將也作為隱變量納入到變分推斷中。結論綜述本文的結果表明了變分推斷確實是一個推導和解釋生成模型的統一框架，包括和。 作者丨蘇劍林單位丨廣州火焰信息科技有限公司研究方向丨NLP，神經網絡個人主頁丨kexue.fm前言我小學開始就喜歡純數學，后來也喜歡上物理，還學習過一段時間的理論物理，直到本科畢業時，我才慢慢進入機器學習領域。所以，哪怕在機器學習領域中，我的研究習慣還保留著數學和物理的...
閱讀 854·2023-04-26 00:11
閱讀 2655·2021-11-04 16:13
閱讀 2101·2021-09-09 09:33
閱讀 1472·2021-08-20 09:35
閱讀 3817·2021-08-09 13:42
閱讀 3604·2019-08-30 15:55
閱讀 1039·2019-08-30 15:55
閱讀 2218·2019-08-30 13:55
