一個GAN生成ImageNet全部1000類物體

huaixiaoz 發(fā)布于2019-04-25 18:20 / 3722人閱讀

摘要：作者在論文中將這種新的譜歸一化方法與其他歸一化技術(shù)，比如權(quán)重歸一化，權(quán)重削減等，和梯度懲罰等，做了比較，并通過實驗表明，在沒有批量歸一化權(quán)重衰減和判別器特征匹配的情況下，譜歸一化改善生成的圖像質(zhì)量，效果比權(quán)重歸一化和梯度懲罰更好。

就在幾小時前，生成對抗網(wǎng)絡(luò)（GAN）的發(fā)明人Ian Goodfellow在Twitter上發(fā)文，激動地推薦了一篇論文：

Goodfellow表示，雖然GAN十分擅長于生成逼真的圖像，但僅僅限于單一類型，比如一種專門生成人臉的GAN，或者一種專門生成建筑物的GAN，要用一個GAN生成ImageNet全部1000種類的圖像是不可能的。但是，這篇ICLR論文做到了。

是什么論文這么厲害？

點開鏈接，可以看到Ian Goodfellow更加熱情的贊美：

這是一篇很棒的論文！

這是一篇很棒的論文！我認為這篇論文沒有充分說明它結(jié)論的重要性，我擔心僅僅瀏覽摘要會讓人錯過這項突破。

“我們在CIFAR10，STL-10和ILSVRC2012數(shù)據(jù)集上測試了譜歸一化的功效，通過實驗證實了相對于那些使用此前提出的訓(xùn)練穩(wěn)定技術(shù)訓(xùn)練的GAN，譜歸一化GAN（SN-GAN）能夠生成質(zhì)量相同乃至更好的圖像。”這個描述太低調(diào)了，這篇論文展現(xiàn)了在ILSVRC2012數(shù)據(jù)集上的一個超大的飛躍。

在這篇論文之前，僅有一種GAN在ILSVR2012數(shù)據(jù)集上表現(xiàn)很好，那就是AC-GAN。但AC-GAN實際上有點作弊，因為它把ImageNet分成了100個更小的數(shù)據(jù)集，每個數(shù)據(jù)集僅含10個種類的數(shù)據(jù)。新的SN-GAN是第一個用一種GAN就覆蓋ImageNet全部1000種類數(shù)據(jù)的GAN變體。

將GAN擴展到更大的種類上面去一直以來都沒有得到很好解決，現(xiàn)在這篇論文為我們帶來了10倍的飛躍。

生成對抗網(wǎng)絡(luò)的譜歸一化，穩(wěn)定判別器訓(xùn)練

看上去真的很厲害的樣子。雖然Goodfellow說僅僅瀏覽摘要無法充分體會這篇論文的好，但是我們還是從摘要開始看起：

題目：生成對抗網(wǎng)絡(luò)的譜歸一化

摘要：生成對抗網(wǎng)絡(luò)的研究面臨的挑戰(zhàn)之一是其訓(xùn)練的不穩(wěn)定性。在本文中，我們提出了一種叫做“譜歸一化”（spectral normalization）的新的權(quán)重歸一化（weight normalization）技術(shù)，來穩(wěn)定判別器的訓(xùn)練。這種新歸一化技術(shù)計算輕巧，易于并入現(xiàn)有的部署當中。我們在CIFAR10，STL-10和ILSVRC2012數(shù)據(jù)集上測試了譜歸一化的功效，通過實驗證實了相對于那些使用此前提出的訓(xùn)練穩(wěn)定技術(shù)訓(xùn)練的GAN，譜歸一化GAN（SN-GAN）能夠生成質(zhì)量相同乃至更好的圖像。

簡單說，論文提出了一種新的權(quán)重歸一化方法，用于穩(wěn)定判別器的訓(xùn)練。作者在論文中寫道，他們的歸一化方法需要調(diào)整的超參數(shù)只要一個，就是Lipschitz常數(shù)，而且即使不調(diào)整這個超參數(shù)，也能獲得滿意的性能。此外，算法實現(xiàn)簡單，額外的計算成本很小。

作者在論文中將這種新的“譜歸一化”方法與其他歸一化技術(shù)，比如權(quán)重歸一化（Salimans＆Kingma，2016）、權(quán)重削減clipping（Arjovsky等，2017）和梯度懲罰gradient penalty（Gulrajani等，2017）做了比較，并通過實驗表明，在沒有批量歸一化、權(quán)重衰減和判別器特征匹配的情況下，譜歸一化改善生成的圖像質(zhì)量，效果比權(quán)重歸一化和梯度懲罰更好。

第一個成功應(yīng)用于ImageNet全部1000個類別的GAN變體

最后，來看讓Ian Goodfellow覺得沒有充分強調(diào)的部分。

在論文的4.2這節(jié)，作者簡單描述了他們的方法在ImageNet訓(xùn)練的情況，如作者所寫，“我們將我們的方法應(yīng)用于ILRSVRC2012數(shù)據(jù)集，訓(xùn)練類別conditional GANs……我們的SN-GAN是所有方法中訓(xùn)練成功了的，據(jù)我們所知，這也是首次用單對判別器和生成器從ImageNet數(shù)據(jù)集生成不錯圖像的嘗試”。