摘要：本文介紹了兩篇年不僅較先進，而且酷而有趣的兩篇論文。這些步驟涉及兩個概念，應該更詳細地討論突變和適應度函數。適應度函數在進化算法中，適應度函數告訴我們給定孩子與實現既定目標的距離。這里，適應度函數包括兩個元素質量適應得分和多樣性健康得分。

本文介紹了兩篇2018年不僅較先進，而且酷而有趣的兩篇論文。

作者|Damian Bogunowicz

GAN Dissection: Visualizing and Understanding Generative Adversarial Networks：可視化和理解生成性對抗網絡 - 考慮到GAN的火熱程度，很明顯這項技術遲早會在商業上使用。但是，由于我們對其內在機制知之甚少，我認為創建可靠的產品仍然很困難。這項工作幫助我們真正理解與控制GAN。查看他們精彩的互動演示進化的

Evolutionary Generative Adversarial Networks - 這是一篇真正易讀且簡單易懂的文章。進化算法與GAN一起 - 這一定很酷。

GAN Dissection: Visualizing and Understanding Generative Adversarial Networks

論文地址：

https://arxiv.org/pdf/1811.10597.pdf

主要思想

毫無疑問，GAN證明了深度神經網絡的強大功能。 機器學習能夠生成令人驚嘆的高分辨率圖像，就好像它像我們一樣理解世界。 但是，就像其他統計模型一樣，他們較大的缺陷就是缺乏可解釋性。 這項研究向理解GAN邁出了非常重要的一步。 它允許我們在生成器中找到“負責”生成類別c中某些對象的單元。 作者聲稱，我們可以找到生成器的一層并找到一些單元，它們負責在生成的圖像中生成類別c的物體。 作者通過引入兩個步驟：解剖（Dissection）和干預（Intervention），為每個類別尋找一套“因果”單元。 此外，這可能是第一項工作，它為理解GAN的內部機制提供了系統分析。

方法

生成器 G可以被視為潛在向量的映射 ? ? 到生成的圖像 X = G (z) ?。 我們的目標是了解 r ，一種內部表示，是生成器G的特定層的輸出。

X = G(z)= F(r)

我們想檢查一下r是否與類別c的對象密切相關。我們知道 r包含有關這些特定對象的生成的編碼信息。 我們的目標是了解這些信息如何在內部編碼。 作者聲稱有一種方法可以從r中提取這些單元，然后負責生成類別c的對象。

問題是，如何進行這種分離？ 作者提出了兩個步驟，即解剖和干預。

解剖 - 我們想要識別我們感興趣的類，它們具有明確的表示形式 r。 這是通過比較兩個圖像來完成的。 我們通過計算x獲得第一張圖像，然后運行語義分割網絡，這將返回像感興趣的類別的像素位置s_c(x) 。 第二張圖是通過在特征圖上進行上采樣，使其維度與x相匹配 。然后對其進行閾值處理以確定哪個像素被該特定單元“點亮”。 最后我們計算兩個輸出之間的空間一致性， 值越高，說明類別c與該單位因果效應越強。 通過對每個單元執行此操作，我們最終可以找出類別c的用r中的單元的顯式表示 。

干預 - 在這里我們要做的是確定相關的類別。 現在，我們試圖找到每個類別的較佳分割。 這意味著我們一方面消融（抑制）因果單元，希望感興趣的類別從生成的圖像中消失。 另一方面，我們放大它們對生成圖像的影響，希望在生成的圖片中有更多類別c的物體。 通過這種方式，我們可以了解它們對感興趣的類別c的存在有多大貢獻 。 最后，我們將通過類別分割的兩張圖片進行比較。 語義圖之間越不像越好。 這意味著在一張圖像上我們完全“調整”了樹木的影響。

實驗結果：

a）由Progressive GAN生成的教堂圖像，b）給定預先訓練的Progressive GAN，我們識別負責生成類“樹”的單元，c）我們可以抑制這些單元從圖像中“擦除”樹... d）放大圖像中樹木的密度

結果表明，我們正在理解網絡的內部概念。 這些見解可以幫助我們改善網絡的行為。 了解圖像的哪些特征來自神經網絡的哪個部分對于解釋，商業使用和進一步研究非常有價值。

a）出于調試目的，我們可以識別引入工件......，b）和c）的那些單元并將它們關閉以“修復”GAN

它可以解決的一個問題是生成不合理的圖片。即使是訓練的很好的GAN有時也會產生非常不切實際的形象，而這些錯誤的原因以前是未知的?，F在我們可以將這些錯誤與導致視覺偽像的神經元集相關聯。通過識別和抑制這些單元，可以提高生成圖像的質量。

通過將一些單位設置為固定的平均值，例如對于門，我們可以確保門將出現在圖像的某個位置。當然，這不能違反分布的學習統計數據（我們不能強迫門出現在天空中）。另一個限制來自這樣的事實，即某些對象固有地鏈接到某些位置，因此無法從圖像中刪除它們。例如：人們不能簡單地從會議大廳移去椅子，只能減少它們的密度或大小。

Evolutionary Generative Adversarial Networks

論文鏈接：

https://arxiv.org/abs/1803.00657

主要思想：

在經典設置中，通過使用反向傳播交替更新生成器和鑒別器來訓練GAN。 這個最小較大博弈是通過利用目標函數中的交叉熵機制來實現的。 E-GAN的作者提出了基于進化算法的替代GAN框架。 它們以進化問題的形式重述損失函數。 生成器的任務是在鑒別器的影響下經歷恒定的突變。 根據“適者生存”的原則，人們希望上一代生成器能夠以這種方式“發展”，以便學習正確的訓練樣本分布。

方法：

最初的GAN框架（左）與E-GAN框架（右）。在E-GAN框架中有一群生成器 G θ ?在動態環境中發展 - 鑒別者 d 。該算法涉及三個階段：變化，評估和選擇。較好的后代保留下一次迭代。

進化算法試圖在給定環境中（這里是鑒別器）發展一群生成器。群體中的每個個體代表生成網絡的參數空間中的可能解決方案。演變過程歸結為三個步驟：

變化：生成器個體 G θ ?生產孩子 G θ 0 ， G θ 1 ， G θ 2 ....通過根據某些突變屬性修改自身。

評估：使用適應度函數評估每個孩子，這取決于鑒別器的當前狀態

選擇：評估每個孩子，并根據適應度函數確定它是否足夠好。如果是，則保留，否則將其丟棄。 這些步驟涉及兩個概念，應該更詳細地討論：突變和適應度函數。

突變 - 這些是在變異步驟中引入孩子的變化。受到原始GAN培訓目標的啟發。作者區分了三種最有效的突變類型。這些是minmax突變（其促進最小化Jensen-Shannon散度），啟發式突變（其添加反向Kullback-Leibler發散項）和最小二乘法突變（受LSGAN啟發）。

適應度函數 - 在進化算法中，適應度函數告訴我們給定孩子與實現既定目標的距離。這里，適應度函數包括兩個元素：質量適應得分和多樣性健康得分。前者確保，發生器產生的輸出可以欺騙鑒別器，而后者則注意生成樣本的多樣性。因此，一方面，教導的后代不僅要接近原始分布，還要保持多樣化，避免模式崩潰陷阱。

作者聲稱他們的方法解決了多個眾所周知的問題。 E-GAN不僅在穩定性和抑制模式崩潰方面做得更好，還減輕了仔細選擇超參數和架構（對收斂至關重要）的負擔。最后，作者聲稱E-GAN比傳統的GAN框架更快收斂。

實驗結果：?

該算法不僅在合成數據上進行了測試，還對CIFAR-10數據集和Inception得分進行了測試。作者修改了流行的GAN方法，如DCGAN，并在真實數據集上進行了測試。結果表明，可以訓練E-GAN從目標數據分布生成各種高質量的圖像。根據作者的說法，在每個選擇步驟中只保留一個孩子就足以成功地遍歷參數空間以達到較佳解決方案。我發現E-GAN的這個屬性真的很有趣。此外，通過仔細檢查空間連續性，我們可以發現，E-GAN確實學到了從潛在的嘈雜空間到圖像空間的有意義的投影。通過在潛在矢量之間插值，我們可以獲得生成的圖像，其平滑地改變語義上有意義的面部屬性。

原文鏈接：

https://dtransposed.github.io/blog/Best-of-GANs-2018-(Part-1-out-of-2).html

聲明：本文版權歸原作者所有，文章收集于網絡，為傳播信息而發，如有侵權，請聯系小編及時處理，謝謝！

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754