摘要：此前有工作將像素損失和生成對抗損失整合為一種新的聯(lián)合損失函數(shù)，訓(xùn)練圖像轉(zhuǎn)換模型產(chǎn)生分辨率更清的結(jié)果。一般來說，結(jié)合使用多種損失函數(shù)的效果通常比多帶帶使用一種要好。結(jié)合感知對抗損失和生成對抗損失，提出了感知對抗網(wǎng)絡(luò)這一框架，處理圖像轉(zhuǎn)換任務(wù)。

近來，卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，結(jié)合對抗生成網(wǎng)絡(luò)（GAN）等嶄新的方法，為圖像轉(zhuǎn)換任務(wù)帶來了很大的提升，包括圖像超分辨率、去噪、語義分割，還有“自動補全”，都有亮眼的表現(xiàn)。

例如，新智元此前介紹過的使用神經(jīng)網(wǎng)絡(luò)去除照片中的眼鏡，iSee：深度學(xué)習(xí)“摘眼鏡”，用集成數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)識別抽象物體。

還有神經(jīng)網(wǎng)絡(luò)學(xué)會自動“腦補”：

對于給定的一張帶有孔洞（256×256）的圖像（512×512），神經(jīng)補丁合成算法可以合成出更清晰連貫的孔洞內(nèi)容（d）。神經(jīng)補丁合成的結(jié)果可以與用Context Encoders（b）、PatchMatch（c）這兩種方法產(chǎn)生的結(jié)果進行比較。

以及前一陣子很火的“畫貓”項目：勾勒出物體邊緣，神經(jīng)網(wǎng)絡(luò)就能自動補完生成對應(yīng)的照片。

所有這些都很好。

那么，如果現(xiàn)在出現(xiàn)了一種框架，能夠勝任上述所有圖像轉(zhuǎn)換任務(wù)，并且實現(xiàn)效果比每種多帶帶的模型都要好呢？

還真的出現(xiàn)了，那就是我們今天要介紹的感知對抗網(wǎng)絡(luò) PAN。先來看看 PAN 在幾種不同的圖像轉(zhuǎn)換任務(wù)上的表現(xiàn)：

以上分別是去除圖中雨水痕跡（類似去除眼鏡）、補全圖像空白，以及根據(jù)邊緣生成對應(yīng)物體照片的實現(xiàn)效果。

如何？PAN 是不錯的 pix2pix 更新吧。

感知對抗網(wǎng)絡(luò) PAN，持續(xù)尋找并縮小輸出與真實圖像間的差異

我們知道，生成對抗損失有助于計算機自動生成更加逼真的圖像。此前有工作將像素損失和生成對抗損失整合為一種新的聯(lián)合損失函數(shù)，訓(xùn)練圖像轉(zhuǎn)換模型產(chǎn)生分辨率更清的結(jié)果。

還有一種評估輸出圖像和真實圖像之間差異的標(biāo)準(zhǔn)，那就是感知損失（perceptual loss）。這種情況更多見于圖像的風(fēng)格化，一般使用訓(xùn)練好的圖像分類網(wǎng)絡(luò)，提取輸出圖像和真實圖像的高級特征（比如內(nèi)容、紋理）。通過縮小這些高級特征之間的差異，訓(xùn)練模型將輸入圖像轉(zhuǎn)變?yōu)榕c真實圖像擁有相同高級特征的輸出。

一般來說，結(jié)合使用多種損失（函數(shù)）的效果通常比多帶帶使用一種要好。事實上，通過整合像素損失、感知損失和生成對抗損失，研究人員在圖像超高分辨率和去除雨水痕跡上取得了當(dāng)前較好的結(jié)果。

但是，現(xiàn)有方法將輸出圖像和真實圖像之間所有可能存在的差異都懲罰了嗎？換句話說，我們能不能找到一種全新的損失，進一步縮小輸出圖像與真實圖像之間差異呢？

為了回答這個問題，悉尼大學(xué)的 Chaoyue Wang 等人提出了感知對抗網(wǎng)絡(luò)（perceptual adversarial network，PAN）用于圖像轉(zhuǎn)換。作者寫道，他們的論文作了如下貢獻：

提出了一種感知對抗損失，利用判別網(wǎng)絡(luò)的隱藏層，通過對抗訓(xùn)練過評估輸出和真實圖像之間的差異。

結(jié)合感知對抗損失和生成對抗損失，提出了感知對抗網(wǎng)絡(luò) PAN 這一框架，處理圖像轉(zhuǎn)換任務(wù)。

評估 PAN 在多項圖像轉(zhuǎn)換任務(wù)中的性能。實驗表明，PAN 具有很好的圖像轉(zhuǎn)換性能。

感知損失＋GAN，在圖像轉(zhuǎn)換網(wǎng)絡(luò)與判別網(wǎng)絡(luò)間做對抗訓(xùn)練

感知對抗網(wǎng)絡(luò)受生成對抗網(wǎng)絡(luò)（GAN）的啟發(fā)，包含一個圖像轉(zhuǎn)換網(wǎng)絡(luò) T 和一個圖像判別網(wǎng)絡(luò) D。

PAN 框架示意圖。PAN 由圖像變換網(wǎng)絡(luò) T 和判別網(wǎng)絡(luò) D 組成。圖像轉(zhuǎn)變網(wǎng)絡(luò) T 經(jīng)過訓(xùn)練，負責(zé)合成給定輸入圖像的變換圖像。判別網(wǎng)絡(luò) D 的隱藏層用于評估感知對抗損失，D 的輸出用于區(qū)分轉(zhuǎn)變后的圖像和真實圖像間的差異。

作者使用生成對抗損失和感知對抗損失的結(jié)合來訓(xùn)練 PAN。首先，與 GAN 一樣，生成對抗損失負責(zé)評估輸出圖像的分布。然后，判別網(wǎng)絡(luò) D 隱藏層的表征作為感知對抗損失，當(dāng)輸出和真實圖像間存在差異時，會實施懲罰，訓(xùn)練轉(zhuǎn)換網(wǎng)絡(luò) T 生成與真實圖像擁有相同高級特征的輸出。

感知對抗損失在圖像轉(zhuǎn)換網(wǎng)絡(luò)和判別網(wǎng)絡(luò)之間進行對抗訓(xùn)練，能夠持續(xù)地自動發(fā)現(xiàn)輸出與真實圖像間那些尚未被縮小的差異。

因此，當(dāng)前高維空間上測量到的差異很小時，判別網(wǎng)絡(luò) D 的隱藏層仍然會更新，持續(xù)尋找新的、在輸出和真實圖像之間仍然存在差異的高維空間。

作者表示，感知對抗損失提供了一種新的策略，從盡可能多的角度來懲罰（縮?。┹敵龊驼鎸崍D像之間的差異。

下面是去除雨水痕跡、生成語義標(biāo)記和畫線生成照片的實驗，由圖可知 PAN 不僅同時勝任了這幾種不同的任務(wù)，且單項的效果比幾種當(dāng)前性能最優(yōu)的方法還要好。

論文介紹《用于圖像轉(zhuǎn)換的感知對抗網(wǎng)絡(luò) PAN》

摘要

在本文中，我們提出了一種用于圖像轉(zhuǎn)換任務(wù)的原理感知對抗網(wǎng)絡(luò)（Perceptual Adversarial Network，PAN）。與現(xiàn)有算法不同——現(xiàn)有算法都是針對具體應(yīng)用的，PAN 提供了一個學(xué)習(xí)成對圖像間映射關(guān)系的通用框架（圖1），例如將下雨的圖像映射到相應(yīng)的去除雨水后的圖像，將勾勒物體邊緣的白描映射到相應(yīng)物體的照片，以及將語義標(biāo)簽映射到場景圖像。

本文提出的 PAN 由兩個前饋卷積神經(jīng)網(wǎng)絡(luò)（CNN）、一個圖像轉(zhuǎn)換網(wǎng)絡(luò) T 和一個判別網(wǎng)絡(luò) D 組成。通過結(jié)合生成對抗損失和我們提出的感知對抗損失，我們訓(xùn)練這兩個網(wǎng)絡(luò)交替處理圖像轉(zhuǎn)換任務(wù)。其中，我們升級了判別網(wǎng)絡(luò) D 的隱藏層和輸出結(jié)果，使其能夠持續(xù)地自動發(fā)現(xiàn)轉(zhuǎn)換后圖像與相應(yīng)的真實圖像之間的差異。

同時，我們訓(xùn)練圖像轉(zhuǎn)換網(wǎng)絡(luò) T，將判別網(wǎng)絡(luò) D 發(fā)現(xiàn)的差異最小化。經(jīng)過對抗訓(xùn)練，圖像轉(zhuǎn)換網(wǎng)絡(luò) T 將不斷縮小轉(zhuǎn)換后圖像與真實圖像之間的差距。我們評估了幾項到圖像轉(zhuǎn)換任務(wù)（比如去除圖像中的雨水痕跡、圖像修復(fù)等）實驗。結(jié)果表明，我們提出的 PAN 的性能比許多當(dāng)前較先進的相關(guān)方法都要好。

論文地址：https://arxiv.org/pdf/1706.09138.pdf

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754