最強GAN修圖魔術(shù)師：美顏生發(fā)摘眼鏡、草繪秒變真人臉

xialong 發(fā)布于2019-04-25 18:31 / 1772人閱讀

摘要：該研究成果由韓國團隊發(fā)表于論文地址訓(xùn)練數(shù)據(jù)恰當?shù)挠?xùn)練數(shù)據(jù)有助于提高網(wǎng)絡(luò)訓(xùn)練性能。在將損失函數(shù)應(yīng)用于輸入圖像之前，用輸入圖像替換了掩模外部的圖像的剩余部分。總體損失函數(shù)如下其中，發(fā)生器用進行訓(xùn)練，鑒別器用進行訓(xùn)練。

為一個設(shè)計師，是否整天因為繁瑣枯燥的修圖工作不勝其煩？現(xiàn)在，一款基于GAN的AI修圖大師可以將你從這類工作中解放出來。修輪廓、改表情、生發(fā)、加耳環(huán)、去眼鏡、補殘圖，你能想到的它都能一鍵搞定。

這可能是史上最牛的AI修圖大師。

在一張人臉圖片上畫上幾筆，比如說勾出一個眉毛的輪廓，它就能自動把草圖修正成真實的圖片，即使你毫無藝術(shù)細胞，也沒關(guān)系，只要能夠大致表明想修哪里，剩下的活兒就都交給它好了。

這款工具由韓國電子與電信通訊研究所的Youngjoo Jo和Jongyoul Park開發(fā)，它比一般的臉部圖片編輯工具或應(yīng)用程序更高級，可以改變發(fā)型、把嚴肅臉改成笑臉，甚至可以加入原本沒有的配飾，比如耳環(huán)、耳釘?shù)取＿€可以在一張被部分遮擋的面部圖像上生成完整的臉部圖像，還能把圖中的人戴的太陽鏡去掉等等。

來看看這款“AI修圖大師”的神奇效果：

改變臉部輪廓特征和瞳孔顏色

生發(fā)（劃重點）、變笑臉、加頭飾，都不在話下

加個耳環(huán)、耳墜什么的，只要劃出大致位置就行了

強大的自動補全功能

草繪秒變真人，畫風(fēng)夸張也沒問題

這款“神器”的開發(fā)者之一Youngjoo Jo表示：我們認為這個程序可以讓設(shè)計師不用做那么多枯燥的勞動，讓他們把更多的精力集中在創(chuàng)造性的工作上，不過這并不是說只有設(shè)計師才能使用這款工具，用戶不需要具備設(shè)計上的專業(yè)知識。

機器學(xué)習(xí)研究人員Alex Champandard表示，這款工具與過去基于GAN的面部圖片編輯程序相比實現(xiàn)了一次重大進步。

“當你面對這樣的技術(shù)創(chuàng)新時，不免會在激動之余感到一絲害怕。”這種工具將不可避免地改變設(shè)計師的日常工作節(jié)奏和內(nèi)容，但他并不認為這類工具會讓設(shè)計師面臨失業(yè)。

“現(xiàn)在的一個重要問題是，我們接下來要怎樣做，才能讓這一工具更好地服務(wù)于那些工作內(nèi)容可能出現(xiàn)重大改變的人們？如何讓這款工具成為這些人的好幫手，而不是威脅？”

SC-FEGAN：基于神經(jīng)網(wǎng)絡(luò)的人臉圖像編輯系統(tǒng)

要達到這個神奇的效果，離不開SC-FEGAN。

SC-FEGAN是一種基于神經(jīng)網(wǎng)絡(luò)的人臉圖像編輯系統(tǒng)，并提供了實現(xiàn)批量輸入數(shù)據(jù)的方法。該網(wǎng)絡(luò)可以端到端地進行訓(xùn)練，并生成具有逼真紋理細節(jié)的高質(zhì)量合成圖像。

該研究成果由韓國團隊發(fā)表于arXiv：

論文地址：

https://arxiv.org/pdf/1902.06838.pdf

訓(xùn)練數(shù)據(jù)

恰當?shù)挠?xùn)練數(shù)據(jù)有助于提高網(wǎng)絡(luò)訓(xùn)練性能。

在訓(xùn)練本模型時，作者在幾個預(yù)處理步驟之后使用CelebA-HQ數(shù)據(jù)集：

隨機選擇2組29000張圖像用于訓(xùn)練，1000張圖像用于測試；

在獲得草圖和顏色數(shù)據(jù)集之前，將圖像調(diào)整為512×512像素。

為了更好的表達人臉圖像中眼睛的復(fù)雜性，作者采用基于眼睛位置的free-from mask來訓(xùn)練網(wǎng)絡(luò)。

此外，還使用了free from mask和人臉分割GFC創(chuàng)建了適當?shù)牟輬D域和顏色域。

這是非常關(guān)鍵的一步。因為它使得系統(tǒng)能夠為手繪用戶輸入案例產(chǎn)生有說服力的結(jié)果。

網(wǎng)絡(luò)結(jié)構(gòu)

該網(wǎng)絡(luò)同樣也可以同時訓(xùn)練生成器和鑒別器。

生成器接收帶有用戶輸入的不完整圖像，在RGB通道中創(chuàng)建輸出圖像，并將輸出圖像的掩碼區(qū)域插入到不完整輸入圖像中，以創(chuàng)建完整圖像。

鑒別器接收完成的圖像或原始圖像（沒有掩蔽）以確定給定輸入是真實的還是假的。

在對抗訓(xùn)練中，識別器的額外用戶輸入也有助于提高性能。此外，團隊還發(fā)現(xiàn)與一般GAN損失不同的額外損失對于恢復(fù)大的擦除部分是有效的。

該網(wǎng)絡(luò)架構(gòu)如下圖所示：

圖注：SC-FEGAN的網(wǎng)絡(luò)架構(gòu)。除了輸入和輸出，LRN應(yīng)用于所有卷積層之后。使用tanh作為發(fā)生器輸出的激活函數(shù)。采用SN卷積層作為鑒別器。

生成器

生成器是基于U-net，所有卷積層使用3x3大小核的門控卷積。在除了其他soft gate之外的特征映射卷積層之后應(yīng)用局部信號歸一化（LRN）。LRN適用于除輸入層和輸出層之外的所有卷積層。

生成器的編碼器接收尺寸為512×512×9的輸入張量：具有在編輯時要被去除區(qū)域的不完整RGB通道圖像，描述被去除部分結(jié)構(gòu)的二進制草圖、RGB顏色筆劃圖、二元掩模和噪音（如下圖所示）。

草圖和顏色域數(shù)據(jù)集以及批處理的輸入。我們使用HED邊緣檢測器提取草圖。使用GFC ，通過分割區(qū)域的中間顏色生成顏色圖。網(wǎng)絡(luò)的輸入包括不完整的圖像、掩模、草圖、顏色和噪聲。

編碼器使用2個步幅內(nèi)核卷積對輸入進行7次下采樣，然后在上采樣之前進行擴張卷積。

解碼器使用轉(zhuǎn)置的卷積進行上采樣。然后，添加跳躍連接(skip connection)以允許與具有相同空間分辨率的先前層連接。

除了使用tanh函數(shù)的輸出層之外，我們在每一層之后都使用了leaky ReLU激活函數(shù)。

總的來說，我們的發(fā)生器由16個卷積層組成，網(wǎng)絡(luò)的輸出是相同大小的輸入(512×512)的RGB圖像。

在將損失函數(shù)應(yīng)用于輸入圖像之前，用輸入圖像替換了掩模外部的圖像的剩余部分。這種替換允許發(fā)電機專門在編輯區(qū)域上進行訓(xùn)練。發(fā)生器受到了PartialConv中引入的損失的訓(xùn)練：每像素損失、感知損失、風(fēng)格損失和總方差損失。還使用通用GAN損失函數(shù)。

鑒別器

該鑒別器有SNPatchGAN結(jié)構(gòu)。同時，也使用3×3大小卷積內(nèi)核，并應(yīng)用了gradient penalty損失。還增加了額外的一項，避免了鑒別器輸出patch的值接近于零。

總體損失函數(shù)如下：

其中，發(fā)生器用LG進行訓(xùn)練，鑒別器用LD進行訓(xùn)練。D(I)是鑒別器給定輸入I的輸出。

而當編輯大面積區(qū)域時，額外損失(如Lstyle和Lpercept)是非常關(guān)鍵的。

多種場景修圖俱佳，AI修圖大師大顯身手

那么，這款A(yù)I修圖大師的修圖結(jié)果如何呢？

首先將結(jié)果與Coarse-Refined net結(jié)構(gòu)和U-net結(jié)構(gòu)網(wǎng)絡(luò)進行了比較。在測試Coarse-Refined net結(jié)構(gòu)時，注意到細化階段模糊了輸出。而下圖便展示了在Coarse-Refined net上使用本文方法后的結(jié)果。