摘要：藝術(shù)家如何理解神經(jīng)網(wǎng)絡是一個傳統(tǒng)油畫家，但他同時也對與藝術(shù)相關(guān)的科學技術(shù)有著濃厚的興趣。這一部分的處理過程正是藝術(shù)家的再創(chuàng)作，也正如他所說，他將神經(jīng)網(wǎng)絡看成創(chuàng)作的工具之一。

1. 藝術(shù)家如何理解神經(jīng)網(wǎng)絡？

David Aslan 是一個傳統(tǒng)油畫家，但他同時也對與藝術(shù)相關(guān)的科學技術(shù)有著濃厚的興趣。他想要通過撰寫這篇博客來分享他使用神經(jīng)網(wǎng)絡創(chuàng)作藝術(shù)作品的經(jīng)驗與知識，從而幫助其他的藝術(shù)家也能理解神經(jīng)網(wǎng)絡，甚至讓他們也能在日后的工作里找到更有趣更炫酷的方式來實現(xiàn)并呈現(xiàn)他們的作品。

David 把神經(jīng)網(wǎng)絡看成一種用來解決問題的運算工具，不過，它和傳統(tǒng)的計算工具還是有很大區(qū)別的。他認為神經(jīng)網(wǎng)絡把一堆數(shù)據(jù)當作輸入來進行處理，但是卻輸出并不是太相關(guān)的結(jié)果。但是，神經(jīng)網(wǎng)絡卻可以從這些錯誤中進行學習，直到它達到一種平衡以至于得到一個近似「正確」的結(jié)果。David 打了一個比方來解釋這一處理過程：

你扔進了一堆數(shù)據(jù)，你得到了一堆垃圾；你告訴計算機輸出的結(jié)果是過熱還是過冷，然后計算機再進行下一次嘗試。

2. 藝術(shù)家如何通過神經(jīng)網(wǎng)絡創(chuàng)作藝術(shù)作品？

和那些希望通過神經(jīng)網(wǎng)絡直接產(chǎn)生出藝術(shù)作品的計算機科學家不同，David 卻是把神經(jīng)網(wǎng)絡當作一種創(chuàng)作藝術(shù)的工具。

他使用「Deep Style」將原始的照片或者繪畫作品轉(zhuǎn)化成擁有其他藝術(shù)風格的圖像。基于這些通過神經(jīng)網(wǎng)絡轉(zhuǎn)換出來的圖像，他再利用 Photoshop 來修改并完善圖像中的細節(jié)。

具體來說，他的工作流程是這個樣子：

準備好一張打算轉(zhuǎn)換的圖像（被稱作「內(nèi)容圖像」，content image）和若干張風格圖像（用于提取圖像中的藝術(shù)風格，style image）。

通過 Deep Style，他可以獲得若干張轉(zhuǎn)換好的，擁有不同的藝術(shù)風格，但是內(nèi)容一致的輸出圖像（被稱作「風格化圖像」）。

將這些風格化圖像通過圖層功能堆疊在原始的內(nèi)容圖像之上，最后再在 Photoshop 里用蒙版功能有選擇性地保留或刪去風格化圖像的部分內(nèi)容。

最后再添加一個圖層用于完善細節(jié)以及將上述步驟中最終保留下來的擁有不同風格的部分混合在一張圖像里。

他將第三步和第四步統(tǒng)稱為「混合神經(jīng)技術(shù)」（Fusion Neural Technique），這也是他整個處理流程里的亮點。以下的這張動圖則粗略地展示了他的處理過程。

3. 實驗中的關(guān)鍵點

神經(jīng)網(wǎng)絡和 Photoshop 中傳統(tǒng)濾鏡功能的區(qū)別

David 發(fā)現(xiàn) Photoshop 中的藝術(shù)濾鏡功能并不能識別出輸入圖像里的物體，因此這些濾鏡只是對每一個像素都做了同一個簡單運算。這種情況下，輸入圖像就失去了自己的「特異性」。與之相反，神經(jīng)網(wǎng)絡不僅能夠識別出圖像中的物體，也就是圖像的內(nèi)容，同時還可以鑒別出圖像的紋理特征，從而使最終的輸出結(jié)果更加真實。

「混合神經(jīng)技術(shù)」的作用

合成圖像通常有著模糊的邊界以及相對來說較低的分辨率。因此，人為增加的混合圖層可以補償一些由于神經(jīng)網(wǎng)絡處理而導致的信息或分辨率的損失，從而使最終的輸出結(jié)果有著更加銳利的邊緣以及更高的分辨率。這一部分的處理過程正是藝術(shù)家的」再創(chuàng)作「，也正如他所說，他將神經(jīng)網(wǎng)絡看成創(chuàng)作的工具之一。

David 對神經(jīng)網(wǎng)絡和藝術(shù)的一些獨到觀點

藝術(shù)與科技的關(guān)系：他認為藝術(shù)的發(fā)展和技術(shù)的發(fā)展是密不可分的。打比方來說，「印象派」的出現(xiàn)正源自于光學領(lǐng)域的科學發(fā)現(xiàn)；具備電子放大器的樂器則為我們帶來了搖滾樂。因此，從這個角度來說，神經(jīng)網(wǎng)絡也可以當成藝術(shù)創(chuàng)作的一種工具。

4. 他的藝術(shù)工作背后的技術(shù)細節(jié)

在這篇博客里，David 使用 Deep Style 來創(chuàng)作藝術(shù)作品。其中，Deep Style 則是基于《A Neural Algorithm of Artistic Style》這篇論文的一個具體實現(xiàn)。

這篇論文使用 VGG-Net 來分別從內(nèi)容圖像和風格圖像中提取內(nèi)容信息和風格信息，然后再分別計算它們和隨機噪音圖像之間的損失。通過反向傳播算法，隨機噪音圖像最終可以被轉(zhuǎn)換成擁有給定圖像內(nèi)容，但擁有另外的藝術(shù)風格的圖像。

以下插圖展示了這個網(wǎng)絡的概覽：

將內(nèi)容圖像和生成圖像分別記為vec{p} 和 vec{x}，而它們對應在 l 層的特征表達分別記為 P^l 和 F^l。那么內(nèi)容損失則可以定義成以下式子：

該式相關(guān)的偏導數(shù)記為：

通過使用反向傳播算法，初始的隨機輸入圖像 vec{x} 能夠不斷改變直到它的特征表達非常接近 P^l，也就意味著內(nèi)容被重構(gòu)出來了。

這篇論文同樣定義了一副圖像的「風格」。G^l 是 Gram 矩陣用來表示 l 層的風格特征表達。該矩陣的每個元素可以通過以下式子計算得到：

風格圖像和生成圖像分別記為 vec{a} 和 vec{x}，A^l 和 G^l 分別是它們的特征表達。這樣一來，風格損失則可以定義成：

這里，N_I 是 l 層的濾波器的個數(shù)。它的偏導數(shù)可以通過以下式子計算：

結(jié)合內(nèi)容損失和風格損失，我們可以得到最終的目標優(yōu)化函數(shù)：

通過優(yōu)化該式子，就可以生成目標圖像 vec{x}。最終目標圖像不僅擁有內(nèi)容圖像的內(nèi)容，同時還擁有給定的風格，如下圖所示：

5. 一些其他的思考

顯然，藝術(shù)家更愿意將神經(jīng)網(wǎng)絡看成「繪畫」的工具。與之相反的是，計算機科學家則致力于設計能夠真正自己「創(chuàng)造」藝術(shù)的神經(jīng)網(wǎng)絡。我認為就目前在該領(lǐng)域的研究成果來說，神經(jīng)網(wǎng)絡更適合成為一種「創(chuàng)作工具」而不是「創(chuàng)作者」。因為目前的神經(jīng)網(wǎng)絡或多或少都是基于概率模型設計的，也就是說，這些網(wǎng)絡都是在給定條件下，通過輸入的數(shù)據(jù)來預測一個輸出結(jié)果。

不能否認，人也是從過往的經(jīng)驗里來學習新的知識與能力，正如機器學習中的「監(jiān)督學習」。但是人學習的這一過程則要復雜得多。對前文提到的神經(jīng)網(wǎng)絡來說，訓練集僅僅只是「真實的照片」和「繪畫作品」，我們希望從中能夠找到某種能夠?qū)⑺鼈儍烧呗?lián)系起來的映射關(guān)系。然而，除了基于實實在在的場景（也就是所謂「真實的照片」）以外，藝術(shù)家更會結(jié)合自己的個人體驗與經(jīng)驗來進行創(chuàng)作——這些個人的體驗與經(jīng)驗是極難被量化成計算機所能理解的數(shù)據(jù)。

這篇博客同時也從藝術(shù)家的角度提供了一些很有趣的觀點。在藝術(shù)家眼中，自然圖像（也就是真實的場景）中的噪音要遠比圖畫這類藝術(shù)作品中的噪音多。這一觀點其實是和部分計算機科學家的理解相悖的，比如論文《ArtGAN-Artwork Synthesis with Conditional Categorical GANs》。

博客作者也指出目前這種生成類的神經(jīng)網(wǎng)絡存在的一個問題是：生成的圖像通常會有很模糊的邊緣。因此他不得不使用「混合神經(jīng)技術(shù)」在 Photoshop 中來手動銳化這些邊緣。的確，這種附帶的模糊效果是很難在這一類神經(jīng)網(wǎng)絡中避免的。對此，論文《Face Aging with Conditional Generative Adversarial Networks》的作者提出可以使用一個訓練好的用于識別的神經(jīng)網(wǎng)絡來分別提取原圖和生成圖像的深層次特征，然后計算二者的 L2 損失來進行優(yōu)化，從而減弱邊緣模糊的效應。盡管如此，這也僅僅只能「改善」輸出結(jié)果而非徹底解決這一問題。?

參考博客：https://artplusmarketing.com/how-artists-can-use-neural-networks-to-make-art-714cdab53953

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754