摘要：在較低水平的神經(jīng)元中，一個多樣性術(shù)語可以揭示一個特征所代表的不同方面簡單優(yōu)化用多樣性進行的優(yōu)化揭示了四個不同的彎曲的方面。注意勺子的紋理和顏色與狗的皮毛相似，從而足以讓神經(jīng)元激活。下面，一個神經(jīng)元對兩種類型的動物臉部以及車做出響應(yīng)。

邊緣（層 conv2d0）

紋理（層 mixed3a）

模式（層 mixed4a）

部分（層 mixed4b & mixed4c）

目標（層 mixed4d & mixed4e）

特征可視化使我們能夠看到在ImageNet數(shù)據(jù)集上訓(xùn)練的GoogLeNet是如何構(gòu)建對多層圖像的理解的。所有信道的可視化可以在appendix上查到（https://distill.pub/2017/feature-visualization/appendix/）。

現(xiàn)如今，人們越來越意識到，神經(jīng)網(wǎng)絡(luò)對于人類來說應(yīng)該是具有可解釋性的。針對這些問題，神經(jīng)網(wǎng)絡(luò)的可解釋性領(lǐng)域已經(jīng)形成，并隨著發(fā)展的成熟，兩大研究思路已經(jīng)開始走向融合：特征可視化和屬性。

?

特征可視化通過生成樣本來回答有關(guān)網(wǎng)絡(luò)或部分網(wǎng)絡(luò)所正在尋找什么的問題。

屬性（attribution）研究的是一個樣本中的哪一部分負責(zé)以特定的方式所激活的網(wǎng)絡(luò)。

（注：作為一個新興的領(lǐng)域，神經(jīng)網(wǎng)絡(luò)的互操作性還沒有標準化的術(shù)語。屬性（attribution）在文獻中已經(jīng)有許多不同的名稱—包括“特征可視化”—但近期的工作似乎更傾向“屬性”和“顯著圖（saliency maps）”）

本文重點介紹特征可視化。雖然特征可視化是一個強大的工具，但實際上它的工作涉及到許多細節(jié)。在本文中，我們將研究主要問題并探討解決這些問題的常用方法。我們發(fā)現(xiàn)，非常簡單的方法可以產(chǎn)生高質(zhì)量的可視化效果。而在這個過程中，我們將引入一些技巧，以探索在神經(jīng)元反應(yīng)中的變體，它們是如何相互作用，以及該如何改進優(yōu)化過程的。

通過優(yōu)化進行特征可視化

一般而言，神經(jīng)網(wǎng)絡(luò)在輸入方面是可微的。如果我們想要找出哪種輸入會導(dǎo)致某種行為——無論是內(nèi)部神經(jīng)元還是最終輸出行為——我們都可以使用導(dǎo)數(shù)來迭代地調(diào)整輸入以實現(xiàn)該目標。

從隨機噪聲開始，我們優(yōu)化一個圖像以激活一個特定的神經(jīng)元。

雖然從概念上看很簡單，但在優(yōu)化工作方面還存在著微妙的挑戰(zhàn)。我們將對其進行探索，并挖掘它們的幾種常見方法。

優(yōu)化目標

我們想要什么樣的樣本？這是處理樣本的核心問題，無論我們是通過搜索數(shù)據(jù)集來查找樣本還是優(yōu)化圖像以從頭開始創(chuàng)建。可以說，我們在搜索方面有很多種選擇：

不同的優(yōu)化目標顯示網(wǎng)絡(luò)的不同部分正在尋找。

n：層索引

x,y：空間位置

z：信道索引

K：類指數(shù)

神經(jīng)元

layern[x,y,z]

信道

layern[:,:,z]

?

層/ DeepDream

layern[:,:,:]2

類對數(shù)

pre_softmax[k]

?

類概率

softmax[k]

如果我們想了解單個特征，我們可以搜索那些具有高值的樣本——無論是位于某個單一位置還是整個信道的神經(jīng)元。我們使用信道目標來創(chuàng)建本文中的大部分圖像。

如果我們想要將層作為一個整體來了解，我們可以使用DeepDream目標，搜索層以發(fā)現(xiàn)有用的圖像。

如果我們想從一個分類器中創(chuàng)建輸出類的樣本，我們有兩個選擇——在softmax之前優(yōu)化類對數(shù)，或者在softmax之后優(yōu)化類概率。我們可以把這些對數(shù)視作每個類證據(jù)，把概率作為每個給定證據(jù)的類的似然值。不幸的是，用來增加softmax函數(shù)給予類概率的最簡單的方法往往使替代方案不太可能實現(xiàn)，而不是使有用的類成為可能。根據(jù)我們的經(jīng)驗，優(yōu)化前softmax對數(shù)會生成具有更好視覺質(zhì)量的圖像。

我們提到的目標僅僅涉及的是可能存在的目標的表面，還有更多的可以去嘗試。特別值得注意的是在風(fēng)格遷移中所使用的目標，它可以告訴我們關(guān)于網(wǎng)絡(luò)所能理解的風(fēng)格和內(nèi)容的種類，以及基于優(yōu)化的模型倒置中所使用的目標，而這有助于我們理解模型所保存和丟棄的信息。我們所涉及的不過是一些簡單的知識，要探索的空間還很大。

為什么通過優(yōu)化進行可視化

優(yōu)化可以為我們提供一個樣本輸入，從而產(chǎn)生期望行為。但為什么要如此大費周章呢？難道我們不能通過數(shù)據(jù)集查找可以產(chǎn)生期望行為的樣本嗎？

事實證明，優(yōu)化方法可以成為理解模型真正在尋找什么的強大方法，因為它將把產(chǎn)生行為的事物與那些僅與事件相關(guān)的事物區(qū)分開來。例如，考慮以下使用數(shù)據(jù)集樣本和優(yōu)化進行可視化的神經(jīng)元：

優(yōu)化還具有靈活性的優(yōu)勢。例如，如果我們想研究神經(jīng)元是如何共同地來表征信息的，我們可以很容易地去問一個特定的樣本將需要變得如何不同，從而可以激活一個附加的神經(jīng)元。這種靈活性還可以幫助可視化網(wǎng)絡(luò)訓(xùn)練中的特征演變。如果我們僅限于理解數(shù)據(jù)集中固定樣本的模型，那么像這些類似的主題將更變得難以探索。

另一方面，通過優(yōu)化對特征進行可視化也是一個巨大的挑戰(zhàn)。在下面的章節(jié)中，我們將研究獲得多樣化可視化的技術(shù)，從而了解神經(jīng)元是如何相互作用的。

多樣性

我們的樣本是否向我們展示了全貌？當我們通過優(yōu)化來創(chuàng)建樣本時，這一點是需要非常注意的。真正的樣本可以僅向我們展示一個特征所代表的“小平面（facet）”來誤導(dǎo)我們。

數(shù)據(jù)集樣本在這里有很大的優(yōu)勢。通過查看數(shù)據(jù)集，我們可以找到不同的樣本。它不只是為我們激活了一個神經(jīng)元：我們可以看到整個激活范圍，從而看看到底是什么激活了神經(jīng)元的不同區(qū)段。

相比之下，優(yōu)化通常只能給我們一個非常正向的樣本，當然，如果我們有創(chuàng)造力的話，那么即使是一個非常負向的樣本也是可以的。有沒有什么方法可以使我們獲得這種多樣性？

通過優(yōu)化實現(xiàn)多樣性

網(wǎng)絡(luò)的一個給定特征可以對廣泛的輸入作出響應(yīng)。例如，在類等級上，經(jīng)過訓(xùn)練的識別狗的分類器應(yīng)該能夠識別它們的臉部特寫以及更寬的輪廓圖像——盡管這些圖像具有完全不同的視覺外觀。Wei等人的早期研究試圖通過在整個訓(xùn)練集上記錄激活來展示這種“內(nèi)部類（intra-class）”多樣性，對它們進行聚類并對集群中心進行優(yōu)化，從而揭示出所學(xué)習(xí)類的不同方面。

Nguyen、Yosinski及其合作者所采用的另一種方法是在數(shù)據(jù)集中搜索不同的樣本，并將其作為優(yōu)化過程的起始點。這個想法是，在特征的不同方面進行優(yōu)化，從而從優(yōu)化中得到的樣本將能夠?qū)@些方面進行演示。在最近的研究中，他們把可視化類和生成式模型結(jié)合起來，即可以對不同的樣本進行采樣。他們的第一種方法的成功是有局限性的，而生成式模型的方法運行地很好。

我們發(fā)現(xiàn)，實現(xiàn)多樣性有一個非常簡單的方法：在一個目標上增加一個“多樣性術(shù)語”，這個目標就是推動多個樣本彼此互不相同。多樣性術(shù)語可以采取多種形式。現(xiàn)如今，我們對它們的好處還不太了解。一種可能是，對不同樣本的余弦相似度進行懲罰。另一種方法是使用風(fēng)格遷移中的思想，迫使該特征以不同的風(fēng)格得以顯示。

在較低水平的神經(jīng)元中，一個多樣性術(shù)語可以揭示一個特征所代表的不同方面：

?

簡單優(yōu)化

用多樣性進行的優(yōu)化揭示了四個不同的、彎曲的方面。

?

數(shù)據(jù)集樣本

不同的特征可視化使得我們能夠更較精確地確定是什么激活了神經(jīng)元，以及我們可以做出的程度，并且通過查看數(shù)據(jù)集樣本，做出有關(guān)哪些輸入將激活神經(jīng)元的預(yù)測。

例如，讓我們來看看這個簡單的優(yōu)化結(jié)果。

?

只是獨立地看一下，我們可能會推斷出在狗頭頂部的這個神經(jīng)元被激活，因為優(yōu)化顯示了眼睛和只有向下彎曲的邊緣。然而，從多樣性的優(yōu)化來看，我們看到了不包括眼睛的優(yōu)化結(jié)果，以及一個包含向上彎曲邊緣的優(yōu)化結(jié)果。因此，我們不得不擴大我們對這個神經(jīng)元激活的期望，主要是關(guān)于毛皮紋理。根據(jù)數(shù)據(jù)集樣本來檢查這個假設(shè)，結(jié)果顯示，這是大致正確的。 注意勺子的紋理和顏色與狗的皮毛相似，從而足以讓神經(jīng)元激活。

簡單優(yōu)化

用多樣性進行的優(yōu)化

數(shù)據(jù)集樣本

在更高水平的神經(jīng)元中，多樣性的影響可能更加顯著，其中，它可以向我們展示能夠刺激神經(jīng)元的不同類型的物體。例如，一個神經(jīng)元能夠?qū)Σ煌愋偷那蜃龀鲰憫?yīng)，即使它們具有各種各樣的外觀。

簡單優(yōu)化

多樣性優(yōu)化揭示了多種類型的球

?

數(shù)據(jù)集樣本

不過，這個更為簡單的方法有一些缺點：例如，為了使樣本不同造成的壓力會導(dǎo)致無關(guān)的部分（如眼睛）出現(xiàn)。此外，優(yōu)化可能會使樣本以一種不自然的方式展示。例如，在上面的樣本中，人們可能希望看到足球這樣的樣本與高爾夫球或網(wǎng)球等其他類型球有清晰的分離。如Wei等人提出的諸如基于數(shù)據(jù)集的方法可以更為自然地將特征分離開來，但是它們可能不會有助于理解模型在不同數(shù)據(jù)上的表現(xiàn)。

與此同時，多樣性也開始呈現(xiàn)出一個更為基本的問題：雖然上面的樣本代表了一個大體上一致的想法，但也有一些神經(jīng)元代表的是一些奇怪想法的混合。下面，一個神經(jīng)元對兩種類型的動物臉部、以及車做出響應(yīng)。

?

簡單優(yōu)化

用多樣性優(yōu)化顯示出貓、狐貍、以及汽車

數(shù)據(jù)集樣本

像這樣的樣本表明，神經(jīng)元不一定是理解神經(jīng)網(wǎng)絡(luò)的正確的語義單元。

神經(jīng)元之間的相互作用

如果神經(jīng)元不是了解神經(jīng)網(wǎng)絡(luò)的正確方法，那什么是呢？在現(xiàn)實生活中，神經(jīng)元組合在一起來運行以表示神經(jīng)網(wǎng)絡(luò)中的圖像。單個神經(jīng)元是激活空間的基本方向，目前并不清楚這些應(yīng)該比任何其他方向更為特殊。

Szegedy等人發(fā)現(xiàn)隨機方向看起來和基礎(chǔ)方向一樣有意義。最近Bau、Zhou等人發(fā)現(xiàn)基礎(chǔ)方向比隨機方向更加具有可解釋性。我們的經(jīng)驗與這兩個結(jié)果大體一致。我們發(fā)現(xiàn)，隨機方向似乎更加具有可解釋性，但要比基本方向的速度要低。

特征可視化的敵人

如果你想要把特征可視化，你可能只是在優(yōu)化圖像，從而使得神經(jīng)元得以激活。不幸的是，這并不是真的有效。相反，最終會出現(xiàn)一種神經(jīng)網(wǎng)絡(luò)的視覺錯覺——一種充滿噪聲且無意義的高頻模式的圖像，而且是網(wǎng)絡(luò)會進行強烈響應(yīng)的。

這些模式似乎是一種帶有欺騙性的圖像，其實，在現(xiàn)實生活中并不會發(fā)行尋找方法以激活神經(jīng)元的現(xiàn)象。如果你進行優(yōu)化的時間足夠長，你就會看到神經(jīng)元真正檢測到的東西是什么，但是圖像是由這些高頻模式所支配的。這些模式似乎與敵對的樣本現(xiàn)象密切相關(guān)。

結(jié)論

在過去的幾年里，神經(jīng)特征可視化取得了巨大的進步。作為一個社區(qū)，我們已經(jīng)制定了原則性的方法來創(chuàng)建令人信服的可視化。我們已經(jīng)發(fā)現(xiàn)了一些重要的挑戰(zhàn)，并找到了解決這些問題的方法。

在使神經(jīng)網(wǎng)絡(luò)具有可解釋性的過程中，特征可視化是最具發(fā)展前景的方向之一。從它本身可以看出，特征可視化永遠不會給人一種完全令人滿意的理解。我們認為它是一個基本的構(gòu)建塊，通過與其他工具相結(jié)合，從而使人類能夠理解這些系統(tǒng)。

在提高特征可視化方面，還有許多重要的研究要做。一些突出的問題包括理解神經(jīng)元的相互作用，找出哪些單元在理解神經(jīng)網(wǎng)絡(luò)的激活中最具有意義，并給出一個特征的各個方面的整體視圖。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754