摘要：尤其當(dāng)我們處理基于成千上萬數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)時更是如此。在本文中，我們將介紹多種用于可視化卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)。我們將使用中的函數(shù)來可視化模型體系結(jié)構(gòu)。濾波器可視化的構(gòu)成模塊濾波器是任何卷積神經(jīng)網(wǎng)絡(luò)的基本構(gòu)建模塊。

“你的神經(jīng)網(wǎng)絡(luò)是如何生成這個結(jié)果的？”這個問題也曾讓許多數(shù)據(jù)科學(xué)家陷入了困境。其實，讓我們?nèi)ソ忉屢粋€層數(shù)較少的簡單神經(jīng)網(wǎng)絡(luò)工作原理并不難，但是當(dāng)我們將計算機視覺項目中的神經(jīng)網(wǎng)絡(luò)層數(shù)增加到1000層時，它的可解釋性就非常差了。

現(xiàn)實情況是，我們的用戶或者終端需要可解釋性——他們想知道我們的模型是如何得到最終的結(jié)果的。但是，深度神經(jīng)網(wǎng)絡(luò)的工作原理沒有辦法通過文字被清楚地描述出來，這個時候深度神經(jīng)網(wǎng)絡(luò)就被打上了“黑盒子”的標(biāo)簽，那我們該如何擺脫這個標(biāo)簽?zāi)兀?/p>

我們可以通過可視化來解決這個問題！當(dāng)一個神經(jīng)網(wǎng)絡(luò)通過可視化的方式展示出來時，他的可解釋性將會得到極大的提升，可視化可以將神經(jīng)網(wǎng)絡(luò)模型中處理數(shù)據(jù)的過程清晰展現(xiàn)。尤其當(dāng)我們處理基于成千上萬數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)時更是如此。

在本文中，我們將介紹多種用于可視化卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)。 此外，我們還可以從這些可視化中加深觀察信息，以調(diào)整我們的CNN模型。

1.我們?yōu)槭裁匆褂每梢暬獯a神經(jīng)網(wǎng)絡(luò)？

2.設(shè)置模型的體系結(jié)構(gòu)

3.訪問CNN的每個層

4.濾波器—可視化CNN的構(gòu)成模塊

5.最大化激活—可視化模型所期望的內(nèi)容

6.遮擋貼圖—可視化輸入中的重要內(nèi)容

7.顯著性貼圖—可視化輸入特征的貢獻

8.分類激活映射

9.可視化分層輸出—可視化過程

除可視化之外，有很多方法可以幫助我們?nèi)ダ斫馍窠?jīng)網(wǎng)絡(luò)是如何工作的，那么這篇文章為什么要轉(zhuǎn)向可視化這種非常規(guī)途徑呢？

我們通過一個例子來回答這個問題。假設(shè)我們正在做一個對動物圖片進行分類的項目，如分類雪豹與阿拉伯豹。從圖片來看，我們可以使用圖像背景來區(qū)分這兩種動物。

兩種動物的棲息地可以形成鮮明的對比。大多數(shù)雪豹圖像的背景里都會有雪，而大多數(shù)阿拉伯豹圖片里都會有一片茫茫沙漠。

問題來了——模型可以通過分類雪與沙漠的圖像從而去分類雪豹與阿拉伯豹。那么，我們?nèi)绾未_保我們的模型正確地學(xué)習(xí)了這兩種不同類型豹子的不同特征呢？可視化會給我們答案。

可視化有助于我們了解哪些特征正在指導(dǎo)模型對圖像進行分類的決策。

將模型可視化有許多種方法，在本文中，我們將展示其中的一些。

實踐是最好的學(xué)習(xí)方式之一。因此，我們立刻開始研究模型的代碼。

在本文中，我們在ImageNet數(shù)據(jù)集上使用VGG16架構(gòu)模型和預(yù)訓(xùn)練權(quán)重。首先我們先將模型程序?qū)氩㈤_始理解其架構(gòu)。

我們將使用Keras中的"model.summary（）"函數(shù)來可視化模型體系結(jié)構(gòu)。在我們進入模型構(gòu)建部分之前，這是非常重要的一步。我們需要確保輸入和輸出形狀與我們的問題陳述相匹配，因此我們先可視化模型摘要。

from keras.applications import VGG16

model = VGG16(weights="imagenet",include_top=True)

model.summary()

以下是上述代碼生成的模型摘要：

我們有了模型的詳細架構(gòu)以及每層的可訓(xùn)練參數(shù)的數(shù)量。上面的輸出可以多花一點時間去瀏覽，這樣才能了解我們現(xiàn)有的數(shù)據(jù)情況。

我們僅訓(xùn)練模型層的一個子集（特征提取）是很重要的。 我們可以生成模型摘要，并確保不可訓(xùn)練參數(shù)的數(shù)量與我們不想訓(xùn)練的層匹配。

此外，我們可以使用可訓(xùn)練參數(shù)的總數(shù)來檢查我們的GPU是否能夠為訓(xùn)練模型分配足夠的內(nèi)存。 這對于我們大多數(shù)在個人電腦上工作的人來說，是一個比較熟悉的挑戰(zhàn)！

既然我們知道如何獲得模型的整體架構(gòu)，讓我們深入探索并嘗試探索每個獨立的層。

實際上，訪問Keras模型的各個層并提取與每個層相關(guān)的參數(shù)非常容易。 這包括圖層權(quán)重和其他信息，如濾波器的數(shù)量。

現(xiàn)在，我們將創(chuàng)建將圖層名稱映射到其相應(yīng)特征和圖層權(quán)重的字典：

layers_info = {}
for i in model.layers:
layers_info[i.name] = i.get_config()

layer_weights = {}
for i in model.layers:
layer_weights[i.name] = i.get_weights()

print(layers_info["block5_conv1"])

上面的代碼給出了以下輸出，它由block5_conv1層的不同參數(shù)組成：

{"name": "block5_conv1",
"trainable": True,
"filters": 512,
"kernel_size": (3, 3),
"strides": (1, 1),
"padding": "same",
"data_format": "channels_last",
"dilation_rate": (1, 1),
"activation": "relu",
"use_bias": True,
"kernel_initializer": {"class_name": "VarianceScaling",
"config": {"scale": 1.0,
"mode": "fan_avg",
"distribution": "uniform",
"seed": None}},
"bias_initializer": {"class_name": "Zeros", "config": {}},
"kernel_regularizer": None,
"bias_regularizer": None,
"activity_regularizer": None,
"kernel_constraint": None,
"bias_constraint": None}

不知你有沒有注意到圖層"block5_conv1"的可訓(xùn)練參數(shù)是否為真？ 這意味著我們可以通過進一步訓(xùn)練模型來更新圖層權(quán)重。

濾波器是任何卷積神經(jīng)網(wǎng)絡(luò)的基本構(gòu)建模塊。不同的濾波器從圖像中提取不同類型的特征。下面的GIF圖非常清楚地說明了這一點：

如圖所示，每個卷積層都由多個濾波器組成。查看我們在上一節(jié)中生成的輸出 - "block5_conv1"層由512個濾波器組成。這是對應(yīng)的，是吧？

讓我們繪制每個VGG16塊的第一個卷積層的第一個濾波器：

layers = model.layers
layer_ids = [1,4,7,11,15]

fig,ax = plt.subplots(nrows=1,ncols=5)
for i in range(5):
ax[i].imshow(layers[layer_ids[i]].get_weights()0[:,:,0],cmap="gray")
ax[i].set_title("block"+str(i+1))
ax[i].set_xticks([])
ax[i].set_yticks([])

我們可以在上面的輸出中看到不同層的濾波器。由于VGG16僅使用3×3濾波器，因此所有濾波器都具有相同的形狀。

我們使用下面的圖片來理解最大化激活的概念：

你認為對模型去識別大象來說哪些特征是重要的？下面是我想到的一些主要的特征：

象牙

象鼻

象耳

那就是我們在本能情況下如何識別大象的，對吧？現(xiàn)在，當(dāng)我們看看當(dāng)我們嘗試優(yōu)化任意分類大象圖像的模型時，我們在過程中得到了什么。

我們知道CNN中的每個卷積層都在前一層的輸出中尋找相似的模式。當(dāng)輸入由它正在尋找的模式組成時，卷積層的激活被最大化。

在最大化激活技術(shù)中，我們更新每層的輸入，以便將最大化激活的損失降到最低。

我們是如何做到這一點的？我們通過計算相對于輸入的激活損失函數(shù)的梯度，然后相應(yīng)得更新輸入：

下面是這個操作的代碼：

from vis.visualization import visualize_activation
from vis.utils import utils
from keras import activations
from keras import applications
import matplotlib.pyplot as plt
%matplotlib inline
plt.rcParams["figure.figsize"] = (18,6)

from keras.applications import VGG16
model = VGG16(weights="imagenet",include_top=True)

layer_idx = utils.find_layer_idx(model,"predictions")

model.layers[layer_idx].activation = activations.linear

model = utils.apply_modifications(model)

img3 = visualize_activation(model,layer_idx,filter_indices=385,max_iter=5000,verbose=True)
plt.imshow(img3)

我們的模型使用隨機輸入對印度象進行分類，生成了以下輸出：

從上面的圖像中，我們可以觀察到該模型需要像牙齒，大眼睛和象牙這樣的結(jié)構(gòu)。現(xiàn)在，這些信息對于我們檢查數(shù)據(jù)集的完整性非常重要。 因為印度象通常存在于長滿樹木或長草的棲息地中，所以模型可能會側(cè)重于背景中的棲息地特征，而這是不對的。

激活最大化用于可視化在圖像中的模型期望的輸出。在另一方面，遮擋部分圖，可以幫助我們找到對模型來說那個部分是重要的。

現(xiàn)在，為了了解遮擋圖后的模型是如何工作的，我們想根據(jù)制造商對汽車進行分類的模型，如豐田，奧迪等：

你能知道是那家生產(chǎn)商制造了上面這輛車嗎？很大程度上是不能的，因為放置公司標(biāo)志的部分在圖片里被遮擋了。我們是以分類為目的，所以被遮擋的這部分對我們來說很重要。

類似地，因為這樣的遮擋圖的出現(xiàn)，我們遮擋圖片的某些部分，然后計算出它屬于哪一類的概率。如果概率降低，則意味著圖像的被遮擋部分對于該類是重要的。否則，這就是不重要的。

這里，我們根據(jù)圖像每個部分的像素值做概率分配，然后將它標(biāo)準化并生成熱圖：

import numpy as np

from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten, Activation, Conv2D, MaxPooling2D
from keras.optimizers import Adam
from keras.callbacks import EarlyStopping, ModelCheckpoint
from keras.preprocessing.image import ImageDataGenerator
from keras.activations import relu

%matplotlib inline
import matplotlib.pyplot as plt
def iter_occlusion(image, size=8):

occlusion = np.full((size 5, size 5, 1), [0.5], np.float32)
occlusion_center = np.full((size, size, 1), [0.5], np.float32)
occlusion_padding = size * 2

image_padded = np.pad(image, (?
(occlusion_padding, occlusion_padding), (occlusion_padding, occlusion_padding), (0, 0) ), "constant", constant_values = 0.0)

for y in range(occlusion_padding, image.shape[0] + occlusion_padding, size):

for x in range(occlusion_padding, image.shape[1] + occlusion_padding, size):
tmp = image_padded.copy()

tmp[y - occlusion_padding:y + occlusion_center.shape[0] + occlusion_padding, x - occlusion_padding:x + occlusion_center.shape[1] + occlusion_padding]?
= occlusion
tmp[y:y + occlusion_center.shape[0], x:x + occlusion_center.shape[1]] = occlusion_center
yield x - occlusion_padding, y - occlusion_padding,?
tmp[occlusion_padding:tmp.shape[0] - occlusion_padding, occlusion_padding:tmp.shape[1] - occlusion_padding]

上面的代碼定義了一個函數(shù)iter_occlusion，它返回一個具有不同被遮擋部分的圖像。

現(xiàn)在，讓我們導(dǎo)入圖像并繪制它：

from keras.preprocessing.image import load_img

image = load_img("car.jpeg", target_size=(224, 224))
plt.imshow(image)
plt.title("ORIGINAL IMAGE")

現(xiàn)在，我們將進行下面三個步驟：

預(yù)處理原圖像

計算有不同遮擋部分的圖片的概率

生成熱圖

from keras.preprocessing.image import img_to_array
from keras.applications.vgg16 import preprocess_input

image = img_to_array(image)

image = image.reshape((1, image.shape[0], image.shape[1], image.shape[2]))

image = preprocess_input(image)

yhat = model.predict(image)
temp = image[0]
print(temp.shape)
heatmap = np.zeros((224,224))
correct_class = np.argmax(yhat)
for n,(x,y,image) in enumerate(iter_occlusion(temp,14)):
heatmap[x:x+14,y:y+14] = model.predict(image.reshape((1, image.shape[0], image.shape[1], image.shape[2])))0
print(x,y,n," - ",image.shape)
heatmap1 = heatmap/heatmap.max()
plt.imshow(heatmap)

這非常有意思。 我們現(xiàn)在將使用標(biāo)準化的熱圖概率創(chuàng)建一個掩模并繪制它：

import?http://skimage.io?as io

mask = heatmap1 < 0.85
mask1 = mask *256
mask = mask.astype(int)
io.imshow(mask,cmap="gray")

最后，我們將遮擋碼強加在輸入圖像上并繪制：

import cv2

image = cv2.imread("car.jpeg")
image = cv2.cvtColor(image,cv2.COLOR_BGR2RGB)

image = cv2.resize(image,(224,224))
mask = mask.astype("uint8")

final = cv2.bitwise_and(image,image,mask = mask)
final = cv2.cvtColor(final,cv2.COLOR_BGR2RGB)

plt.imshow(final)

你能猜到為什么我們只看到圖像的某些部分嗎？ 這其實是正確的 - 只有輸入圖像中對其輸出類概率有重大貢獻的那些部分才是可見的。 簡而言之，這就是被遮擋圖的全部內(nèi)容。

顯著性圖是另一種基于梯度的可視化技術(shù)。

顯著圖計算每個像素值對模型輸出的影響。 這涉及計算輸出相對于輸入圖像的每個像素的梯度。這告訴我們?nèi)绾胃鶕?jù)輸入圖像像素的微小變化輸出類別變化。梯度的所有正值意味著像素值的微小變化將增加輸出值：

這些梯度與圖像形狀相同（梯度是根據(jù)每個像素值計算的），為我們提供了直觀的重點。讓我們看看如何為任何圖像生成顯著性圖。 首先，我們將使用以下代碼段讀取輸入圖像。

現(xiàn)在，我們將使用VGG16模型為圖像生成顯著性圖：

layer_idx = utils.find_layer_idx(model, "predictions")

model.layers[layer_idx].activation = activations.linear
model = utils.apply_modifications(model)

grads1 = visualize_saliency(model, layer_idx,filter_indices=None,seed_input=image)

plt.imshow(grads1,cmap="jet")

我們看到該模型更側(cè)重于狗的面部部分。現(xiàn)在，讓我們看看反向傳播的結(jié)果：

grads2 = visualize_saliency(model, layer_idx,filter_indices=None,seed_input=image,backprop_modifier="guided")

plt.imshow(grads2,cmap="jet")

引導(dǎo)反向傳播將所有負梯度截斷為0，這意味著僅更新對分類概率具有正影響的像素。

分類激活圖也是一種神經(jīng)網(wǎng)絡(luò)可視化技術(shù)，它基于根據(jù)激活圖的梯度或它們對輸出的貢獻來權(quán)衡激活圖這樣的想法。

以下摘自Grad-CAM論文給出了該技術(shù)的要點：

梯度加權(quán)分類激活映射（Grad-CAM），使用任何目標(biāo)概念的梯度（比如“狗”或甚至是標(biāo)題的對數(shù)），流入最終的卷積層以生成粗略的定位圖，突出顯示重要區(qū)域中的重要區(qū)域。用于預(yù)測概念的圖像。

從本質(zhì)上來說，我們采用最后一層卷積層的特征映射，并使用相對于特征映射的輸出的梯度對每個濾波器進行加權(quán)（乘）。 Grad-CAM涉及以下步驟：

1.獲取最終卷積層的輸出要素圖。對于VGG16，此功能圖的形狀為14x14x512； 2.計算輸出相對于要素圖的梯度 3.將全局平均池化應(yīng)用于梯度 4.將要素圖與相應(yīng)的池化梯度相乘 我們可以在下面看到輸入圖像及其對應(yīng)的分類激活圖：

現(xiàn)在，我們來給上面的圖像生成分類激活圖：

CNN的起始層通常尋找像邊緣這樣的低級特征。隨著我們的深入，功能也會發(fā)生變化。

可視化模型的不同層的輸出有助于我們看到在相應(yīng)層突出顯示圖像的是哪些特征。此步驟對于針對我們的問題微調(diào)架構(gòu)特別重要。為什么？因為我們可以看到哪些圖層提供了哪種特征，然后決定我們要在模型中使用哪些圖層。

例如，可視化圖層輸出可以幫助我們比較神經(jīng)樣式轉(zhuǎn)移問題中不同層的性能。

讓我們看看如何在VGG16模型的不同層獲得輸出：

from keras.models import Model

layer_names = ["block1_conv1","block2_conv1","block3_conv1","block4_conv2"]
outputs = []
image = image.reshape((1, image.shape[0], image.shape[1], image.shape[2]))

for layer_name in layer_names:
intermediate_layer_model = Model(inputs=model.input,outputs=model.get_layer(layer_name).output)
intermediate_output = intermediate_layer_model.predict(image)
outputs.append(intermediate_output)

fig,ax = plt.subplots(nrows=4,ncols=5,figsize=(20,20))

for i in range(4):
for z in range(5):
axi.imshow(outputsi)
axi.set_title(layer_names[i])
axi.set_xticks([])
axi.set_yticks([])
plt.savefig("layerwise_output.jpg")

上圖顯示了VGG16的每一層從圖像中提取的不同特征（模塊5除外）。我們可以看到起始層對應(yīng)于邊緣等低級特征，而后面的層則看到汽車的車頂，排氣等特征。

可視化永遠不會讓我感到驚訝。有多種方法可以理解技術(shù)的工作原理，但可視化可以使它變得更加有趣。以下是您應(yīng)該查看的幾個資源：

神經(jīng)網(wǎng)絡(luò)中的特征提取過程是一個活躍的研究領(lǐng)域，并導(dǎo)致了Tensorspace和Activation Atlases等令人敬畏的工具的開發(fā)。

TensorSpace也是一種支持多種模型格式的神經(jīng)網(wǎng)絡(luò)可視化工具。它允許您加載模型并以交互方式對其進行可視化。TensorSpace還有一個操作平臺，可以使用多種架構(gòu)進行可視化，您可以隨意使用。

如果您對本文有任何疑問或反饋，請與我們聯(lián)系。 我很樂意參與討論！