卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜度分析

tracy 發(fā)布于2019-04-25 18:21 / 3595人閱讀

摘要：同樣以里的模塊為例，替換前后的卷積分支復(fù)雜度如下中使用與卷積級(jí)聯(lián)替代卷積中提出了卷積的，在確保感受野不變的前提下進(jìn)一步簡(jiǎn)化。

在梳理CNN經(jīng)典模型的過(guò)程中，我理解到其實(shí)經(jīng)典模型演進(jìn)中的很多創(chuàng)新點(diǎn)都與改善模型計(jì)算復(fù)雜度緊密相關(guān)，因此今天就讓我們對(duì)卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜度分析簡(jiǎn)單總結(jié)一下下。

1.時(shí)間復(fù)雜度

1.2 卷積神經(jīng)網(wǎng)絡(luò)整體的時(shí)間復(fù)雜度

示例：用 Numpy 手動(dòng)簡(jiǎn)單實(shí)現(xiàn)二維卷積

假設(shè) Stride = 1, Padding = 0, img 和 kernel 都是 np.ndarray.

2. 空間復(fù)雜度

空間復(fù)雜度即模型的參數(shù)數(shù)量，體現(xiàn)為模型本身的體積。

可見(jiàn)，網(wǎng)絡(luò)的空間復(fù)雜度只與卷積核的尺寸 K 、通道數(shù) C 、網(wǎng)絡(luò)的深度 D 相關(guān)。而與輸入數(shù)據(jù)的大小無(wú)關(guān)。

當(dāng)我們需要裁剪模型時(shí)，由于卷積核的尺寸通常已經(jīng)很小，而網(wǎng)絡(luò)的深度又與模型的能力緊密相關(guān)，不宜過(guò)多削減，因此模型裁剪通常最先下手的地方就是通道數(shù)。

3. 復(fù)雜度對(duì)模型的影響

時(shí)間復(fù)雜度決定了模型的訓(xùn)練/預(yù)測(cè)時(shí)間。如果復(fù)雜度過(guò)高，則會(huì)導(dǎo)致模型訓(xùn)練和預(yù)測(cè)耗費(fèi)大量時(shí)間，既無(wú)法快速的驗(yàn)證想法和改善模型，也無(wú)法做到快速的預(yù)測(cè)。

空間復(fù)雜度決定了模型的參數(shù)數(shù)量。由于維度詛咒的限制，模型的參數(shù)越多，訓(xùn)練模型所需的數(shù)據(jù)量就越大，而現(xiàn)實(shí)生活中的數(shù)據(jù)集通常不會(huì)太大，這會(huì)導(dǎo)致模型的訓(xùn)練更容易過(guò)擬合。

4. Inception 系列模型是如何優(yōu)化復(fù)雜度的

通過(guò)五個(gè)小例子說(shuō)明模型的演進(jìn)過(guò)程中是如何優(yōu)化復(fù)雜度的。

4.1 InceptionV1中的 1×1 卷積降維

InceptionV1 借鑒了 Network in Network 的思想，在一個(gè) Inception Module 中構(gòu)造了四個(gè)并行的不同尺寸的卷積/池化模塊（上圖左），有效的提升了網(wǎng)絡(luò)的寬度。但是這么做也造成了網(wǎng)絡(luò)的時(shí)間和空間復(fù)雜度的激增。對(duì)策就是添加 1 x 1 卷積（上圖右紅色模塊）將輸入通道數(shù)先降到一個(gè)較低的值，再進(jìn)行真正的卷積。

以 InceptionV1 論文中的 (3b) 模塊為例，輸入尺寸為 28×28×256，1×1 卷積核128個(gè)，3×3 卷積核192個(gè)，5×5 卷積核96個(gè)，卷積核一律采用Same Padding確保輸出不改變尺寸。

可見(jiàn)，與真正的卷積層不同，全連接層的空間復(fù)雜度與輸入數(shù)據(jù)的尺寸密切相關(guān)。因此如果輸入圖像尺寸越大，模型的體積也就會(huì)越大，這顯然是不可接受的。例如早期的VGG系列模型，其 90% 的參數(shù)都耗費(fèi)在全連接層上。

InceptionV1 中使用的全局較大池化 GAP 改善了這個(gè)問(wèn)題。由于每個(gè)卷積核輸出的特征圖在經(jīng)過(guò)全局較大池化后都會(huì)直接精煉成一個(gè)標(biāo)量點(diǎn)，因此全連接層的復(fù)雜度不再與輸入圖像尺寸有關(guān)，運(yùn)算量和參數(shù)數(shù)量都得以大規(guī)模削減。復(fù)雜度分析如下：

4.3 InceptionV2 中使用兩個(gè) 3×3 卷積級(jí)聯(lián)替代 5×5 卷積分支

根據(jù)上面提到的二維卷積輸入輸出尺寸關(guān)系公式，可知：對(duì)于同一個(gè)輸入尺寸，單個(gè) 5×5 卷積的輸出與兩個(gè) 3×3 卷積級(jí)聯(lián)輸出的尺寸完全一樣，即感受野相同。

同樣根據(jù)上面提到的復(fù)雜度分析公式，可知：這種替換能夠非常有效的降低時(shí)間和空間復(fù)雜度。我們可以把辛辛苦苦省出來(lái)的這些復(fù)雜度用來(lái)提升模型的深度和寬度，使得我們的模型能夠在復(fù)雜度不變的前提下，具有更大的容量，爽爽的。

同樣以 InceptionV1 里的 (3b) 模塊為例，替換前后的 5×5 卷積分支復(fù)雜度如下：

4.4 InceptionV3 中使用 N×1 與 1×N 卷積級(jí)聯(lián)替代 N×N 卷積

InceptionV3 中提出了卷積的 Factorization，在確保感受野不變的前提下進(jìn)一步簡(jiǎn)化。

復(fù)雜度的改善同理可得，不再贅述。

4.5 Xception 中使用 Depth-wise Separable Convolution

我們之前討論的都是標(biāo)準(zhǔn)卷積運(yùn)算，每個(gè)卷積核都對(duì)輸入的所有通道進(jìn)行卷積。

Xception 模型挑戰(zhàn)了這個(gè)思維定勢(shì)，它讓每個(gè)卷積核只負(fù)責(zé)輸入的某一個(gè)通道，這就是所謂的 Depth-wise Separable Convolution。

從輸入通道的視角看，標(biāo)準(zhǔn)卷積中每個(gè)輸入通道都會(huì)被所有卷積核蹂躪一遍，而 Xception 中每個(gè)輸入通道只會(huì)被對(duì)應(yīng)的一個(gè)卷積核掃描，降低了模型的冗余度。

標(biāo)準(zhǔn)卷積與可分離卷積的時(shí)間復(fù)雜度對(duì)比：可以看到本質(zhì)上是把連乘轉(zhuǎn)化成為相加。

5.總結(jié)

通過(guò)上面的推導(dǎo)和經(jīng)典模型的案例分析，我們可以清楚的看到其實(shí)很多創(chuàng)新點(diǎn)都是圍繞模型復(fù)雜度的優(yōu)化展開(kāi)的，其基本邏輯就是乘變加。模型的優(yōu)化換來(lái)了更少的運(yùn)算次數(shù)和更少的參數(shù)數(shù)量，一方面促使我們能夠構(gòu)建更輕更快的模型（例如MobileNet），一方面促使我們能夠構(gòu)建更深更寬的網(wǎng)絡(luò)（例如Xception），提升模型的容量，打敗各種大怪獸，歐耶~

歡迎加入本站公開(kāi)興趣群

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754