[ResNet系] 006 DPN

plus2047 發布于2019-06-26 18:17 / 3433人閱讀

摘要：和是兩個非常重要的網絡，它們顯示了深層卷積神經網絡的能力，并且指出使用極小的卷積核可以提高神經網絡的學習能力。也有工作考察與的關系，與其相似，本文考察了與的關系。與的網絡架構配置以及復雜度見表。

DPN

Dual Path Networks
Yunpeng Chen, Jianan Li, Huaxin Xiao, Xiaojie Jin, Shuicheng Yan, Jiashi Feng

摘要

本文提出一種簡單高效且高度模塊化的雙路網絡（Dual Path Networks，DPN），提出了一種新的網絡內部連接的拓撲結構。通過考察ResNet和DenseNet與HORNN（higher order recurrent neural network）之間的等價性，我們發現ResNet可以重復利用網絡中的特征，而DenseNet可以探索新的特征，這兩個特性都有助于網絡學習到好的表示。本文提出的雙路網絡既可以共享網絡特征，也擁有探索新特征的能力，綜合了上面兩個最先進網絡的優點。在ImagNet-1k、Places365和PASCAL VOC數據集上的大量實驗證明DPN的性能優于之前的最先進的網絡，特別是在ImagNet-1k數據集上，一個淺層DPN（模型規模小26%、計算復雜度少25%、內存消耗低8%）的性能超過ResNeXt-101(64x4d)，一個更深層的DPN（DPN-131）相比于最先進的單模型性能提升更多，但訓練速度卻要快2倍左右。其他數據集上的實驗也證明DPN在多個應用上的性能要優于ResNet、DenseNet和ResNeXt。

1. Introduction

本文的目標是開發一種新的深層網絡中的連接拓撲結構，主要聚焦于跳躍連接（skip connection），這種連接方式廣泛應用于現代的深度神經網絡中。跳躍連接使得輸入信息可以直接傳輸到后面的層，而梯度可以直接反傳到前面的層，有效緩解了梯度消失問題，網絡也更易于優化。
深度殘差網絡（Deep Residual Network，ResNet）是成功使用跳躍連接的網絡之一，它將不同block（即殘差函數）用跳躍連接直接相連，這種跳躍連接在ResNet中被稱為殘差路徑（residual path），殘差路徑的輸出和殘差函數的輸出通過加法操作結合，形成一個殘差單元。在ResNet也發展出了多種架構，比如WRN、Inception-resnet、ResNeXt等。
不同于ResNet通過殘差路徑將輸入特征和輸出特征相加，最近發表的密集卷積網絡（Dense Convolutional Network，DenseNet）使用密集連接路徑（densely connected path）將輸入特征與輸入特征相連接，使得每一個block可以得到之前所有block的原始信息（注：同屬一個stage）。本文主要研究ResNet和DenseNet各自的優點以及局限性，然后提出一種新的路徑設計方式——雙路徑架構。通過考察DenseNet與HORNN之間的關系從另一個角度理解DenseNet，并且考察ResNet與DenseNet之間的關系。經過上述研究我們發現，深度殘差網絡通過殘差路徑隱式的對特征進行重復使用，而密集連接網絡通過密集連接路徑可以持續探索新的特征。
雙路網絡DPN繼承了上面兩個網絡的優點，可以對特征進行再利用（re-usage）、再開發（re-exploitation）。DPN也有參數利用率高、計算復雜度低、內存消耗少、易于優化的優點。

2. Related work

AlexNet和VGG是兩個非常重要的網絡，它們顯示了深層卷積神經網絡的能力，并且指出使用極小的卷積核（3x3）可以提高神經網絡的學習能力。
ResNet中使用了跳躍連接，極大減緩了優化難度并提高了模型性能，后續也有很多基于ResNet的網絡架構。DenseNet通過沿通道維度串聯的方式連接輸入/輸出特征，所以密集連接路徑的寬度會隨著深度的增加而線性增加，所需的參數量平方增加，如果程序實現沒有針對性的優化就會消耗很大的GPU顯存，這就限制了通過加深或增寬DenseNet來進一步提升模型準確率。
ResNet-v2顯示了殘差路徑（恒等映射）對于緩解優化問題的重要性。也有工作考察ResNet與RNN的關系，與其相似，本文考察了DenseNet與HORNN的關系。

3. Revisiting ResNet, DenseNet and Higher Order RNN

首先將DenseNet和HORNN進行類比，然后簡化DenseNet到ResNet，如圖1所示：

最后得出結論：ResNet可以促進特征重復使用，減少特征冗余；DenseNet可以探索新的特征，但存在冗余問題。

4. Dual Path Networks 4.2 Dual Path Networks

具體如圖2所示，將ResNet和DenseNet結合起來。實際實現的時候用ResNeXt來代替ResNet作為主體，然后使用“slice layer”和“concat layer”添加額外的DenseNet的路徑，最終得到DPN網絡。

DPN與DenseNet、ResNeXt的網絡架構配置以及復雜度見表1。

5. Experiments

DPN在不同任務不同數據集上的表現如下：

GPU云服務器云服務器 DPN ResNet 雷軍系超融合系

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/19656.html

[ResNet系] 007 SENet

摘要：前面層中的以類別無關的方式增強可共享的低層表示的質量。通過調整網絡各層間的連接機制來提升深層網絡的學習和表示性能。基本都是常規處理和訓練設置。根據輸入動態調整各通道的特征，增強網絡的表示能力。 SENet Squeeze-and-Excitation NetworksJie Hu, Li Shen, Gang Sun 摘要卷積神經網絡顧名思義就是依賴卷積操作，使用局部感受區域（loc...

huashiou 2019-06-26 18:17 評論0 收藏0
最后一屆ImageNet挑戰賽落幕，「末代」皇冠多被國人包攬

摘要：在本次競賽中，南京信息工程大學和帝國理工學院的團隊獲得了目標檢測的最優成績，最優檢測目標數量為平均較精確率為。最后在視頻目標檢測任務中，帝國理工大學和悉尼大學所組成的團隊取得了較佳表現。在本次 ImageNet 競賽中，南京信息工程大學和帝國理工學院的團隊 BDAT 獲得了目標檢測的最優成績，最優檢測目標數量為 85、平均較精確率為 0.732227。而在目標定位任務中Momenta和牛津...

jimhs 2019-04-25 18:17 評論0 收藏0
經典ResNet結果不能復現？何愷明回應：它經受住了時間的考驗

摘要：大神何愷明受到了質疑。今天，上一位用戶對何愷明的提出質疑，他認為何愷明年的原始殘差網絡的結果沒有被復現，甚至何愷明本人也沒有。我認為，的可復現性經受住了時間的考驗。大神何愷明受到了質疑。今天，Reddit 上一位用戶對何愷明的ResNet提出質疑，他認為：何愷明 2015 年的原始殘差網絡的結果沒有被復現，甚至何愷明本人也沒有。網友稱，他沒有發現任何一篇論文復現了原始 ResNet 網絡的...

Ilikewhite 2019-04-25 18:32 評論0 收藏0
[ResNet系] 003 ResNeXt

摘要：本文提出的網絡名為，意為維度基數。在空間通道維度分解網絡，減少冗余，可以對網絡進行加速或精簡。復雜度不變的情況下，隨著基數的增大錯誤率持續減小。考察增加深度寬度基數對網絡性能的提升。 ResNeXt Aggregated Residual Transformations for Deep Neural NetworksSaining Xie, Ross Girshick, Piotr ...

kidsamong 2019-06-26 18:15 評論0 收藏0
[ResNet系] 005 DenseNet

摘要：將這些需要保留的信息直接通過恒等映射進行傳輸，展示了中的很多層對最終的結果影響極小，可以在訓練時隨機丟棄部分層。得益于密集連接的方式，可以同時具有恒等映射深度監督和深度多樣性的特性。 DenseNet Densely Connected Convolutional NetworksGao Huang, Zhuang Liu, Kilian Q. Weinberger, Laurens ...

CODING 2019-06-26 18:17 評論0 收藏0