摘要：深度神經網絡自出現以來，已經成為計算機視覺領域一項舉足輕重的技術。歷屆冠軍架構評析指標自從年的競賽上，取得突破發展，成為第一個應用深度神經網絡的應用，其他關于的更復雜的應用也陸續出現。

深度神經網絡自出現以來，已經成為計算機視覺領域一項舉足輕重的技術。其中，ImageNet 圖像分類競賽極大地推動著這項新技術的發展。較精確計算水平取得了穩步的增長，但頗具吸引力的模型應用尚未得到合理的利用。

本文將綜合分析實際應用中的幾項重要指標：準確度、內存占用、參數、操作時間、操作次數、推理時間、功耗，并得出了以下幾項主要研究結論：

功耗與批量大小、體系結構無關；

準確度與推理時間呈雙曲線關系；

能量限制是較大可達準確度和模式復雜度的上限；

操作次數可以有效評估推理時間。

ImageNet 歷屆冠軍架構評析指標

自從2012年的ImageNet 競賽上，Alexnet取得突破發展，成為第一個應用深度神經網絡的應用，其他關于DNN的更復雜的應用也陸續出現。

圖像處理軟件分類挑戰賽的終極目標是，在考慮實際推理時間的情況下，提高多層分類框架的準確度。為了達到這個目標，就要解決以下三方面的問題。第一，一般情況下，我們會在每個驗證圖像的多個類似實例中運行一個給定模型的多個訓練實例。這種方法叫做模型平均或DNN集成，可以極大提高推理所需的計算量，以獲得published準確度。第二，不同研究報告中對驗證圖像做的預估模型（集合）的操作次數不一樣，模型選擇會受到影響，因此不同的抽樣方法（以及取樣集合的大小不同）得出的報告準確度結果就會有所偏差。第三，加速推理過程是模型實際應用的關鍵，影響著資源利用、功耗以及推理延遲等因素，而目前尚無方法使推理時間縮短。

本文旨在對過去4年圖像處理軟件分類挑戰賽上出現的不同種類的先進的DNN架構做對比，從計算需要和準確度兩個角度做分析，主要比較這些架構與資源利用實際部署相關的多個指標，即準確度、內存占用、參數、操作時間、操作次數、推理時間、功耗。

文章主要目的是通過分析，強調這些指標的重要性，因為這些指標是優化神經網絡實際部署與應用的基本硬性限制條件。

評析方法

為了比較不同模型的質量，我們收集了文獻中的一些數據，分析發現不同的抽樣方法得出的結論也不一樣。比如，VGG-16和GoogleNet 的central-crop誤差分別是8.7%和10.07%，表明VGG-16性能優于googleNet，而用10-crop抽樣，則誤差分別是9.33%和9.15%，VGG-16又比GoogleNet差了。于是，我們決定基于分析，對所有網絡重新評估，使用單個central-crop抽樣方法。

圖1: Top1 vs. 網絡. ?Single-crop top-1 用較高評分體系檢測準確度。上圖中不同的配色方案表示不同的架構和作者。注意，同組網絡共享相同的色相，比如所有的ResNet系列都是用粉色系表示的。

圖 2: Top1 vs. 操作、數量大小、參數 ?Top-1 one-crop 準確度與單向前進傳遞所需操作次數的對比。圖中氣泡大小與網絡參數數量成正比；右下角記錄的是從5*106 到155*106參數值的歷史較大值；所有數據都共享一個y軸，灰色點表示氣泡中心的值。

我們使用 cuDNN-v5和CUDA-v8配置的Torch 7來做推理時間和內存占用測算。所有的試驗都使用的是JstPack-2.3 NVIDIA Jetson TX1，內置視覺計算系統，64-bit ARM ?A57 CPU。

使用這種限量級的設備是為了更好地強調網絡架構的不同，主要是因為使用現存的大多數GPU，比如NVIDIA K40或者Titan X得出的結果基本都一樣。為了測算功耗，我們使用的是Keysight 1146B Hall電流探頭，內置Keysight MSO-X 2024A 200MHz 數字顯波器，抽樣周期2s，采樣率50kSa/s。該系統由 Keysight E3645A GPIB數控直流電源供電。

具體結果

我們比較了以下 DDN：

AlexNet (Krizhevsky et al., 2012)；batch normalised AlexNet (Zagoruyko, 2016)；batch normalised Network In Network (NIN) (Lin et al., 2013)；

ENet (Paszke et al., 2016) for ImageNet (Culurciello, 2016)；

GoogLeNet (Szegedy et al., 2014)；

VGG-16 and -19 (Simonyan & Zisserman, 2014)；

ResNet-18, -34, -50, -101 and -152 (He et al., 2015)；

Inception-v3 (Szegedy et al., 2015) 以及 Inception-v4 (Szegedy et al., 2016)。

1. 準確率（Accuracy）

圖 1 展示了提交給 ImageNet 挑戰賽的架構的 1-crop 準確率，最左邊的是 AlexNet，最右邊的是 Inception -v4。的 ResNet 和 Inception 架構相比其他架構準確率至少高 7%。本文中，我們使用不同的顏色區分不同的架構和他們的作者，同一個網絡的色系相同，例如粉色系的都是 ResNet。

圖2 則提供了各網絡更詳細的準確率值，將計算成本和網絡參數的數量可視化呈現。首先非常明顯的是，VGG 不管從計算需求還是參數數量方面來說，都是迄今為止最昂貴的架構，盡管它已經被廣泛應用于許多應用程序。VGG 的16層和19層的實現實際上與其他所有網絡都是隔絕的。其他的架構形成了一條斜線，到 Inception 和 ResNet 時，這條線開始變平緩。這表明這些模型在該數據集上到達一個拐點。在這個拐點上，計算成本（復雜性）開始超過準確率上的好處。

2. 推理時間（Inference Time）

上圖（圖3）顯示了各架構在每個圖像上的推理時間，作為一個圖像批大小（從1到64）函數。我們注意到 VGG 處理一張圖像所需時間約1/5秒，這使它在 NVIDIA TX1 上實時應用的可能性較小。AlexNet 的批大小從1到64的變化中，處理速度提升了3倍，這是由于它的完全連接層的弱優化，這個發現令人驚訝。

3. 功耗（Power）

由于電流消耗的高頻率波動，功耗的測量相當復雜，需要高采樣電流讀出以避免混淆。在本研究中，我們使用的測量工具是帶電流探頭的 200 MHz 數字示波器。如上圖所示，功耗多數情況下與批大小無關。由圖3可見，AlexNet （批大小為1）和 VGG（批大小為2）的低功耗與較慢的推理時間相關。

4 內存（Memory）

分析使用 CPU 和 GPU 共享內存的 TX1 設備的系統內存消耗得到的結果由下圖可見，最初較大系統內存使用情況是不變的，隨著批大小增加，內存消耗增大。這是由于網絡模型的初始內存分配以及批處理時的內存需求隨著圖像數量的增加而成比例地增加。

分析使用 CPU 和 GPU 共享內存的 TX1 設備的系統內存消耗得到的結果由上圖可見，最初較大系統內存使用情況是不變的，隨著批大小增加，內存消耗增大。這是由于網絡模型的初始內存分配以及批處理時的內存需求隨著圖像數量的增加而成比例地增加。

從上圖中我們注意到，對規模小于 100 MB的網絡，初始內存分配不會小于 200 MB，而且隨后呈現為一條斜率為1.3的線性函數。

5 運算（Operations）

在神經網絡加速器的自定義實現中，運算量（operation count）對于預估推理時間和硬件電路體積是必要的。

分析發現，對批大小為16的圖像，每個圖像的運算量和推理時間之間存在線性關系。因此，在設計網絡時，可以控制運算量，以使處理速度保持在實時應用或資源有限的應用的可接受范圍內。

6. 運算和功耗

分析功耗和給定模型所需的運算次數之間的關系后，我們發現不同架構之間沒有特定的 power footprint（見上圖）。當達到完全的資源利用時，通常批大小較大，所有網絡的額外消耗大致為 11.8 W，標準偏差為 0.7 W，空閑功率為 1.30 W。這是資源完全利用時的較大系統功耗。因此，如果功耗是我們要關注的點之一，例如電池設備限制，可以簡單地選擇滿足較低功耗要求的最慢的架構。

7 準確率和吞吐量

我們注意到，在單位時間里，準確率和推理數量之間存在非平凡的線性上限。下圖顯示，對于給定的幀速率，可以實現的較大準確率與幀速率本身形成線性比例。這里分析的所有網絡均來自公開出版論文，并且已經得到其他研究團隊的獨立訓練。準確率的線性擬合顯示了所有架構的準確率與速度之間的關系。

此外，選定一個推理時間，可以得出資源充分利用條件下理論上的較大準確率。由于功耗固定，我們甚至可以進一步得出能耗限制下的較大準確率，這可以作為需要在嵌入式系統上運行的網絡的基本設計因素。由于沒有了擾流器，考慮前向推理時間時，準確率與吞吐量之間的線性關系轉變為雙曲線關系。那么，假設運算量與推理時間是線性關系，準確率對網絡需要的運算量則具有雙曲線依賴性（hyperbolical dependency）。

8 參數使用

我們已經知道，DNN 在利用全部學習能力（參數數量/自由度）方面非常低效。Han et al., 2015 的研究利用 DNN 的這個缺陷，使用權重剪枝（weights pruning）、量化（quantisation）和變長編碼（variable-length symbol encoding）將網絡規模減小了50倍。值得注意的是，使用更高效的架構能夠產生更緊湊的呈現。如上圖所示，雖然 VGG 比 AlexNet 的準確率更高（圖1），但其信息密度不如 AlexNet。這意味著在 VGG 架構中引入的自由度帶來的準確率上的提高不大。

結語

本文從準確性、內存占用、參數、運算量、推理時間和功耗方面，對 ImageNet 競賽中多個先進深層神經網絡進行了分析，從而對設計用于實際應用的高效神經網絡提供參考并優化資源，因為在實際部署中我們能使用的資源往往十分有限。從上文可知，神經網絡的精度和推理時間呈雙曲關系：準確度的微量增加也會花費大量的計算時間。此外，網絡模型的運算量能有效估計推理所需要的時間。

這也是我們為 ImageNet 創建 ENet（Efficient-Network）的原因。ENet 是當前對參數空間利用率較好的架構。

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754