摘要：在嵌入式系統(tǒng)上的深度學習隨著人工智能幾乎延伸至我們生活的方方面面，主要挑戰(zhàn)之一是將這種智能應用到小型低功耗設備上。領先的深度學習框架我們來詳細了解下和這兩個領先的框架。適用性用于圖像分類，但并非針對其他深度學習的應用，例如文本或聲音。

在嵌入式系統(tǒng)上的深度學習

隨著人工智能 (AI) 幾乎延伸至我們生活的方方面面，主要挑戰(zhàn)之一是將這種智能應用到小型、低功耗設備上。這需要嵌入式平臺，能夠處理高性能和極低功率的極深度神經(jīng)式網(wǎng)絡 (NN)。然而，這仍不足夠。機器學習開發(fā)商需要一個快速和自動化方式，在這些嵌入式平臺上轉換、優(yōu)化和執(zhí)行預先訓練好的網(wǎng)絡。

在這一系列發(fā)布的內容中，我們將回顧當前框架以及它們對嵌入式系統(tǒng)構成的挑戰(zhàn)，并演示處理這些挑戰(zhàn)的解決方案。這些發(fā)布的內容會指導你在幾分鐘之內完成這個任務，而不是耗時數(shù)月進行手動發(fā)布和優(yōu)化。

在發(fā)布微信時我們也會更新不同部分的鏈接。

第一部分：深度學習框架、特征和挑戰(zhàn) ? ? ? ? ? ??

第二部分：如何克服嵌入式平臺中的深度學習挑戰(zhàn)

第三部分：CDNN – 一鍵生成網(wǎng)絡 ? ?

深度學習框架、特征和挑戰(zhàn)

至今，深度學習的主要限制及其在實際生活中的應用一直局限于計算馬力、功率限制和算法質量。這些前端所取得的巨大進步使其在許多不同領域取得杰出成就，例如圖像分類、演說以及自然語言處理等。

列舉圖像分類的具體示例，過去五年，我們可看到 ImageNet 數(shù)據(jù)庫顯著提升四倍。深度學習技術于 2012 年達到 16% 的五大錯誤率，現(xiàn)在低于 5%，超出人為表現(xiàn)！如需了解更多有關神經(jīng)網(wǎng)絡和深度學習框架的介紹性信息，您可閱讀近期關于這個話題的博客。

深度學習技術近年來取得顯著成效（資料來源：Nervana）

神經(jīng)網(wǎng)絡的挑戰(zhàn)

將這些成就轉至移動、手持設備顯然是這個技術的下一個進化步驟。然而，這樣做會面臨相當多的挑戰(zhàn)。首先，有許多相互競爭的框架。其中有兩個領先和最知名的框架分別為 UC Berkeley 開發(fā)的 Caffe 以及谷歌近期發(fā)布的 TensorFlow。除此之外，還有許多其他框架，例如微軟公司的計算網(wǎng)絡工具包 (CNTK)、Torch、Chainer 等。

除了眾多框架外，神經(jīng)網(wǎng)絡包括各種類型的層面，例如卷積、歸一化、池化及其他。進一步障礙是大批網(wǎng)絡拓撲。至今，神經(jīng)網(wǎng)絡都遵循一個單拓撲。由于網(wǎng)絡內部網(wǎng)絡拓撲的出現(xiàn)，目前的情況更為復雜。例如，GoogLeNet 包括9個接收層，創(chuàng)造極為豐富和復雜的拓撲。

額外并發(fā)影響包括支持可變大小的感興趣區(qū)域 (ROI)。雖然以研究為導向的網(wǎng)絡（例如 AlexNet）在固定大小的 ROI 上運行，但優(yōu)化合適的解決方案需要更靈活的商業(yè)網(wǎng)絡。

領先的深度學習框架

我們來詳細了解下Caffe 和 TensorFlow這兩個領先的框架。通過比較這兩個框架來闡明各自的優(yōu)勢和劣勢。

成熟度

Caffe 推出時間較長。自 2014 年夏天推出，它可從一個支持各種圖像分類任務的預訓練神經(jīng)網(wǎng)絡模型大數(shù)據(jù)庫（即 Model Zoo）中受益匪淺。與之相比，TensorFlow 則在近期于 2015 年 11 月首次推出。

適用性

Caffe 用于圖像分類，但并非針對其他深度學習的應用，例如文本或聲音。相反的，TensorFlow 除了圖像分類外，能夠解決一般的應用。

建模能力

循環(huán)神經(jīng)網(wǎng)絡 (RNN) 是保留先前狀態(tài)實現(xiàn)持久性的網(wǎng)絡，與人類思維過程類似。從這個層面來看，Caffe 不是非常靈活，因為其原有架構需要定義每個新層面類型的前向、后向和梯度更新。TensorFlow 利用向量運算方法的符號圖，指明新網(wǎng)絡相當簡易。

架構

TensorFlow 擁有一個包含多個前端和執(zhí)行平臺的清理器、模塊化結構。

領先的神經(jīng)網(wǎng)絡層

卷積神經(jīng)網(wǎng)絡 (CNN) 是神經(jīng)網(wǎng)絡的特殊例子。CNN 包括一個或多個卷積層，通常帶有子采樣層，在標準神經(jīng)網(wǎng)絡中后面跟著一個或多個完全連接層。在 CNN 中，用于特征提取的卷積層重量以及用于分類的完全連接層可在訓練過程中確定。CNN 中的總層數(shù)可能從許多層到大約 24 層不等，例如 AlexNet，而如為 SegNet，則最多為 90 層。

我們根據(jù)與客戶和合伙人合作期間遇到的多個網(wǎng)絡，編輯了許多領先層列表。

卷積

標準化

池化（平均和較大）

完全連接

激活（ReLU、參數(shù) ReLU、TanH、Sigmoid）

去卷積

串聯(lián)

上采樣

Argmax

Softmax

由于 NN 不斷發(fā)展，這個列表可能也會更改和轉換。一個可行的嵌入式解決方案無法承擔每次在深度學習算法進步時而變得過時的代價。避免這個情況的關鍵是具備隨之發(fā)展進化的靈活性并處理新層。這種類型的靈活性通過 CEVA 在上個 CES大會上 運用所有 24 層運行實時 Alexnet 期間提出的 CEVA-XM4 視覺 DSP 處理器展現(xiàn)。

深度學習拓撲結構

如果我們查看網(wǎng)絡，例如 AlexNet 或不同的 VGG 網(wǎng)絡，它們具備相同的單拓撲，即線性網(wǎng)絡。在這個拓撲中，每個神經(jīng)元點都有一個單端輸入和單端輸出。

更復雜的拓撲包括每級多層。在此情況下，可在處于相同級的多個神經(jīng)元之間分配工作，然后與其他神經(jīng)元結合。這種網(wǎng)絡可以 GoogLeNet 為例。擁有多個輸入多個輸出拓撲的網(wǎng)絡產(chǎn)生更多復雜性。

深度學習拓撲（資料來源：CEVA）

正如我們在上圖第 (c) 種情況看到，相同的神經(jīng)元可同時接收和發(fā)送多個輸入和輸出。這些類型的網(wǎng)絡可通過 GoogLeNet、SegNet 和 ResNet 例證。

除了這些拓撲，還有完全卷積網(wǎng)絡，這是關于單像素問題的快速、端對端模型。完全卷積網(wǎng)絡可接收任意大小的輸入，并通過有效推理和學習產(chǎn)生相應大小的輸出。這更適合于 ROI 根據(jù)對象大小動態(tài)變化的商業(yè)應用程序。

嵌入式神經(jīng)網(wǎng)絡的挑戰(zhàn)

預訓練網(wǎng)絡之后的下一個巨大挑戰(zhàn)是在嵌入式系統(tǒng)中實施，這可是一個極具挑戰(zhàn)性的任務！障礙可分為兩個部分：

1、寬頻限制以及嵌入式系統(tǒng)的計算能力。

NN 需要大量數(shù)據(jù)，利用 DDR 在各層之間進行傳輸。如為卷積和完全連接數(shù)據(jù)重量來自 DDR，數(shù)據(jù)傳輸極其龐大。在這些情況下，也要使用浮點精度。在許多情況下，相同網(wǎng)絡用于處理多個 ROI。雖然大型、高功耗電機器可執(zhí)行這些任務，但嵌入式平臺制定了嚴格的限制條件。為實現(xiàn)成本效益、低功率及最小規(guī)模，嵌入式解決方案使用少量數(shù)據(jù)，限制內存大小，通常以整數(shù)精度運行，這與浮點截然相反。

2、竭力為嵌入式平臺移植和優(yōu)化 NN。

向嵌入式平臺移植預訓練 NN 的任務相當耗時，需要有關目標平臺的編程知識和經(jīng)驗。在完成初步發(fā)布后，還必須為特定平臺進行優(yōu)化，以實現(xiàn)快速和有效性能。

這些挑戰(zhàn)如果處理不當，將構成重大威脅。一方面，必須要克服硬件限制條件，以在嵌入式平臺上執(zhí)行 NN。另一方面，必須要克服挑戰(zhàn)的第二部分，以便快速達成解決方案，因為上市時間是關鍵。還原至硬件解決方案以加速上市時間也不是一個明智選擇，因為它無法提供靈活性，并將快速成為發(fā)展進化神經(jīng)網(wǎng)絡領域中的障礙。

為找出如何快速且毫不費勁地跨越這些障礙，請下次關注第二部分。屆時我們將以 GoogLeNet 為例，討論和演示我們的解決方案。

同時，可點擊了解更多有關 CDNN – CEVA 深度神經(jīng)網(wǎng)絡 的信息。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754