哈佛大學(xué)提出在云、邊緣與終端設(shè)備上的分布式深度神經(jīng)網(wǎng)絡(luò)DDNN

yacheng 發(fā)布于2019-04-25 18:18 / 2483人閱讀

摘要：因?yàn)檫@些設(shè)備直接連接傳感器數(shù)據(jù)攝像頭麥克風(fēng)陀螺儀等，所以在終端設(shè)備上部署機(jī)器學(xué)習(xí)具有極大的吸引力。論文地址摘要我們提出了在分布式計(jì)算層級(jí)上的分布式深度神經(jīng)網(wǎng)絡(luò)，包含云邊緣設(shè)備以及終端設(shè)備。垂直線表示通道，連接水平線神經(jīng)網(wǎng)絡(luò)層。

近年來，深度神經(jīng)網(wǎng)絡(luò)在多種應(yīng)用上取得了極大的成功，網(wǎng)絡(luò)架構(gòu)也變得越來越深。以卷積神經(jīng)網(wǎng)絡(luò)為例，從 1998 年 LeNet 的 5 層，發(fā)展到 2015 年產(chǎn)生了 152 層的 ResNet。

在網(wǎng)絡(luò)架構(gòu)變化的同時(shí)，包括物聯(lián)網(wǎng)在內(nèi)的終端設(shè)備數(shù)量也越來越多，有著急劇的增長(zhǎng)。因?yàn)檫@些設(shè)備直接連接傳感器數(shù)據(jù)（攝像頭、麥克風(fēng)、陀螺儀等），所以在終端設(shè)備上部署機(jī)器學(xué)習(xí)具有極大的吸引力。

但現(xiàn)在看來，較高級(jí)的機(jī)器學(xué)習(xí)系統(tǒng)還無法滿足終端設(shè)備的現(xiàn)狀：1. 要么把傳感器數(shù)據(jù)輸入到云端的大型神經(jīng)網(wǎng)絡(luò)模型；2. 要么直接在終端設(shè)備上使用簡(jiǎn)單的機(jī)器學(xué)習(xí)模型（如線性支持向量機(jī)）。前者有通信成本、延遲的問題，后者會(huì)降低系統(tǒng)的準(zhǔn)確率。

為了克服這些問題，自然而然地就想到了分布式計(jì)算方法。層級(jí)分布式計(jì)算架構(gòu)包括云、邊緣與終端設(shè)備，這種架構(gòu)有固有的優(yōu)勢(shì)，例如支持中心調(diào)節(jié)與局部決策，具有系統(tǒng)可擴(kuò)展性，特別是對(duì)基于位置分布的 IoT 設(shè)備上的大規(guī)模智能任務(wù)。

雖然業(yè)內(nèi)也有一些分布式方法，但依然面臨多種挑戰(zhàn)，例如終端設(shè)備存儲(chǔ)與能源有限、通信成本等。那有沒有一種系統(tǒng)能夠訓(xùn)練一個(gè)端到端模型，把模型在云與終端設(shè)備之間劃分開？

為了這個(gè)目標(biāo)，作者們提出了在云、邊緣以及終端設(shè)備這樣的分布式計(jì)算層級(jí)上的分布式深度神經(jīng)網(wǎng)絡(luò)（DDNN）。論文內(nèi)容摘要如下，具體細(xì)節(jié)請(qǐng)查看論文原文。

論文：Distributed Deep Neural Networks over the Cloud, the Edge and End Devices

地址：https://arxiv.org/abs/1709.01921

摘要：我們提出了在分布式計(jì)算層級(jí)上的分布式深度神經(jīng)網(wǎng)絡(luò)（DDNNs)，包含云、邊緣設(shè)備以及終端設(shè)備。在能夠適應(yīng)云上的神經(jīng)網(wǎng)絡(luò)推理的同時(shí)，DDNN 也允許在邊緣、終端設(shè)備上使用神經(jīng)網(wǎng)絡(luò)的淺層部分進(jìn)行更快、本地化的推理。在可延展的分布式計(jì)算層級(jí)支持下，DDNN 能按比例擴(kuò)大網(wǎng)絡(luò)大小，且在區(qū)域跨度上進(jìn)行擴(kuò)展。由于其分布式特性，DDNN 增強(qiáng)了傳感器融合、系統(tǒng)故障容錯(cuò)、數(shù)據(jù)隱私。在 DDNN 的實(shí)現(xiàn)上，我們繪制了 DNN 在不同分布式計(jì)算層級(jí)上的部分。通過聯(lián)合訓(xùn)練這些部位，我們最小化了設(shè)備上的通信和資源使用，較大化了在云中使用的提取特征的有效性。最終的系統(tǒng)內(nèi)建了對(duì)自動(dòng)傳感器融合、故障容錯(cuò)的支持。作為此概念的證實(shí)，我們演示了一個(gè) DDNN 能夠利用傳感器的多元性改進(jìn)目標(biāo)識(shí)別的準(zhǔn)確率、減少通信成本。在我們的實(shí)驗(yàn)中，對(duì)比傳統(tǒng)的在云中卸載原始傳感器數(shù)據(jù)的方法，DDNN 能夠在終端設(shè)備本地處理大部分傳感器數(shù)據(jù)，同時(shí)取得高準(zhǔn)確率，通信成本能夠降低 20 倍。

圖 2：DDNN 架構(gòu)的概覽。垂直線表示 DNN 通道，連接水平線（神經(jīng)網(wǎng)絡(luò)層）。（a) 是標(biāo)準(zhǔn)的深度神經(jīng)網(wǎng)絡(luò)（完全在云端處理）；（b）是引入了終端設(shè)備和本地出口點(diǎn)（exit point)，可能分類云之前的樣本；（c）是（b）的擴(kuò)展，增加了多個(gè)終端設(shè)備，聚合在一起進(jìn)行分類；（d) 和（e）是（b) 和（c）的拓展，增加了云與終端設(shè)備之間的邊緣層；（f）展示了邊緣也能像終端設(shè)備一樣被分布。

歡迎加入本站公開興趣群

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754