資訊專欄INFORMATION COLUMN
摘要：較大池化一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的典型架構(gòu)卷積神經(jīng)網(wǎng)絡(luò)的典型架構(gòu)我們已經(jīng)討論過(guò)卷積層用表示和池化層用表示只是一個(gè)被應(yīng)用的非線性特征，類似于神經(jīng)網(wǎng)絡(luò)。
這是作者在 Medium 上介紹神經(jīng)網(wǎng)絡(luò)系列文章中的一篇，他在這里詳細(xì)介紹了卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別、視頻識(shí)別、推薦系統(tǒng)以及自然語(yǔ)言處理中都有很廣的應(yīng)用。如果想瀏覽該系列文章，可點(diǎn)擊閱讀原文查看原文網(wǎng)址。
跟神經(jīng)網(wǎng)絡(luò)一樣，卷積神經(jīng)網(wǎng)絡(luò)由神經(jīng)元構(gòu)成，這些神經(jīng)元帶有可學(xué)習(xí)的權(quán)重和偏差（bias）。每個(gè)神經(jīng)元接收若干輸入，并對(duì)輸入進(jìn)行加權(quán)求和，然后通過(guò)一個(gè)激活功能將它們傳遞出去，再用一個(gè)輸出作為反應(yīng)。整個(gè)神經(jīng)網(wǎng)絡(luò)有一個(gè)損失函數(shù)，我們?yōu)樯窠?jīng)網(wǎng)絡(luò)開(kāi)發(fā)的所有貼士和技巧，仍然適用于卷積神經(jīng)網(wǎng)絡(luò)。
那么，卷積神經(jīng)網(wǎng)絡(luò)是怎么不同于神經(jīng)網(wǎng)絡(luò)的呢？
卷積神經(jīng)網(wǎng)絡(luò)運(yùn)行過(guò)量
這是什么意思？
1.一個(gè) RGB 圖像的例子（稱它為『輸入圖像』）
在神經(jīng)網(wǎng)絡(luò)中，輸入是一個(gè)向量，但是在卷積神經(jīng)網(wǎng)絡(luò)中，輸入是一個(gè)多通道圖像（這個(gè)例子中的圖像有 3 個(gè)通道）。
卷積
2.用濾波器來(lái)卷積圖像
我們用了一個(gè) 5×3×5 的濾波器在整個(gè)圖像上滑動(dòng)，在滑動(dòng)過(guò)程中，采集在濾波器與輸入圖像的塊之間的點(diǎn)積。
3.看上去就是這樣子
對(duì)于采集到的每個(gè)點(diǎn)積來(lái)說(shuō)，其結(jié)果都是一個(gè)標(biāo)量。
所以當(dāng)我們用這個(gè)濾波器卷積一個(gè)完整的圖像時(shí)會(huì)發(fā)生什么呢？
4.就是這個(gè)！
你可以自己想想這個(gè)『 28 』是怎么來(lái)的。（提示：有 28×28 個(gè)獨(dú)特的位置，在這些位置上，濾波器可以被放在這個(gè)圖像上）
現(xiàn)在，回到卷積神經(jīng)網(wǎng)絡(luò)
這個(gè)卷積層是卷積神經(jīng)網(wǎng)絡(luò)的主構(gòu)建塊。
5.卷積層
卷積層包括一組獨(dú)立的濾波器（該例子中有 6 個(gè)）。每個(gè)濾波器都獨(dú)立地與圖像卷積，我們以 6 個(gè)形狀為 28×1×28 的特征圖結(jié)束。
假設(shè)我們有一個(gè)序列卷積層。那么會(huì)發(fā)生什么呢？
6.序列卷基層
所有這些濾波器都被隨機(jī)初始化，并成為我們的參數(shù)，隨后將被這個(gè)網(wǎng)絡(luò)學(xué)習(xí)。
下面是一個(gè)訓(xùn)練過(guò)的網(wǎng)絡(luò)的例子：
7.一個(gè)訓(xùn)練過(guò)的網(wǎng)絡(luò)中的濾波器
看下最表層的濾波器（這些都是我們的5×3×5 的濾波器。）通過(guò)反向傳播，他們將自己調(diào)整為彩色片和邊緣的斑點(diǎn)。在我們深入到其他卷積層時(shí)，這些濾波器在做之前的卷積層的輸入的點(diǎn)積。所以，它們正在采集這些較小的彩色片或邊緣，并通過(guò)這些小的彩色片和邊緣做出較大的彩色片。
看看圖 4 ，并將這個(gè) 28×1×28 的網(wǎng)格想象成 28×28 個(gè)神經(jīng)元。對(duì)于一個(gè)特定的特征圖來(lái)說(shuō)（在卷積帶有一個(gè)濾波器的圖像上接受的輸出被稱為一個(gè)特征圖），每個(gè)神經(jīng)元只連接這個(gè)輸入圖像的一小塊，而且所有的神經(jīng)元都具有相同的連接權(quán)重。因此，再次回到卷積神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)之間的差異。
卷積神經(jīng)網(wǎng)絡(luò)的一對(duì)概念：參數(shù)共享和局部連通性
參數(shù)共享，通過(guò)一張?zhí)囟ǖ奶卣鲌D中所有神經(jīng)元來(lái)共享權(quán)重。
局部連通性的概念是每個(gè)神經(jīng)只連接一個(gè)輸入圖像的子集（不像神經(jīng)網(wǎng)絡(luò)中的所有神經(jīng)元都完全連接在一起）。
這幫助減少了整個(gè)系統(tǒng)中的參數(shù)數(shù)量，讓計(jì)算變得更有效。
為了簡(jiǎn)單一些，這里不討論零填充（zero padding）的概念。有興趣的可以自己去閱讀相關(guān)資料。
池化層
一個(gè)池化層是卷積神經(jīng)網(wǎng)絡(luò)的另一個(gè)構(gòu)建塊
池化
它的功能是通過(guò)逐步減小表征的空間尺寸來(lái)減小參數(shù)量和網(wǎng)絡(luò)中的計(jì)算。池化層在每一個(gè)特征圖上獨(dú)立操作。
較大池化
一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的典型架構(gòu)
卷積神經(jīng)網(wǎng)絡(luò)的典型架構(gòu)
我們已經(jīng)討論過(guò)卷積層（用 CONY 表示）和池化層（用 POOL 表示）
RELU 只是一個(gè)被應(yīng)用的非線性特征，類似于神經(jīng)網(wǎng)絡(luò)。
這個(gè) FC 與神經(jīng)元層完全相連在卷積神經(jīng)網(wǎng)絡(luò)的末端。完全連接層中的神經(jīng)元連接著之前層中的所有激活，這在常規(guī)的神經(jīng)網(wǎng)絡(luò)中能看到，并以相似的方式運(yùn)行。
希望你現(xiàn)在能理解一個(gè)卷積神經(jīng)網(wǎng)絡(luò)的這種架構(gòu)了。這種架構(gòu)還要很多變體，但是之前提到過(guò)，基本的概念都是相同。
歡迎加入本站公開(kāi)興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/4366.html
摘要：這一切始于年的一篇論文，其使用了稱為的算法用來(lái)提取感興趣候選區(qū)域，并用一個(gè)標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)去分類和調(diào)整這些區(qū)域。 本文詳細(xì)解釋了 Faster R-CNN 的網(wǎng)絡(luò)架構(gòu)和工作流，一步步帶領(lǐng)讀者理解目標(biāo)檢測(cè)的工作原理，作者本人也提供了 Luminoth 實(shí)現(xiàn)，供大家參考。Luminoth 實(shí)現(xiàn)：https://github.com/tryolabs/luminoth/tree/master/l...
摘要：本論文將嘗試概述卷積網(wǎng)絡(luò)的架構(gòu)，并解釋包含激活函數(shù)損失函數(shù)前向傳播和反向傳播的數(shù)學(xué)推導(dǎo)。本文試圖只考慮帶有梯度下降優(yōu)化的典型卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的制定。 近日南洋理工大學(xué)研究者發(fā)布了一篇描述卷積網(wǎng)絡(luò)數(shù)學(xué)原理的論文，該論文從數(shù)學(xué)的角度闡述整個(gè)卷積網(wǎng)絡(luò)的運(yùn)算與傳播過(guò)程。該論文對(duì)理解卷積網(wǎng)絡(luò)的數(shù)學(xué)本質(zhì)非常有幫助，有助于讀者「徒手」（不使用卷積API）實(shí)現(xiàn)卷積網(wǎng)絡(luò)。論文地址：https://arxiv....
摘要：顯示了殘差連接可以加速深層網(wǎng)絡(luò)的收斂速度，考察了殘差網(wǎng)絡(luò)中激活函數(shù)的位置順序，顯示了恒等映射在殘差網(wǎng)絡(luò)中的重要性，并且利用新的架構(gòu)可以訓(xùn)練極深層的網(wǎng)絡(luò)。包含恒等映射的殘差有助于訓(xùn)練極深層網(wǎng)絡(luò)，但同時(shí)也是殘差網(wǎng)絡(luò)的一個(gè)缺點(diǎn)。 WRN Wide Residual NetworksSergey Zagoruyko, Nikos Komodakis Caffe實(shí)現(xiàn)：https://github...
摘要：考慮到這一點(diǎn)，我們將這種方法稱為深度學(xué)習(xí)。這使我們回到原來(lái)的問(wèn)題上我們不是因?yàn)樯疃饶Ｐ投鴮⑵浞Q為深度學(xué)習(xí)。這意味著具有個(gè)完全連接的層并且只有完全連接的層的神經(jīng)網(wǎng)絡(luò)將不再是深度學(xué)習(xí)模型，而某些具有少量卷積層的網(wǎng)絡(luò)卻可以稱為深度學(xué)習(xí)。 不管你是業(yè)內(nèi)人士還是業(yè)外人士，在人工智能以燎原之勢(shì)發(fā)展的今天，相信對(duì)于AI、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)這些詞匯，你或多或都有一定的了解，而其中作為人工智能前沿的深度學(xué)習(xí)，...
閱讀 1213·2021-09-26 09:55
閱讀 3157·2019-08-30 15:55
閱讀 948·2019-08-30 15:53
閱讀 2285·2019-08-30 13:59
閱讀 2367·2019-08-29 13:08
閱讀 1098·2019-08-29 12:19
閱讀 3289·2019-08-26 13:41
閱讀 411·2019-08-26 13:24
