資訊專欄INFORMATION COLUMN
摘要：年，發(fā)表，至今，深度學習已經發(fā)展了十幾年了。年的結構圖圖片來自于論文基于圖像識別的深度卷積神經網(wǎng)絡這篇文章被稱為深度學習的開山之作。還首次提出了使用降層和數(shù)據(jù)增強來解決過度匹配的問題，對于誤差率的降低至關重要。
1998年，Yann LeCun 發(fā)表Gradient-Based Learning Applied to Document Recognition，至今，深度學習已經發(fā)展了十幾年了。以大家熟知的CNNs為代表的技術在近幾年內取得了跨越式的發(fā)展，但理解深度學習的技術細節(jié)往往需要深入的數(shù)理知識，導致我們對于深度學習的理解一直停留在較淺的程度。本文就將帶你回顧深度學習近些年來的里程碑式成果，就算看不懂技術細節(jié)，也可以一睹深度學習的前世今生。
2012年－AlexNet
AlexNet的結構圖（圖片來自于論文：《基于ImageNet圖像識別的深度卷積神經網(wǎng)絡》）
這篇文章被稱為深度學習的開山之作。當然，也有很多人堅稱Yann LeCun 1998年發(fā)表的Gradient-Based Learning Applied to Document Recognition才是開山之作，即便這樣， 這篇文章使得深度學習進入主流科學界的視野也是毋庸置疑的。事實上，有人的地方就有江湖，這種爭論與當年牛頓和萊布尼茨爭論微積分的發(fā)明權一樣都無損于我們作為學習者領略這些成果美妙的思想和燦爛的智慧，這篇文章的作者Alex Krizhevsky, Ilya Sutskever, 和 Geoffrey E. Hinton同Yann Lecun都是最杰出的學者。
特點：
在結構上，AlexNet由8層神經網(wǎng)絡組成：其中有5層卷積層和3層全連接層（相比較現(xiàn)在的神經網(wǎng)絡，這真是太簡單了，但即便是這樣，它也足以用來分類1000類圖片了）。
AlexNet使用ReLU作為非線性函數(shù)，而不是此前一直廣泛使用的常規(guī)tanh函數(shù)。
AlexNet還首次提出了使用Dropout Layers（降層）和Data Augmentation （數(shù)據(jù)增強）來解決過度匹配的問題，對于誤差率的降低至關重要。
這篇文章之所名留青史與其在應用方面的優(yōu)異表現(xiàn)分不開（時間果然是檢驗真理的標準啊），AlexNet贏得了2012年的ILSVRC（ImageNet大規(guī)模視覺識別挑戰(zhàn)賽），誤差率為15.4％。甩了當時的第二名十條大街（26.2%） 。
論文：《基于ImageNet圖像識別的深度卷積神經網(wǎng)絡》- Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton
2013年－ZF Net
ZF net 結構圖（圖片來自論文：《卷積網(wǎng)絡的可視化與理解》）
學術界的反映其實總要比我們想象地要快得多，在2013年的ILSVRC（ImageNet大規(guī)模視覺識別挑戰(zhàn)賽）上，就出現(xiàn)了大量的CNN模型，而其中奪得桂冠的就是ZF Net（錯誤率進一步降低到11.2%），其實ZF Net更像是一個AlexNet的升級版，但它仍然有以下特點：
推出了反卷積網(wǎng)絡（又名DeConvNet），一種可查看卷積網(wǎng)絡（CNN）內部運作的可視化技術。
激活函數(shù)用了ReLu，誤差函數(shù)用了交叉熵損失（cross-entropy ? ? ?loss），訓練使用批量隨機梯度下降方法。
大大減少了訓練模型使用的圖片數(shù)量，AlexNet使用了1500萬張圖片做訓練，而ZF Net只用了130萬張。
論文：《卷積網(wǎng)絡的可視化與理解》- Matthew D. Zeiler, Rob Fergus
2014年－VGG Net
VGG結構圖（圖片來自Keras的博客：https://blog.keras.io)
看到這里我們已經可以發(fā)現(xiàn)深度學習和ILSVRC深深的糾葛，接下來我們要介紹的VGG Net正是ILSVRC 2014“圖像識別+定位”組別的獲勝者，誤差率為7.3%。
VGG Net具有以下特點：
VGG結構在圖像識別和定位兩個方面都表現(xiàn)出色。
使用了19層網(wǎng)絡，3x3的濾波器。 （而不是AlexNet的11x11濾波器和ZF Net的7x7濾波器相比）
提供了可用于分層特征提取的簡單深度結構。
利用抖動（scale ? ? ?jittering）作為訓練時數(shù)據(jù)增強的手段。
VGG Net成為里程碑的主要原因除了它在定位和圖像識別兩方面都表現(xiàn)突出外，還因為它強調了卷積神經網(wǎng)絡需要用到深度網(wǎng)絡結構才能把圖像數(shù)據(jù)的層次表達出來，為之后深度學習的發(fā)展提供了指導。
論文：《用于大規(guī)模圖像識別的超深度卷積網(wǎng)絡》-? Karen Simonyan, Andrew Zisserman
2014/2015年－GoogLeNet
GoogleNet結構圖（圖片來自于論文：《深入探索卷積》）
讀到這里的讀者應該已經能把ILSVRC這個大賽當作老朋友了。在2014年的ILSVRC大賽中，我們剛才介紹的VGG Net只是“圖像識別+定位”組別的冠軍，而GoogLeNet則憑借6.7%的誤差率贏得了ILSVRC 2014圖像識別的冠軍。
它具有以下特點：
引入了“初始模塊”，強調了CNN的層次并不總是必須順序堆疊的。
初始模塊（圖片來自論文《深入探索卷積》）
22層深的網(wǎng)絡（如果獨立計算則總網(wǎng)絡超過100層）。
沒有使用全連接層，而是以使用平均池化代替，將7x7x1024的輸入量轉換為1x1x1024的輸入量。 這節(jié)省了大量的參數(shù)。
證明了優(yōu)化的非順序結構可能比順序結構性能更好。
GoogLeNet?的創(chuàng)新主要在于這是第一個真正不通過簡單順序疊加卷積層和池化層來構建的CNN架構之一，為后來CNN在架構上的創(chuàng)新打下了基礎。
論文：《深入探索卷積》-?Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, 谷歌公司，北卡羅來納大學教堂山分校，密歇根大學安娜堡分校，Magic Leap公司
2015年—微軟ResNet
ResNet 結構圖（圖片來自于論文：《圖像識別的深度殘差學習》）
ResNet是2015年ILSVRC的獲勝者（又是ILSVRC！），它的誤差率達到了驚人的3.6%，首次在圖像識別的準確率上超越了人類（5%-10%），它擁有以下特點：
真的很深，ResNet?具有152層的“極端深度”（原文作者用Ultra-deep這個詞來描述它）的結構。
提出了使用殘差模塊以減輕過度匹配。
殘差模塊（圖片來自于論文：《圖像識別的深度殘差學習》）
論文：《圖像識別的深度殘差學習》- Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, 微軟亞洲研究院
意義：超越人類還不算意義嗎？
深度學習只有CNNs（卷積神經網(wǎng)絡）嗎？
當！然！不！是！現(xiàn)在我們終于能擺脫被ILSVRC支配的恐懼，談點其他的了，事實上，深度學習的模型還包括：
Deep Boltzmann Machine（深度玻爾茲曼機）
Deep Belief Networks（深度信念網(wǎng)絡）
Stacked Autoencoders（棧式自編碼算法）
原文鏈接：https://medium.com/towards-data-science/milestones-of-deep-learning-1aaa9aef5b18
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4591.html
摘要：年月日，一個再普通不過的日子。容永康選擇加入，成為中國的第一號員工。在中國選擇的運營模式，不止中國此前沒有，也未曾經歷過，因此需要跟監(jiān)管部門進行大量的溝通和深入的探討。2013年12月18日，一個再普通不過的日子。然而由于AWS在中國正式推出云服務的緣故，這一天成為中國云計算發(fā)展時間軸上的關鍵點之一。至今猶記得，當時北京國際飯店那場座無虛席的新聞發(fā)布會，過道里也擠滿了熱情的觀眾，乃至于酒店方...
摘要：本屆會議共收到論文篇，創(chuàng)下歷史記錄有效篇。會議接收論文篇接收率。大會共有位主旨演講人。同樣，本屆較佳學生論文斯坦福大學的，也是使用深度學習做圖像識別。深度學習選擇深度學習選擇不過，也有人對此表示了擔心。指出，這并不是做學術研究的方法。 2016年的計算機視覺領域國際頂尖會議 Computer Vision and Pattern Recognition conference（CVPR2016...
摘要：在過去五年里，我碰巧使用了一個收藏了篇機器學習論文的數(shù)據(jù)庫，這些論文都來自于。因此，本文將這五年間機器學習的發(fā)展趨勢進行了簡單的總結。我們得到了如下結果是的，年月份，接受了多篇與機器學習領域有關的論文。 機器學習的趨勢概述如果你用過谷歌趨勢（Google Trends），你一定會發(fā)現(xiàn)它很酷——你輸入一些關鍵詞，你就能夠看到這些關鍵詞的谷歌搜索量是如何隨著時間而變化的。在過去五年里，我碰巧使用...
摘要：小二穆遠是螞蟻金服的一名程序員，五年晉升了三次，他要聊聊自己的五年阿里之旅，那些變化堅持和淚水。在阿里待滿五年是一種什么樣的體驗打怪升級，一路找尋自己的答案。年陳故事會，來自阿里小二的自述。小二穆遠是螞蟻金服的一名程序員，五年晉升了三次，他要聊聊自己的五年阿里之旅，那些變化、堅持和淚水。請看本期的年陳故事會。showImg(https://user-gold-cdn.xitu.io/2019...
摘要：今天我們就討論下編程之外的個拓展自己的方式。不同的人對于攀登珠峰可能有不同理解，有些人眼中是特種旅游項目，有些人眼中是超越自身生理心理修行，有些人眼中的炫耀工具，有些人眼中的一生的奮斗目標，有些人眼中的商業(yè)生意，有些人眼中的終身事業(yè)。 編程不是目的，然而編程之外，有更多精彩需要我們體會，畢竟人生可不止于編程。今天我們就討論下編程之外的8個拓展自己的方式。如果你有自己的好的方式，歡迎參與...
閱讀 1103·2021-09-22 15:37
閱讀 1131·2021-09-13 10:27
閱讀 2465·2021-08-25 09:38
閱讀 2444·2019-08-26 11:42
閱讀 1524·2019-08-26 11:39
閱讀 1554·2019-08-26 10:58
閱讀 2316·2019-08-26 10:56
閱讀 2568·2019-08-23 18:08
