資訊專欄INFORMATION COLUMN
摘要：為什么我又要重新開始寫機器學習相關的文章了最主要的原因是現在的機器學習和五年前十年前區別很大。深度學習帶來了什么深度學習最重要的東西就是自帶了特征學習，有時候也被翻譯為表征學習，簡單來說就是，不需要進行特別的特征抽取。
1.為什么我開始寫這個系列博客
說五年前我還在某A云公司的時候，身在一個機器學習算法組，對機器學習懷有濃厚的興趣。花了好多的時間來試圖搞清楚各種流行的機器學習算法，經常周末也跟同事探討公式的推倒和背后的意義。寫博客的主要動力是讓自己能夠更好的理解機器學習。
?
后來堅持了沒有太久的時間就換到大數據方向了，最主要的原因是覺得自己數學天賦太差，尤其是數學。當初學習的時候主要參考的PRML，Andrew Moore的PPT，Andrew Ng的公開課，plukids博客，另外加上淘寶斌強哥的各種悉心指導。但是學了好久，公式能大概看懂是怎么回事，不過自己徒手推出來實在是太艱難了。PRML的習題，甚至是具體數學的習題，都很難做得出來。
?
后面的發生的事情就理所當然了，既然很難在這個領域做到核心（我的理解是具有及其好的數學天賦作為后盾才能做到機器學習的核心），那么為什么不換一個更適合自己的方向呢？恩好吧，基礎數據架構（Infra）看起來是個不錯的方向，不需要理解太多的數學（除了真的需要去實現Paxos）。做Infra如果有架構設計的基礎，另外加上勤奮，多多少少還是能做出一些東西的。
?
為什么我又要重新開始寫機器學習相關的文章了？最主要的原因是現在的機器學習和五年前、十年前區別很大。較大的不同是，自從深度學習成為了機器學習舞臺上最重要的一個角色起，機器學習變得更加真實了，利用深度學習可以做出很多很有意思的真實世界的應用，而這些東西在幾年前的門檻要高得多。我在本文之后會更詳細的展開此點。
?
此外這幾年的工具發展神速，利用TensorFlow、MXNet或者其他類似的工具可以很容易的開始自己的pet project，也不用理解太多背后的細節。而在幾年前能用的現成工具寥寥無幾，而且十分的碎片化，比如說如果想要做分類器吧，需要用libsvm，需要搞跨語言調用。如果要換個算法的話，那可是要命的事情了。當然這些東西對于大公司來說都不是事兒，但是對于個人學習者來說需要投入的經歷太多了，遠不是業余時間可以承擔的。
2. What to expect?
差不多關注了幾個月的深度學習，雖然沒有花太多時間來寫代碼，但是各種各樣的博客、視頻、公開課還是看了一些。這個系列和幾個我看過的主要內容的差異：
?
首先這個不是一個科普雜文，現在已經有很多旁征博引豐富多彩老少皆宜的雜文，比如說王川的深度學習到底有多深系列，我準備少些一些歷史和背景花絮，多寫一些技術。
其次這個不是一個系統的深度學習教程，現在已經有非常多非常好的相關公開課，比如說Stanford的CS231NCS224D，Hilton的，Udacity的等等。我不準備寫得面面俱到。
另外我會盡量少的涉及數學，因為我不可能把數學推導過程寫得比Ian Goodfellow的Deep Learning書寫得更清楚。但是我會盡量把最重要的部分寫出來。
所以我希望寫出的是，當看過網上的博客、公開課和書后，什么地方是最難理解的。
深度學習為什么是革命性的
啰里啰嗦了這么多，開始正文了。此篇博客嚴重參考了來自[1]第一章Introduction的內容，包括圖片和內容。
?
1.前深度學習的世界
深度學習不是一個新概念，它已經存在好幾十年了，具體可以參考[1]/[2]，這里所說的深度學習世界大抵是在最近幾年深度學習刷新各個機器學習領域之后了。
?
前深度學習世界的特征就是：在人類強的地方很弱，在人類弱的地方可能很強。人類強的地方比如說圖像識別（貓還是狗）；圖片語義分割（參考[3]）比如看出一個圖片中哪部分是樹、哪部分是房子。人類弱的地方比如說下棋、語法標記（一個句子里面哪些是助詞哪些是動詞）。
?
這個最主要的原因是，那種對于人類來說簡單的東西（在萬千世界中識別出一只貓）沒辦法用一個正式的數學公式去描述[1]。
?
比如說你無法用數學公式去定義一個貓的形狀。因為不同的角度、顏色、距離、光線的組合讓這個基本上沒有辦法做到。
?
所以在這個基礎上談智能實在是鏡中月水中花：你連一個貓都不認識，怎么能夠取代人類？因為人類的世界遠遠比圍棋要復雜得多。
?
[1] 里面還有一個有趣的例子，關于1989年時候著名的專家系統Cyc：
?
Its inference engine detected an inconsistency in the story: it knew that people do not have electrical parts, but because Fred was holding an electric razor, it believed the entity “FredWhileShaving” contained electrical parts. It therefore asked whether Fred was still a person while he was shaving.
?
... 它的推論引擎發現了一個前后矛盾的地方：它知道人是沒有電驅動的模塊，但是因為Fred拿起了一個電動剃須刀，所以這個引擎認為"一個正在剃胡子的Fred"有了一個電驅動的模塊。然后這個系統就問起這個Fred到底還是不是一個人啊。
?
此外，前機器學習時代一個重要的特征是要設計特征，比如說如果要做一個淘寶的商品自動分類器，特征可能有商品的題目、描述、圖片等等；特征還需要進行嚴格的預處理，比如說要過濾掉描述里面親包郵啊這種無意義的話，而且對正文里面的描述也要進行重點抽取才能夠符合訓練的標準。等到特征選擇、清理好了之后才能夠運行出有意義的結果。而且如果需要重新選擇特征，或者更改特征，那就需要重新重頭來過。
?
曾經有些公司甚至有"特征抽取工程師"這樣的職位，以前阿里同事做分類器的時候，就要特別注意不要把成人玩具分到兒童玩具的類目里面，萬一被抓到把柄了那可就要丟工作了。
?
2.深度學習帶來了什么
深度學習最重要的東西就是自帶了特征學習（representation learning，有時候也被翻譯為表征學習)，簡單來說就是，不需要進行特別的特征抽取。從這個來說，深度學習相對傳統機器學習來說就有了太多的優勢，因為一個設計好的系統能夠被相對容易地移植到新的任務上去。
?
參考最近DeepMind發布的一個深度增強學習的無監督系統玩復雜任務游戲游戲的例子[4]。系統從游戲的屏幕像素開始自我學習，到學會玩一個復雜游戲并超過人類的專業玩家，并沒有進行特別的人工特征抽取，這個在傳統的機器學習方式上看起來是很難想象的。
?
此外深度學習另外的一個優勢是，可以表述相對與淺度學習更復雜的東西，這里不準備展開描述，不然就要提到XOR，維度詛咒（The Curse of Dimensionality）等等相對枯燥而且很難說清楚的理論知識了。簡單來說，提升維度當然是一個很厲害人人都想的東西，參考三體中的降維打擊。但是與此同時也帶來了很多計算上的挑戰，得益于這幾年神經科學，算法研究和硬件(特別是GPU）提升，我們可以嘗試越來越深的模型。
現在的深度學習究竟在什么位置
同樣，主要參考了[1]的綜述部分：
?
首先衡量深度網絡的復雜程度主要有兩個方面：1. 網絡中一共有多少個神經元，2. 每個神經元平均與多少個其他的神經元連接。
?
首先是連接的數量：
?
每個藍色的小點表示一些里程碑級別的系統公布的結果，比如說10. 就是GoogLeNet (Szegedy et al., 2014a)
?
從這點看來，似乎還是挺樂觀的，比如說10. 已經很接近人類了，但是看看下面。。。
?
神經元的數量：
可以看到，目前較先進的系統所模擬的神經元的數量處于蜜蜂和青蛙之間。藍色的線表示預估的增長曲線，如果在沒有革命性的進步前，系統差不多可以到2050年的時候模擬人類同樣的神經元的數目，所以革命之路還很漫長。
?
但是從另一方面來說，神經元的數目也不是的衡量標準，就像是玩星際一樣，APM 150的意識派也可以完虐500的抽經流選手。我們可以教一個神經元如此少的系統玩復雜的電子游戲，但是我們沒有辦法教一個青蛙玩這種游戲。所以也不用悲觀，也許西部世界似的人工智能會到來得比想象中更早。
引用
[1] Deep Learning: Ian Goodfellow, Yoshua Bengio, Aaron Courville
[2] [王川的深度學習到底有多深系列](http://wangchuan.blog.caixin.com/archives/142598)
?
[3] [http://stackoverflow.com/questions/33947823/what-is-semantic-segmentation-compared-to-segmentation-and-scene-labeling](http://stackoverflow.com/questions/33947823/what-is-semantic-segmentation-compared-to-segmentation-and-scene-labeling)
?
[4] [https://deepmind.com/blog/reinforcement-learning-unsupervised-auxiliary-tasks/]
(https://deepmind.com/blog/reinforcement-learning-unsupervised-auxiliary-tasks/)
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4426.html
摘要：不過，深度學習并不是人類可以創造的完美人工智能科技的終點。深度學習的公正性并非來自其自身，而是人類篩選和準備的深度學習數據。深度學習給出的是非自然合法語言解釋的結果。 現在每一個人都正在學習，或者正打算學習深度學習，它是目前人工智能諸多流派中興起的一個。各個年齡階段的數十萬人都在學習著免費和收費的深度學習課程。太多的創業公司和產品的命名以深度開頭，深度學習已然成了一個流行語，但其真正的落地應...
摘要：絕大多數人忽略了深度學習只占機器學習領域的，而機器學習又只占到了人工智能領域的。一個深度學習專家無法與人工智能專家劃上等號。但是，深度學習并不是人類可以創造的人工智能科技的終點。深度學習的公正性并非來自其自身，而是人類篩選和準備的數據。 人工智能的這一波熱潮毫無疑問是由深度學習引發的，自吳恩達等人 2011 年發表「識別貓」研究后，深度學習及其引發的技術已經在圖像識別、游戲等任務中超越人類，...
摘要：大家好，我是黃文堅，今天給大家講講深度學習。我們再來看看這兩個深度學習的網絡，左邊是策略網絡，我走到一步的時候，分析棋盤上每個位置有多大價值，給每個位置打一個分數。可以說深度學習讓機器人擁有幾歲小孩拾起物體的能力。 大家好，我是黃文堅，今天給大家講講深度學習。我不講技術原理，講講技術應用。深度學習是我們明略重要的研究方向，是未來實現很多令人驚嘆的功能的工具，也可以說是通向人工智能的必經之路。...
摘要：我的核心觀點是盡管我提出了這么多問題，但我不認為我們需要放棄深度學習。對于層級特征，深度學習是非常好，也許是有史以來效果較好的。認為有問題的是監督學習，并非深度學習。但是，其他監督學習技術同病相連，無法真正幫助深度學習。 所有真理必經過三個階段：第一，被嘲笑；第二，被激烈反對；第三，被不證自明地接受。——叔本華（德國哲學家，1788-1860）在上篇文章中（參見：打響新年第一炮，Gary M...
摘要：但深度學習仍然只是解決計算機視覺領域內問題的工具之一。深度學習有時是過擬合的。深度學習有時會發生過度擬合這可能是我支持傳統計算機視覺技術研究的最佳理由。 摘要： 深度學習大潮為什么淹沒傳統的計算機視覺技術？聽聽大牛怎么說~ showImg(https://segmentfault.com/img/bV6gOZ?w=600&h=333);這篇文章是受到論壇中經常出現的問題所創作的： 深度...
閱讀 3348·2021-09-30 09:47
閱讀 2731·2021-08-18 10:22
閱讀 2518·2021-08-16 10:49
閱讀 2883·2019-08-30 15:53
閱讀 2731·2019-08-29 16:14
閱讀 3184·2019-08-28 18:18
閱讀 3228·2019-08-26 13:21
閱讀 786·2019-08-26 12:02
