資訊專欄INFORMATION COLUMN
摘要：在過去五年里，我碰巧使用了一個收藏了篇機器學習論文的數據庫，這些論文都來自于。因此，本文將這五年間機器學習的發展趨勢進行了簡單的總結。我們得到了如下結果是的，年月份，接受了多篇與機器學習領域有關的論文。
機器學習的趨勢概述
如果你用過谷歌趨勢（Google Trends），你一定會發現它很酷——你輸入一些關鍵詞，你就能夠看到這些關鍵詞的谷歌搜索量是如何隨著時間而變化的。在過去五年里，我碰巧使用了一個收藏了28303篇機器學習論文的arxiv-sanity數據庫，這些論文都來自于arXiv。因此，本文將這五年間機器學習的發展趨勢進行了簡單的總結。
讓我們通過arxiv-sanity的類別目錄 (cs.AI,cs.LG,cs.CV,cs.CL,cs.NE,stat.ML)，首先看看提交的總論文數。我們得到了如下結果：
是的，2017年3月份，接受了2000多篇與機器學習領域有關的論文。并且，這些峰值很可能受到了會議截止時間（例如NIPS/ICML）的影響。請注意，這并不是有關于此領域本身規模的聲明，因為并不是所有人都將論文提交到arXiv上。我們將提交的論文總數作為分母，來看看包含我們感興趣的某些關鍵詞的論文占了多少。
12大深度學習框架
首先，讓我們看看現在正在使用的深度學習框架。為了計算，我們記錄了在全文任何地方（包括參考文章等）提到過這些框架的論文，對于2017年3月上傳的論文，我們得到如下了結果：
我們可以看出，在2017年3月提交的所有論文中，有10%的論文提到了TensorFlow。當然，并不是所有的論文都宣布了它們使用的框架。但是，如果我們假定宣布了此框架但實際上并沒有使用此框架的論文占有一些固定的隨機概率，那么大概有40%的社區正在使用TensorFlow。下面是一些流行的框架隨著時間的使用圖：
機器學習算法框架的使用程度分析
我們看到，Theano已經出現一段時間了，但是它的使用增長情況卻有些停滯不前。Caffe的使用在2014年爆發式地增長，但是在過去幾個月被TensorFlow超越。Torch（和最近的PyTorch）使用情況也在上升，但較為緩慢，比較穩定。在接下來的幾個月中，看這些趨勢如何變化也會很有趣。我認為，Caffe/Theano 使用將會緩慢減少，由于PyTorch，TF的使用增長將會上升地緩慢一些。
卷積模型：
有趣的是，如果我們看一下常見的卷積神經網絡，情況又如何呢？在這里，我們可以清楚的看到，循環神經網絡的使用迅速飆升，在今年3月的論文中，循環神經網絡的比例占到了9%。
優化算法：
在優化算法方面，似乎Adam算法很熱門，占到了23%！實際比例難以估計，它可能高于23%，因為一些論文沒有宣布它們所使用的優化算法，并且很大一部分論文甚至可能沒有優化任何神經網絡；這一比例也可能降低約5%，因為“Adam”可能與某些作者的名字相同了……盡管Adam算法僅僅才發布了不到3年，但是的確很流行。
我也很好奇地繪出了深度學習中提到的一些具有較高PIs（類似于引用次數，但是1）使用“0/1”實現計數，它更強大；2）它被歸一化）的圖，如下：
有幾件事需要注意：提交的論文中有35%提到了“bengio”，但是這里有兩個“bengio”：Samy和Yoshua，將他們也添加到了圖上。特別地， 有30%的新論文中提到了Geoff Hinton！
27個ML框架最熱門關鍵詞
有很多方法來定義最熱門關鍵詞。但是對于本實驗，我查看了每篇論文中的一元或二元詞組，并記錄了它們相對于去年出現次數的較大比率。具體方式是記錄相關詞組去年的出現頻次，然后今年的出現頻次比去年高得多，比率=今年出現的頻次/去年出現的頻次。較大比率靠前的包括如下：
例如，ResNet的比率是8.17。這是因為一年前，所有提交的論文中，與ResNet有關的論文占1.004%（在2016年3月），但是2017年3月，所有提交的論文中，ResNet有關的論文占了8.53%，所以8.53 / 1.044 ~= 8.17。所以你可以得出如下結論：過去一年流行的核心創新包括1) ResNets, 2) GANs, 3) Adam, 4) BatchNorm。在研究興趣方面，我們看到了1）興趣轉移，2）深度強化學習，3）神經機器翻譯，可能還有4）圖像生成。在架構上，熱點是1）全連接神經網絡，2）LSTMs/GRUs，3）Siamese網絡，4）編碼解碼器網絡。
反之如何？過去一年，過去比較流行的論文方向現在開始沒落了，這包括如下：
我不知道“fractal”是什么，但是更一般地說，它就像貝葉斯非參數模型一樣正受到威脅。
調查結論：現在是時候提交用Adam優化算法解決全連接神經網絡編碼解碼器、用于Style Transfer的BatchNorm ResNet GAN等有關的論文了。
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4515.html
摘要：深度學習框架作為熱身，我們先看一下深度學習框架。在年有急劇的增長，但在過去幾個月被超越。 你是否使用過 Google Trends？相當的酷，你在里面輸入關鍵詞，看一下谷歌搜索中這一詞條如何隨時間變化的。我想，過去 5 年中 arxiv-sanity 數據庫中剛好有 28303 篇機器學習論文，為什么不做一些類似的工作，看一下過去 5 年機器學習研究有何進化？結果相當的有趣，所以我把它貼了出...
摘要：值得一提的是每篇文章都是我用心整理的，編者一貫堅持使用通俗形象的語言給我的讀者朋友們講解機器學習深度學習的各個知識點。今天，紅色石頭特此將以前所有的原創文章整理出來，組成一個比較合理完整的機器學習深度學習的學習路線圖，希望能夠幫助到大家。 一年多來，公眾號【AI有道】已經發布了 140+ 的原創文章了。內容涉及林軒田機器學習課程筆記、吳恩達 deeplearning.ai 課程筆記、機...
摘要：自從年深秋，他開始在上撰寫并公開分享他感興趣的機器學習論文。本文選取了上篇閱讀注釋的機器學習論文筆記。希望知名專家注釋的深度學習論文能使一些很復雜的概念更易于理解。主要講述的是奧德賽因為激怒了海神波賽多而招致災禍。 Hugo Larochelle博士是一名謝布克大學機器學習的教授，社交媒體研究科學家、知名的神經網絡研究人員以及深度學習狂熱愛好者。自從2015年深秋，他開始在arXiv上撰寫并...
摘要：康納爾大學數學博士博士后則認為，圖神經網絡可能解決圖靈獎得主指出的深度學習無法做因果推理的核心問題。圖靈獎得主深度學習的因果推理之殤年初，承接有關深度學習煉金術的辯論，深度學習又迎來了一位重要的批評者。 作為行業的標桿，DeepMind的動向一直是AI業界關注的熱點。最近，這家世界最較高級的AI實驗室似乎是把他們的重點放在了探索關系上面，6月份以來，接連發布了好幾篇帶關系的論文，比如：關系歸...
閱讀 3528·2021-09-22 15:50
閱讀 3233·2019-08-30 15:54
閱讀 2748·2019-08-30 14:12
閱讀 3058·2019-08-30 11:22
閱讀 2079·2019-08-29 11:16
閱讀 3574·2019-08-26 13:43
閱讀 1192·2019-08-23 18:33
閱讀 920·2019-08-23 18:32
