Deep Learning 一些標志性的文章

iKcamp 發布于2019-04-25 17:57 / 2871人閱讀

摘要：的堆疊起來構成，其中訓練較高層的時加入了。作為非線性降維方法在圖像和文本降維實驗中明顯優于傳統方法。根據實驗提出了對的的一種解釋。設計實驗驗證兩種因素的作用。傳統算法并不是以較大化為目標的，另有證明算法不對應任何優化目標函數

A?Fast?Learning?Algorithm?for?Deep?Belief?Nets?(2006)
-?首次提出layerwise?greedy?pretraining的方法，開創deep?learning方向。 layerwise?pretraining的Restricted?Boltzmann?Machine?(RBM)堆疊起來構成 Deep?Belief?Network?(DBN)，其中訓練較高層的RBM時加入了label。之后對整個DBN進行fine-tuning。在 MNIST數據集上測試沒有嚴重過擬合，得到了比Neural?Network?(NN)更低的test?error。

Reducing?the?Dimensionality?of?Data?with?Neural?Networks?(2006)
-?提出deep?autoencoder，作為數據降維方法發在Science上。Autoencoder是一類通過最小化函數集對訓練集數據的重構誤差，自適應地編解碼訓練數據的算法。Deep?autoencoder模型用Contrastive?Divergence?(CD)算法逐層訓練重構輸入數據的RBM，堆疊在一起fine-tuning最小化重構誤差。作為非線性降維方法在圖像和文本降維實驗中明顯優于傳統方法。

Learning?Deep?Architectures?for?AI?(2009)
-?Bengio關于deep?learning的tutorial，從研究背景到RBM和CD再到數種deep?learning算法都有詳細介紹。還有豐富的reference。于是也有個缺點就是太長了。

A?Practical?Guide?to?Training?Restricted?Boltzmann?Machines?(2010)
-?如果想要自己實現deep?learning算法，這篇是不得不看的。我曾經試過自己寫但是效果很不好，后來看到它才知道算法實現中還有很多重要的細節。對照網上的代碼看也能更好地理解代碼。

Greedy?Layer-Wise?Training?of?Deep?Networks?(2007)
-?對DBN的一些擴展，比如應用于實值輸入等。根據實驗提出了對deep?learning的performance的一種解釋。

Why?Does?Unsupervised?Pre-training?Help?Deep?Learning??(2010)
-?總結了對deep?learning的pretraining作用的兩種解釋：regularization和help?optimization。設計實驗驗證兩種因素的作用。

Autoencoders,?Unsupervised?Learning,?and?Deep?Architectures?(2011)
-?從理論角度對不同的Autoencoders作了統一分析的嘗試。

On?the?Quantitative?Analysis?of?Deep?Belief?Networks?(2008)
-?用annealed?importance?sampling?(AIS)給出一種估計RBM的partition?function的方法，從而能夠估算p(x)以及比較不同的DBN。

Training?Restricted?Boltzmann?Machines?using?Approximations?to?the?Likelihood?Gradient?(2008)
-?提出用persistent?contrastive?divergence?(PCD)算法逼近 maximum?likelihood?estimation的目標，從而可以得到更好的generative?model。傳統CD算法并不是以較大化 p(x)為目標的，另有paper證明CD算法不對應任何優化目標函數

云服務器 GPU云服務器 deep learning java的一些代碼深度學習的一些應用 php實用的一些代碼

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4279.html

Deep Belief Networks資料匯總

摘要：畢設做的是的相關研究，翻過一些資料，在此做個匯總。深度學習的介紹性文章，可做入門材料。可以當作深度學習的學習材料。一份訓練的較佳實踐。闡述了非監督預訓練的作用。這篇博客給出的材料更加全面，作者來自復旦大學，現似乎是在北京研究院工作。畢設做的是DBNs的相關研究，翻過一些資料，在此做個匯總。可以通過谷歌學術搜索來下載這些論文。 Arel, I., Rose,...

WilsonLiu95 2019-04-25 17:58 評論0 收藏0
關于深度學習(deep learning)

摘要：在每一層學習到的結果表示作為下一層的輸入用監督訓練來調整所有層加上一個或者更多的用于產生預測的附加層當前，國外在這方面的研究就是三分天下的局面，的與微軟合作，的和合作，以及的計算機科學家和。深度學習的入門材料。轉載自：http://doctorimage.cn/2013/01/04/%e5%85%b3%e4%ba%8e%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0...

ZweiZhao 2019-04-25 17:58 評論0 收藏0
神經網絡和深度學習簡史第四部分：深度學習終迎偉大復興

摘要：主流機器學習社區對神經網絡興趣寡然。對于深度學習的社區形成有著巨大的影響。然而，至少有兩個不同的方法對此都很有效應用于卷積神經網絡的簡單梯度下降適用于信號和圖像，以及近期的逐層非監督式學習之后的梯度下降。我們終于來到簡史的最后一部分。這一部分，我們會來到故事的尾聲并一睹神經網絡如何在上世紀九十年代末擺脫頹勢并找回自己，也會看到自此以后它獲得的驚人先進成果。「試問機器學習領域的任何一人，是什...

Simon_Zhou 2019-04-25 18:01 評論0 收藏0
機器學習——深度學習(Deep Learning)

摘要：有監督學習與無監督學習，分類回歸，密度估計聚類，深度學習，，有監督學習和無監督學習給定一組數據，為，。由于不需要事先根據訓練數據去聚類器，故屬于無監督學習。 Deep Learning是機器學習中一個非常接近AI的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，最近研究了機器學習中一些深度學習的相關知識，本文給出一些很有用的資料和心得。Key Words：有監督學習與無監督學習，分類...

Guakin_Huang 2019-04-25 17:57 評論0 收藏0
Deep learning的一些教程

摘要：還有一些以后補充。十分推薦更多的教程斯坦福的公開課教學語言是。加盟百度前，余凱博士在美國研究院擔任部門主管，領導團隊在機器學習圖像識別多媒體檢索視頻監控，以及數據挖掘和人機交互等方面的產品技術研發。轉載自http://baojie.org/blog/2013/01/27/deep-learning-tutorials/ ? Stanford Deep Learning wiki: htt...

SimpleTriangle 2019-04-25 17:58 評論0 收藏0