国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

「深度神經網絡」（deep neural network）具體是怎樣工作的？

X_AirDu / 3208人閱讀

摘要：微軟研究人員在深度神經網絡上取得突破，使其在性能上能趕上目前較先進的語音識別技術。上沒寫那個，不過我已經不大懂了，順帶鏈接還有給的微軟原文鏈接以下為兩個回答何曉寧多層的好處是可以用較少的參數表示復雜的函數。

微軟研究人員在深度神經網絡（deep neural network）上取得突破，
使其在性能上能趕上目前較先進的語音識別技術。
http://software.solidot.org/article.pl?sid=11/08/29/0917205&from=rss

我只記得關于@李開復 的介紹里面說的很多用概率才能解決，包括語音識別，
那么這一次是什么原理，能深入淺出地講解嗎？求講課。。

Wiki 上沒寫那個 deep，不過我已經不大懂了，順帶鏈接：
http://en.wikipedia.org/wiki/Neural_network
還有 Solidot 給的微軟原文鏈接：
https://research.microsoft.com/en-us/news/features/speechrecognition-082911.aspx

以下為兩個回答：

何曉寧：

多層的好處是可以用較少的參數表示復雜的函數。

在監(jiān)督學習中，以前的多層神經網絡的問題是容易陷入局部極值點。如果訓練樣本足夠充分覆蓋未來的樣 本，那么學到的多層權重可以很好的用來預測新的測試樣本。但是很多任務難以得到足夠多的標記樣本，在這種情況下，簡單的模型，比如線性回歸或者決策樹往往 能得到比多層神經網絡更好的結果（更好的泛化性，更差的訓練誤差）。
非監(jiān)督學習中，以往沒有有效的方法構造多層網絡。多層神經網絡的頂層是底層特 征的高級表示，比如底層是像素點，上一層的結點可能表示橫線，三角； 而頂層可能有一個結點表示人臉。一個成功的算法應該能讓生成的頂層特征較大化的代表底層的樣例。如果對所有層同時訓練，時間復雜度會太高； 如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監(jiān)督學習中相反的問題，會嚴重欠擬合。

2006年，hinton提出了在非監(jiān)督數據上建立多層神經網絡的一個有效方法，簡單的說，分為兩步，一是每次訓練一層網絡，二是調優(yōu)使原始表示x向上生成的高級表示r和該高級表示r向下生成的x"盡可能一致。方法是
1，首先逐層構建單層神經元，這樣每次都是訓練一個單層網絡。
2， 當所有層訓練完后，hinton使用wake-sleep算法進行調優(yōu)。將除最頂層的其它層間的權重變?yōu)殡p向的，這樣最頂層仍然是一個單層神經網絡，而其 它層則變?yōu)榱藞D模型。向上的權重用于”認知“，向下的權重用于”生成“。然后使用Wake-Sleep算法調整所有的權重。讓認知和生成達成一致，也就是 保證生成的最頂層表示能夠盡可能正確的復原底層的結點。比如頂層的一個結點表示人臉，那么所有人臉的圖像應該激活這個結點，并且這個結果向下生成的圖像應 該能夠表現為一個大概的人臉圖像。Wake-Sleep算法分為醒(wake)和睡(sleep)兩個部分。
2.1，wake階段，認知過程，通過外界的特征和向上的權重（認知權重）產生每一層的抽象表示（結點狀態(tài)），并且使用梯度下降修改層間的下行權重（生成權重）。也就是“如果現實跟我想像的不一樣，改變我的權重使得我想像的東西就是這樣的“。
2.2，sleep階段，生成過程，通過頂層表示（醒時學得的概念）和向下權重，生成底層的狀態(tài)，同時修改層間向上的權重。也就是“如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念“。

由于自動編碼器（auto-encoder，即上面說的神經網絡。廣義上的自動編碼器指所有的從低級表示得到高級表示，并能從高級表示生成低級表示的近似的 結構，狹義上指的是其中的一種，谷歌的貓臉識別用的）有聯(lián)想功能，也就是缺失部分輸入也能得到正確的編碼，所以上面說的算法也可以用于有監(jiān)督學習，訓練時 y做為頂層網絡輸入的補充，應用時頂層網絡生成y"。

匿名用戶：

人工神經網絡是一個有很悠久歷史的結構, 應該是在20世紀五十年代后期就出現了的. 經過了很多年的發(fā)展, 依然有超多的局限, 比如訓練時間長, 效率地下等等. 在19世紀的晚期, 又漸漸消失了.?

直 到近幾年, 由于Deep Learning的研究出現了比較大的突破, Deep Neural Network應該是伴隨著Deep Learning一起出現的一種人工神經網絡的重大改良. 其模擬了人腦的一些特性,比如人腦具有一個深度的結構,每深入一層就進行一次抽象, 認知的時候逐層進行, 逐層進行抽象. 這種結構在解決一些復雜的問題的時候有非常明顯地突破性表現. 突破了傳統(tǒng)的神經網絡算法的很多局限, 是當下非常熱門的研究領域.
如果樓主感興趣, 可以自行搜索Deep Learning, 比如 wiki : http://en.wikipedia.org/wiki/Deep_learning
還有一個網站 http://deeplearning.net/tutorials/ 也有不少的內容.

提問者提出的Deep Neural Network, 并非一定指某個特定的結構, 因為深度學習在人工神經網絡上的改良有非常多種, 根據各個實際的應用也有不同的改良方法, 可以更多地關注Deep Learning 即可.

挖個坑, 寫完期末最后一門企業(yè)系統(tǒng)架構的作業(yè), 如果還沒有人來回答的話, 我就補充一些關于Deep Learning 的資料. 想看的記得提醒我...

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4287.html

相關文章

  • 深度學習調參入門，有哪些技巧？

    摘要：本文將分享一些自己關于深度學習模型調試技巧的總結思考以為主。不過以卷積神經網絡為代表的深層神經網絡一直被詬病，這對于模型在工業(yè)界的應用推廣還是帶來了一定的阻礙。 作者楊軍，從事大規(guī)模機器學習系統(tǒng)研發(fā)及應用相關工作。本文將分享一些自己關于深度學習模型調試技巧的總結思考（以CNN為主）。最近因為一些需要，參與了一些CNN建模調參的工作，出于個人習性，我并不習慣于通過單純的trial-and-er...

    Developer 評論0 收藏0

  • Deep Learning（深度學習）學習筆記整理

    摘要：深度學習學習筆記整理系列作者聲明該的學習系列是整理自網上很大牛和機器學習專家所無私奉獻的資料的。但是自年以來，機器學習領域，取得了突破性的進展。 Deep Learning（深度學習）學習筆記整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者：Zouxy version 1.0? 2013-04-08聲明：1）該Deep Lea...

    Cheriselalala 評論0 收藏0

  • 128篇論文，21大領域，深度學習最值得看的資源全在這了

    摘要：對于大多數想上手深度學習的小伙伴來說，我應當從那篇論文開始讀起這是一個亙古不變的話題。接下來的論文將帶你深入理解深度學習方法深度學習在前沿領域的不同應用。 對于大多數想上手深度學習的小伙伴來說，我應當從那篇論文開始讀起？這是一個亙古不變的話題。而對那些已經入門的同學來說，了解一下不同方向的論文，也是不時之需。有沒有一份完整的深度學習論文導引，讓所有人都可以在里面找到想要的內容呢？有！今天就給...

    tracymac7 評論0 收藏0

  • 《DeepLearning.ai 深度學習筆記》發(fā)布，黃海廣博士整理

    摘要：在這堂課中，學生將可以學習到深度學習的基礎，學會構建神經網絡，包括和等。課程中也會有很多實操項目，幫助學生更好地應用自己學到的深度學習技術，解決真實世界問題。 深度學習入門首推課程就是吳恩達的深度學習專項課程系列的 5 門課。該專項課程最大的特色就是內容全面、通俗易懂并配備了豐富的實戰(zhàn)項目。今天，給大家推薦一份關于該專項課程的核心筆記！這份筆記只能用兩個字形容：全面！ showImg(...

    wenhai.he 評論0 收藏0

  • 神經網絡和深度學習簡史第四部分：深度學習終迎偉大復興

    摘要：主流機器學習社區(qū)對神經網絡興趣寡然。對于深度學習的社區(qū)形成有著巨大的影響。然而，至少有兩個不同的方法對此都很有效應用于卷積神經網絡的簡單梯度下降適用于信號和圖像，以及近期的逐層非監(jiān)督式學習之后的梯度下降。 我們終于來到簡史的最后一部分。這一部分，我們會來到故事的尾聲并一睹神經網絡如何在上世紀九十年代末擺脫頹勢并找回自己，也會看到自此以后它獲得的驚人先進成果。「試問機器學習領域的任何一人，是什...

    Simon_Zhou 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<