摘要:反向傳播算法算法是目前用來訓練人工神經網絡的最常用且最有效的算法。作為谷歌機器學習速成課程的配套材料,谷歌推出一個演示網站,直觀地介紹了反向傳播算法的工作原理。網站地址反向傳播算法對于快速訓練大型神經網絡來說至關重要。
反向傳播算法(BP算法)是目前用來訓練人工神經網絡的最常用且最有效的算法。作為谷歌機器學習速成課程的配套材料,谷歌推出一個演示網站,直觀地介紹了反向傳播算法的工作原理。網站地址:
https://google-developers.appspot.com/machine-learning/crash-course/backprop-scroll/
反向傳播算法對于快速訓練大型神經網絡來說至關重要。本文將介紹該算法的工作原理。
簡單的神經網絡
如上圖,你會看到一個神經網絡,其中包含一個輸入節點、一個輸出節點,以及兩個隱藏層(分別有兩個節點)。?
激活函數
每個節點都有一個總輸入 x、一個激活函數 f(x) 以及一個輸出 y=f(x)。?
f(x)必須是非線性函數,否則神經網絡就只能學習線性模型。?
常用的激活函數是 S 型函數:
誤差函數
正向傳播
現在,我們更新第一個隱藏層。我們取上一層節點的輸出 y,并使用權重來計算下一層節點的輸入 x。
然后,我們更新第一個隱藏層中節點的輸出。 為此,我們使用激活函數 f(x)。
使用這兩個公式,我們可以傳播到網絡的其余內容,并獲得網絡的最終輸出。
誤差導數
其他導數
反向傳播
一旦得出相對于某節點的總輸入的誤差導數,我們便可以得出相對于進入該節點的權重的誤差導數。
接下來,只需重復前面的 3 個公式,直到計算出所有誤差導數即可。
結束。
聲明:文章收集于網絡,如有侵權,請聯系小編及時處理,謝謝!
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法,實際應用案例分享與討論,分析工具,ETL工具,數據倉庫,數據挖掘工具,報表系統等全方位知識
QQ群:81035754
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/4795.html
摘要:在最近的一次人工智能會議上,表示自己對于反向傳播非常懷疑,并提出應該拋棄它并重新開始。在人工智能多年的發展過程中,反向傳播已經成為了深度學習不可或缺的一部分。最后,我們會將這些規則組合成可用于任意神經網絡的反向傳播算法。 現在的深度學習發展似乎已經陷入了大型化、深度化的怪圈,我們設計的模型容易被對抗樣本欺騙,同時又需要大量的訓練數據——在無監督學習上我們取得的突破還很少。作為反向傳播這一深度...
閱讀 818·2021-11-22 15:25
閱讀 1415·2021-09-08 09:45
閱讀 1695·2021-09-02 09:46
閱讀 1303·2019-08-30 15:56
閱讀 1537·2019-08-29 15:14
閱讀 1164·2019-08-29 13:06
閱讀 2017·2019-08-29 12:34
閱讀 1405·2019-08-26 12:14