摘要:考慮這樣一個計算集合,它可以被允許在每一個節(jié)點和可能的圖結(jié)構(gòu)中,并定義了一個函數(shù)族。傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)能夠被看做擁有等于層數(shù)的深度比如對于輸出層為隱層數(shù)加。理論結(jié)果證實那些事實上所需要的節(jié)點數(shù)隨著輸入的大小指數(shù)增長的函數(shù)族是存在的。
查看論文
Yoshua Bengio, Learning Deep Architectures for AI, Foundations and Trends in Machine Learning, 2(1), 2009
?
深度(Depth)從 一個輸入中產(chǎn)生一個輸出所涉及的計算可以通過一個流向圖(flow graph)來表示:流向圖是一種能夠表示計算的圖,在這種圖中每一個節(jié)點表示一個基本的計算并且一個計算的值(計算的結(jié)果被應(yīng)用到這個節(jié)點的孩子節(jié)點的 值)。考慮這樣一個計算集合,它可以被允許在每一個節(jié)點和可能的圖結(jié)構(gòu)中,并定義了一個函數(shù)族。輸入節(jié)點沒有孩子,輸出節(jié)點沒有父親。
?
對于表達 的流向圖,可以通過一個有兩個輸入節(jié)點 和 的圖表示,其中一個節(jié)點通過使用和 作為輸入(例如作為孩子)來表示 ;一個節(jié)點僅使用 作為輸入來表示平方;一個節(jié)點使用 和 作為輸入來表示加法項(其值為 );最后一個輸出節(jié)點利用一個多帶帶的來自于加法節(jié)點的輸入計算SIN。
?
這種流向圖的一個特別屬性是深度(depth):從一個輸入到一個輸出的最長路徑的長度。
?
傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)能夠被看做擁有等于層數(shù)的深度(比如對于輸出層為隱層數(shù)加1)。SVMs有深度2(一個對應(yīng)于核輸出或者特征空間,另一個對應(yīng)于所產(chǎn)生輸出的線性混合)。
?
深度架構(gòu)的動機學(xué)習(xí)基于深度架構(gòu)的學(xué)習(xí)算法的主要動機是:
不充分的深度是有害的;
大腦有一個深度架構(gòu);
認知過程是深度的;
?
不充分的深度是有害的在 許多情形中深度2就足夠(比如logical gates, formal [threshold] neurons, sigmoid-neurons, Radial Basis Function [RBF] units like in SVMs)表示任何一個帶有給定目標(biāo)精度的函數(shù)。但是其代價是:圖中所需要的節(jié)點數(shù)(比如計算和參數(shù)數(shù)量)可能變的非常大。理論結(jié)果證實那些事實上所需要 的節(jié)點數(shù)隨著輸入的大小指數(shù)增長的函數(shù)族是存在的。這一點已經(jīng)在logical gates, formal [threshold] neurons 和rbf單元中得到證實。在后者中Hastad說明了但深度是d時,函數(shù)族可以被有效地(緊地)使用O(n)個節(jié)點(對于n個輸入)來表示,但是如果深度 被限制為d-1,則需要指數(shù)數(shù)量的節(jié)點數(shù)O(2^n)。
?
我們可以將深度架構(gòu)看做一種因子分解。大部分隨機選擇的函數(shù)不能被有效地表示,無論是用深地或者淺的架構(gòu)。但是許多能夠有效地被深度架構(gòu)表示的卻不能被用淺的架構(gòu)高效表示(see the polynomials example in the Bengio survey paper)。一個緊的和深度的表示的存在意味著在潛在的可被表示的函數(shù)中存在某種結(jié)構(gòu)。如果不存在任何結(jié)構(gòu),那將不可能很好地泛化。
?
大腦有一個深度架構(gòu)例 如,視覺皮質(zhì)得到了很好的研究,并顯示出一系列的區(qū)域,在每一個這種區(qū)域中包含一個輸入的表示和從一個到另一個的信號流(這里忽略了在一些層次并行路徑上 的關(guān)聯(lián),因此更復(fù)雜)。這個特征層次的每一層表示在一個不同的抽象層上的輸入,并在層次的更上層有著更多的抽象特征,他們根據(jù)低層特征定義。
?
需要注意的是大腦中的表示是在中間緊密分布并且純局部:他們是稀疏的:1%的神經(jīng)元是同時活動的。給定大量的神經(jīng)元,任然有一個非常高效地(指數(shù)級高效)表示。
?
認知過程看起來是深度的學(xué)習(xí)/發(fā)現(xiàn)這些概念(知識工程由于沒有反省而失敗?)是很美好的。對語言可表達的概念的反省也建議我們一個稀疏的表示:僅所有可能單詞/概念中的一個小的部分是可被應(yīng)用到一個特別的輸入(一個視覺場景)。
?
學(xué)習(xí)深度架構(gòu)的突破?
2006年前,嘗試訓(xùn)練深度架構(gòu)都失敗了:訓(xùn)練一個深度有監(jiān)督前饋神經(jīng)網(wǎng)絡(luò)趨向于產(chǎn)生壞的結(jié)果(同時在訓(xùn)練和測試誤差中),然后將其變淺為1(1或者2個隱層)。
?
2006年的3篇論文改變了這種狀況,由Hinton的革命性的在深度信念網(wǎng)(Deep Belief Networks, DBNs)上的工作所引領(lǐng):
在這三篇論文中以下主要原理被發(fā)現(xiàn):
DBNs 在每一層中利用用于表示的無監(jiān)督學(xué)習(xí)RBMs。Bengio et al paper 探討和對比了RBMs和auto-encoders(通過一個表示的瓶頸內(nèi)在層預(yù)測輸入的神經(jīng)網(wǎng)絡(luò))。Ranzato et al paper在一個convolutional架構(gòu)的上下文中使用稀疏auto-encoders(類似于稀疏編碼)。Auto-encoders和 convolutional架構(gòu)將在以后的課程中講解。
?
從2006年以來,大量的關(guān)于深度學(xué)習(xí)的論文被發(fā)表,一些探討了其他原理來引導(dǎo)中間表示的訓(xùn)練,查看Learning Deep Architectures for AI
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/4289.html
摘要:在這堂課中,學(xué)生將可以學(xué)習(xí)到深度學(xué)習(xí)的基礎(chǔ),學(xué)會構(gòu)建神經(jīng)網(wǎng)絡(luò),包括和等。課程中也會有很多實操項目,幫助學(xué)生更好地應(yīng)用自己學(xué)到的深度學(xué)習(xí)技術(shù),解決真實世界問題。 深度學(xué)習(xí)入門首推課程就是吳恩達的深度學(xué)習(xí)專項課程系列的 5 門課。該專項課程最大的特色就是內(nèi)容全面、通俗易懂并配備了豐富的實戰(zhàn)項目。今天,給大家推薦一份關(guān)于該專項課程的核心筆記!這份筆記只能用兩個字形容:全面! showImg(...
摘要:深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征,以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)的概念由等人于年提出。但是自年以來,機器學(xué)習(xí)領(lǐng)域,取得了突破性的進展。 深度學(xué)習(xí)是機器學(xué)習(xí)研究中的一個新的領(lǐng)域,其動機在于建立、模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),它模仿人腦的機制來解釋數(shù)據(jù),例如圖像,聲音和文本。深度學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種。 深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知...
閱讀 1164·2021-09-10 10:51
閱讀 896·2019-08-30 15:53
閱讀 2724·2019-08-30 12:50
閱讀 976·2019-08-30 11:07
閱讀 1990·2019-08-30 10:50
閱讀 3598·2019-08-29 18:47
閱讀 1308·2019-08-29 18:44
閱讀 1599·2019-08-29 17:01