這里 ｂ 和 α ｉ形成第二計算層。核函數(shù) K（ x， xi ） 將輸入x匹配到訓(xùn)練樣本 xi， 并在全局范圍求和。式（1） 的結(jié)果可作為分類器的區(qū)分類標(biāo)簽， 或者回歸預(yù)測器的預(yù)測值。利有局部核函數(shù)的核方法能獲取泛化性能， 因其利用光滑性的先驗知識，即目標(biāo)函數(shù)可利用光滑函數(shù)逼近。在監(jiān)督學(xué)習(xí)中， 由訓(xùn)練樣本（xi,yi）組建預(yù)測器， 當(dāng)輸入 x與 xi靠近時， 輸出接近 yi。通常這是合理假設(shè)， 但文獻(xiàn)［ ９ ］ 中指出當(dāng)目標(biāo)函數(shù)非常復(fù)雜時， 這樣的模型泛化能力很差。其原因是利用局部估計學(xué)習(xí)算法表示函數(shù)時。一個局部估計子將輸入空間進(jìn)行切分， 并需要不同自由度參數(shù)來描述目標(biāo)函數(shù)在每一區(qū)域的形狀。當(dāng)函數(shù)較為復(fù)雜時， 需要利用參數(shù)進(jìn)行描述的區(qū)域數(shù)目也是巨大的。固定核函數(shù)的這種局限性已引起基于先驗知識設(shè)計核函數(shù)的研究，而如果缺乏足夠的先驗知識是否可通過學(xué)習(xí)獲取一個核函數(shù)？該問題同樣引起大量研究。Lanckriet?等人［ 16 ］提出利用半正定規(guī)劃技術(shù)學(xué)習(xí)數(shù)據(jù)的核矩陣， 然后利用該核矩陣獲取較好的泛化性能。然而當(dāng)學(xué)習(xí)到的核函數(shù)相互關(guān)聯(lián)時， 能否獲取更加簡潔的表示。深度學(xué)習(xí)即基于這種思想并通過多次網(wǎng)絡(luò)學(xué)習(xí)輸入樣本的分布式表示， 被認(rèn)為是較有前景的方法。

分布式表示［ 17 ］是在機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)研究中可以處理 維數(shù)災(zāi)難， 和局部泛化限制的一個古老的思想。如圖 １所示， 分布式表示由一系列有可能是統(tǒng)計獨立的顯著特征組成， 與局 部泛化的方法向?qū)Ρ龋?基于分布式表示的可區(qū)分模式的數(shù)目與 分布式表示的維數(shù)（ 學(xué)習(xí)到的特征） 是指數(shù)倍關(guān)系的。參數(shù)數(shù) 目上的減少對統(tǒng)計機器學(xué)習(xí)是非常有意義的， 因為不僅可以降 低運算量， 同時僅需相對較少的樣本即可避免過擬合現(xiàn)象的發(fā) 生。而聚類算法和最近鄰算法等局部表示算法將輸入空間切 分如圖 １左側(cè)所示， 不同局部之間是互斥的， 不能形成簡潔的 分布式表示。Ｉ Ｃ Ａ、 Ｐ Ｃ Ａ和 Ｒ Ｂ Ｍ等算法用較少的特征將輸入 空間切分如圖 １右側(cè)所示， 并構(gòu)建分布式表示， 參數(shù)數(shù)目和需 要的樣本數(shù)要比子區(qū)域的數(shù)目少得多， 這也是為什么會對未觀 測數(shù)據(jù)泛化的原因。Ｐ Ｃ Ａ和 Ｉ Ｃ Ａ可以獲取輸入的主要分量信 息， 但對于輸出信號數(shù)目小于輸入信號數(shù)目時， 不能很好地解 決欠定問題。文獻(xiàn)［ １ ８ ］ 中提出了利用自聯(lián)想神經(jīng)網(wǎng)絡(luò)來提取 數(shù)據(jù)的非線性主分量的方法， 該學(xué)習(xí)方法的目的是通過事物的 部分信息或者帶噪聲的信息來還原事物的本來信息。自聯(lián)想 神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點數(shù)目少于輸入節(jié)點數(shù)目時， 可認(rèn)為在自聯(lián) 想過程中， 這些隱層能夠保留數(shù)據(jù)集中的主要信息。多層神經(jīng) 網(wǎng)絡(luò)和Boltzmann機已被用于學(xué)習(xí)分布式表征。文獻(xiàn)［ 19］ 已 證明利用 DBN學(xué)習(xí)特征空間對高斯過程回歸的性能進(jìn)行提 高。深度學(xué)習(xí)算法可以看成核機器學(xué)習(xí)中一個優(yōu)越的特征表 示方法。文獻(xiàn)［ ２ ］ 指出單個決策樹的泛化性能隨目標(biāo)函數(shù)變 量增加而降低。多個樹的集成（ 森林） 比單個樹更加強大， 也 是因為增加了一個第三層， 并潛在地形成分布式表示， 可表達(dá) 與子樹數(shù)目指數(shù)倍個的分布。

4.深度學(xué)習(xí)成功的關(guān)鍵

深度學(xué)習(xí)具有多層非線性映射的深層結(jié)構(gòu)， 可以完成復(fù)雜的函數(shù)逼近是深度學(xué)習(xí)優(yōu)勢之一； 此外深度學(xué)習(xí)理論上可獲取

分布式表示， 即可通過逐層學(xué)習(xí)算法獲取輸入數(shù)據(jù)的主要驅(qū)動變量。該優(yōu)勢是通過深度學(xué)習(xí)的非監(jiān)督預(yù)訓(xùn)練算法完成。通過生成性訓(xùn)練可避免因網(wǎng)絡(luò)函數(shù)表達(dá)能力過強， 而出現(xiàn)過擬合情況。但由于單層有限的計算能力， 通過多層映射單元可提取出主要的結(jié)構(gòu)信息。文獻(xiàn)［14］ 深入分析并通過實驗驗證了貪婪層次非監(jiān)督深度學(xué)習(xí)方法優(yōu)勢所在。

典型的深度學(xué)習(xí)結(jié)構(gòu)

深度學(xué)習(xí)涉及相當(dāng)廣泛的機器學(xué)習(xí)技術(shù)和結(jié)構(gòu)， 根據(jù)這些結(jié)構(gòu)和技術(shù)應(yīng)用的方式。可以將其分成如下三類：

ａ ） 生成性深度結(jié)構(gòu)。該結(jié)構(gòu)描述數(shù)據(jù)的高階相關(guān)特性，或觀測數(shù)據(jù)和相應(yīng)類別的聯(lián)合概率分布。

ｂ ） 區(qū)分性深度結(jié)構(gòu)。目的是提供對模式分類的區(qū)分性能力。通常描述數(shù)據(jù)的后驗分布。

ｃ ） 混合型結(jié)構(gòu)。它的目標(biāo)是區(qū)分性的， 但通常利用了生成型結(jié)構(gòu)的輸出會更易優(yōu)化。

1.生成型深度結(jié)構(gòu)

文獻(xiàn)［ ２ １ ］ 首次提出的 Ｄ Ｂ Ｎ是目前研究和應(yīng)用都比較廣泛的深度學(xué)習(xí)結(jié)構(gòu)。與傳統(tǒng)區(qū)分型神經(jīng)網(wǎng)絡(luò)不同， 可獲取觀測數(shù)據(jù)和標(biāo)簽的聯(lián)合概率分布， 這方便了先驗概率和后驗概率的估計， 而區(qū)分型模型僅能對后驗概率進(jìn)行估計。Ｄ Ｂ Ｎ解決傳統(tǒng) Ｂ Ｐ算法訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的難題： ａ ） 需要大量含標(biāo)簽訓(xùn)練樣本集； ｂ ） 較慢的收斂速度； ｃ ） 因不合適的參數(shù)選擇陷入局部最優(yōu)。Ｄ Ｂ Ｎ由一系列受限波爾茲曼機（ Ｒ Ｂ Ｍ） 單元組成。Ｒ Ｂ Ｍ是一種典型神經(jīng)網(wǎng)絡(luò)， 如圖２所示。該網(wǎng)絡(luò)可視層和隱層單元彼此互連（ 層內(nèi)無連接） 。隱單元可獲取輸入可視單元的高階相關(guān)性。相比傳統(tǒng) ｓ ｉ ｇ ｍ ｏ ｉ ｄ信度網(wǎng)絡(luò)， Ｒ Ｂ Ｍ權(quán)值的學(xué)習(xí)相對容易。為獲取生成性權(quán)值， 預(yù)訓(xùn)練采用無監(jiān)督貪心逐層方式來實現(xiàn)。在訓(xùn)練過程中， 首先將可視向量值映射給隱單元； 然后可視單元由隱層單元重建； 這些新可視單元再次映射給隱單元，這樣就獲取新的隱單元。執(zhí)行這種反復(fù)步驟叫做吉布斯采樣。

其中： vi是滿足均值為， 方差為１的高斯分布的實數(shù)值。高斯—伯努利 Ｒ Ｂ Ｍｓ 可將實值隨機變量轉(zhuǎn)換到二進(jìn)制隨機變量， 然后再進(jìn)一步利用伯努利—伯努利 Ｒ Ｂ Ｍｓ 處理。利用對數(shù)似然概率 ｌ ｏ ｇ（ ｐ （ ｖ ； θ ） 梯度， 可推導(dǎo)出 Ｒ Ｂ Ｍ的權(quán)值更新準(zhǔn)則：

其中：??是在觀測數(shù)據(jù)訓(xùn)練集中的期望；?是模型中定義的期望。精心訓(xùn)練 Ｒ Ｂ Ｍ對成功應(yīng)用深度學(xué)習(xí)是一個關(guān)鍵。文獻(xiàn)［ ２ ０ ］ 提供了對 Ｒ Ｂ Ｍ實際訓(xùn)練的指導(dǎo)。通過自底向上組合多個 Ｒ Ｂ Ｍ可以構(gòu)建一個 Ｄ Ｂ Ｎ ， 如圖 ３所示。應(yīng)用高斯—伯努利 Ｒ Ｂ Ｍ或伯努利—伯努利 Ｒ Ｂ Ｍ。可用隱單元的輸出作為訓(xùn)練上層伯努利—伯努利 Ｒ Ｂ Ｍ的輸入。第二層伯努利和伯努利的輸出作為第三層的輸入等。這個逐層高效的學(xué)習(xí)策略理論證明可參見文獻(xiàn)［ ２ １ ］ 。它指出上述逐層學(xué)習(xí)程序提高了訓(xùn)練數(shù)據(jù)基于混合模型的似然概率的變化下界。

2.區(qū)分性深度結(jié)構(gòu) 卷積神經(jīng)網(wǎng)絡(luò)（ Ｃ Ｎ Ｎ ｓ ） 是第一個真正成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法。與 Ｄ Ｂ Ｎ ｓ 不同， 它屬于區(qū)分性訓(xùn)練算法。受視覺系統(tǒng)結(jié)構(gòu)的啟示， 當(dāng)具有相同參數(shù)的神經(jīng)元應(yīng)用于前一層的不同位置時， 一種變換不變性特征就可獲取了。后來 Ｌ ｅ Ｃ ｕ ｎ等人沿著這種思路， 利用 Ｂ Ｐ算法設(shè)計并訓(xùn)練了 Ｃ Ｎ Ｎ ｓ 。Ｃ Ｎ Ｎ ｓ作為深度學(xué)習(xí)框架是基于最小化預(yù)處理數(shù)據(jù)要求而產(chǎn)生的。受早期的時間延遲神經(jīng)網(wǎng)絡(luò)影響， Ｃ Ｎ Ｎ ｓ 靠共享時域權(quán)值降低復(fù)雜度。Ｃ Ｎ Ｎ ｓ 是一個利用空間關(guān)系減少參數(shù)數(shù)目以提高一般前向 Ｂ Ｐ訓(xùn)練的一種拓?fù)浣Y(jié)構(gòu)， 并在多個實驗中獲取了較好性能［ ５ ，２ ２ ］。在 Ｃ Ｎ Ｎ ｓ 中被稱做局部感受區(qū)域的圖像的一小部分作為分層結(jié)構(gòu)的最底層輸入。信息通過不同的網(wǎng)絡(luò)層次進(jìn)行傳遞， 因此在每一層能夠獲取對平移、 縮放和旋轉(zhuǎn)不變的觀測數(shù)據(jù)的顯著特征。

文獻(xiàn)［ ５ ，２ ２ ］ 描述 Ｃ Ｎ Ｎ ｓ 在 ＭＮ Ｉ Ｓ Ｔ數(shù)據(jù)庫中的手寫體識別應(yīng)用情況。如圖４所示， 本質(zhì)上， 輸入圖形與一系列已訓(xùn)練的濾波器系數(shù)進(jìn)行卷積操作。后經(jīng)加性偏置和壓縮、 特征歸一化等。最初階段伴隨進(jìn)一步降維的下采樣（ Ｃ ｘ ） 提供對空域變化的魯棒性。下采樣特征映射經(jīng)加權(quán)后的可調(diào)偏置， 最終利用激活函數(shù)進(jìn)行傳遞。組合多個上述映射層如圖 ５所示可獲取層間關(guān)系和空域信息。這樣 Ｃ Ｎ Ｎ ｓ 適于圖像處理和理解。國內(nèi)學(xué)者夏丁胤［ ２ ３ ］將這種網(wǎng)絡(luò)應(yīng)用于網(wǎng)絡(luò)圖像標(biāo)注中。最近Ｃ Ｎ Ｎ ｓ 已應(yīng)用于包括人臉檢測、 文件分析和語音檢測中等不同機器學(xué)習(xí)的問題中。

文獻(xiàn)［ ７ ］ 近期提出一新的深度學(xué)習(xí)算法。Ｄ Ｃ Ｎ如圖 ６所示， 每層子模塊是含單隱層和兩個可訓(xùn)練的加權(quán)層神經(jīng)網(wǎng)絡(luò)。Ｄ Ｃ Ｎ是由一系列分層子模塊串聯(lián)組成。模塊第一個線性輸入層對應(yīng)輸入特征維數(shù)， 隱層是一系列非線性參數(shù)可調(diào)單元， 第二線性輸出包含線性輸出單元及原始輸入數(shù)據(jù)。最頂模塊的輸出代表分類目標(biāo)單元。例如， 如果 Ｄ Ｃ Ｎ設(shè)定用于實現(xiàn)數(shù)字

識別， 輸出可表示成 １～１ ０的 ０  １編碼。如用于語音識別， 輸入對應(yīng)語音波形采樣或波形提取特征， 如功率譜或倒譜系數(shù)，輸出單元代表不同音素。

3.混合型結(jié)構(gòu)

混合型結(jié)構(gòu)的學(xué)習(xí)過程包含兩個部分， 即生成性部分和區(qū)分性部分。現(xiàn)有典型的生成性單元通常最終用于區(qū)分性任務(wù)。生成性模型應(yīng)用于分類任務(wù)時， 預(yù)訓(xùn)練可結(jié)合其他典型區(qū)分性學(xué)習(xí)算法對所有權(quán)值進(jìn)行優(yōu)化。這個區(qū)分性尋優(yōu)過程通常是附加一個頂層變量來表示訓(xùn)練集提供的期望輸出或標(biāo)簽。然后 Ｂ Ｐ算法可用于優(yōu)化 Ｄ Ｂ Ｎ權(quán)值。它的初始權(quán)值通過在 Ｒ Ｂ Ｍ和 Ｄ Ｂ Ｎ預(yù)訓(xùn)練中得到而非隨機產(chǎn)生。這樣的網(wǎng)絡(luò)通常會比僅通過 Ｂ Ｐ算法多帶帶訓(xùn)練的網(wǎng)絡(luò)性能優(yōu)越。可以認(rèn)為 Ｂ Ｐ對Ｄ Ｂ Ｎｓ 訓(xùn)練僅完成局部參數(shù)空間搜索， 與前饋型神經(jīng)網(wǎng)絡(luò)相比加速了訓(xùn)練和收斂時間。最近基于 Ｄ Ｂ Ｎ ｓ 的研究包括應(yīng)用層疊自動編碼器取代傳統(tǒng) Ｄ Ｂ Ｎ ｓ 中的 Ｒ Ｂ Ｍｓ 。該方法可采用和 Ｄ Ｂ Ｎ ｓ相同的訓(xùn)練準(zhǔn)則， 不同的是自動編碼器利用區(qū)分性模型。去噪自動編碼器在訓(xùn)練中引入隨機變化過程可以產(chǎn)生可以與傳統(tǒng)的 Ｄ Ｂ Ｎ ｓ相比擬的泛化性能。對單個去噪自動編碼器的訓(xùn)練與 Ｒ Ｂ Ｍｓ 生成模型一致的。

深度學(xué)習(xí)應(yīng)用現(xiàn)狀

深度學(xué)習(xí)在信號處理中的應(yīng)用對象不僅包含語音、 圖像和視頻， 同樣也包含文本、 語言、 和傳遞人類可獲知的語義信息。傳統(tǒng)的 ＭＬ Ｐ已經(jīng)在語音識別領(lǐng)域應(yīng)用多年， 在多帶帶使用的情況下它們的性能遠(yuǎn)低于利用 Ｇ ＭＭ Ｈ ＭＭ的系統(tǒng)。最近， 憑借具有很強區(qū)分性能力的 Ｄ Ｂ Ｎ ｓ 和序列建模能力的 Ｈ ＭＭｓ ， 深度學(xué)習(xí)技術(shù)成功應(yīng)用于語音， 大詞匯量連續(xù)語音識別（ Ｌ Ｖ Ｃ Ｓ Ｒ ） ［ ２ ４ ］任務(wù)。文獻(xiàn)［ ２ ５ ］ 利用五層 Ｄ Ｂ Ｎ來替換 Ｇ ＭＭ Ｈ ＭＭ中的高斯混合模型， 并利用單音素狀態(tài)作為建模單元進(jìn)行語音識別。文獻(xiàn)［ ２ ６ ］ 中， Ｎ ａ ｉ ｒ 等人提出在頂層利用三階波爾茲曼機的改進(jìn)型 Ｄ Ｂ Ｎ ， 并將該 Ｄ Ｂ Ｎ應(yīng)用于三維物體識別任務(wù) Ｎ Ｏ Ｒ Ｂ數(shù)據(jù)庫， 給出了接近于歷史較好識別誤差結(jié)果， 特別地， 它指出

Ｄ Ｂ Ｎ實質(zhì)上優(yōu)于 Ｓ Ｖ Ｍｓ 等淺層模型。文獻(xiàn)［ ２ ７ ］ 提出了 ｔ Ｒ Ｂ Ｍ，并利用自動編碼器對舌輪廓進(jìn)行實時提取。與一般訓(xùn)練不同的是， 它首先采用利用樣本數(shù)據(jù)和人工提取的輪廓數(shù)據(jù)都同時作為訓(xùn)練樣本輸入， 經(jīng)正常的自動編碼器輸出； 訓(xùn)練完畢后， 利用提出的 ｔ Ｒ Ｂ Ｍ對頂層進(jìn)行改進(jìn)， 以使僅有感知圖像作為輸入對舌輪廓進(jìn)行預(yù)測。此外深度學(xué)習(xí)在語言文件處理的研究日益受到普遍關(guān)注。利用神經(jīng)網(wǎng)絡(luò)對語言建模已有很長的歷史，在語音識別， 機器翻譯， 文本信息檢索和自然語言處理方面具有重要應(yīng)用。最近， 深層網(wǎng)絡(luò)已經(jīng)開始吸引語言處理和信息檢索方面的研究人員的注意。文獻(xiàn)［ ２ ８ ］ 利用基于Ｄ Ｂ Ｎ的多任務(wù)學(xué)習(xí)技術(shù)來解決機器字譯問題， 這可以推廣到更困難的機器翻譯問題。利用 Ｄ Ｂ Ｎ和深度自動編碼器對文件檢索可以顯示基于單詞特征， 與廣泛應(yīng)用的語義分析相比具有明顯優(yōu)勢， 可令文獻(xiàn)檢索更容易， 這一思想已被初步擴(kuò)展到音頻文件檢索和語音識別類問題［ ２ ９ ］。

4.總結(jié)展望

深度學(xué)習(xí)已成功應(yīng)用于多種模式分類問題。這一領(lǐng)域雖處于發(fā)展初期， 但它的發(fā)展無疑會對機器學(xué)習(xí)和人工智能系統(tǒng)產(chǎn)生影響。同時仍存在某些不適合處理的特定任務(wù)， 譬如語言辨識， 生成性預(yù)訓(xùn)練提取的特征僅能描述潛在的語音變化， 不會包含足夠的不同語言間的區(qū)分性信息。虹膜識別等每類樣本僅含單個樣本的模式分類問題也是不能很好完成的任務(wù)。深度學(xué)習(xí)目前仍有大量工作需要研究。模型方面是否有其他更為有效且有理論依據(jù)的深度模型學(xué)習(xí)算法。探索新的特征提取模型是值得深入研究的內(nèi)容。此外有效的可并行訓(xùn)練算法也是值得研究的一個方向。當(dāng)前基于最小批處理的隨機梯度優(yōu)化算法很難在多計算機中進(jìn)行并行訓(xùn)練。通常辦法是利用圖形處理單元加速學(xué)習(xí)過程。然而單個機器 Ｇ Ｐ Ｕ對大規(guī)模數(shù)據(jù)識別或相似任務(wù)數(shù)據(jù)集并不適用。在深度學(xué)習(xí)應(yīng)用拓展方面， 如何合理充分利用深度學(xué)習(xí)在增強傳統(tǒng)學(xué)習(xí)算法的性能仍是目前各領(lǐng)域的研究重點。

參考文獻(xiàn)略