国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專(zhuān)欄INFORMATION COLUMN

綜述論文:四大類(lèi)深度遷移學(xué)習(xí)

cuieney / 2481人閱讀

摘要:本篇綜述的重點(diǎn)是回顧當(dāng)前利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)的研究及其應(yīng)用。這篇綜述論文的貢獻(xiàn)如下定義了深度遷移學(xué)習(xí),并首次將其分為四類(lèi)。這就是一個(gè)深度遷移學(xué)習(xí)任務(wù),其中是一個(gè)表示深度神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)。

論文:A Survey on Deep Transfer Learning

論文地址:https://arxiv.org/pdf/1808.01974v1.pdf

摘要:作為一種新的分類(lèi)方法,深度學(xué)習(xí)最近受到研究人員越來(lái)越多的關(guān)注,并已成功應(yīng)用到諸多領(lǐng)域。在某些類(lèi)似生物信息和機(jī)器人的領(lǐng)域,由于數(shù)據(jù)采集和標(biāo)注費(fèi)用高昂,構(gòu)建大規(guī)模的標(biāo)注良好的數(shù)據(jù)集非常困難,這限制了這些領(lǐng)域的發(fā)展。遷移學(xué)習(xí)放寬了訓(xùn)練數(shù)據(jù)必須與測(cè)試數(shù)據(jù)獨(dú)立同分布(i.i.d.)的假設(shè),這啟發(fā)我們使用遷移學(xué)習(xí)來(lái)解決訓(xùn)練數(shù)據(jù)不足的問(wèn)題。本篇綜述的重點(diǎn)是回顧當(dāng)前利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)的研究及其應(yīng)用。我們根據(jù)深度遷移學(xué)習(xí)中使用的技術(shù),給出了深度遷移學(xué)習(xí)的定義、類(lèi)別并回顧了最近的研究工作。

1 引言

深度學(xué)習(xí)最近受到研究員越來(lái)越多的關(guān)注,并已成功應(yīng)用于眾多實(shí)踐中。深度學(xué)習(xí)算法可以從海量數(shù)據(jù)中學(xué)習(xí)高級(jí)特征,這使得深度學(xué)習(xí)具備超越傳統(tǒng)機(jī)器學(xué)習(xí)的優(yōu)勢(shì)。

深度學(xué)習(xí)可以通過(guò)無(wú)監(jiān)督或半監(jiān)督特征學(xué)習(xí)算法和分層特征提取來(lái)自動(dòng)提取數(shù)據(jù)特征。相比之下,傳統(tǒng)的機(jī)器學(xué)習(xí)方法需要手動(dòng)設(shè)計(jì)特征,這會(huì)嚴(yán)重增加用戶的負(fù)擔(dān)。可以說(shuō)深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中一種基于大規(guī)模數(shù)據(jù)的表征學(xué)習(xí)算法。

數(shù)據(jù)依賴(lài)是深度學(xué)習(xí)中最嚴(yán)峻的問(wèn)題之一。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比,深度學(xué)習(xí)極其依賴(lài)大規(guī)模訓(xùn)練數(shù)據(jù),因?yàn)樗枰罅繑?shù)據(jù)去理解潛在的數(shù)據(jù)模式。我們可以發(fā)現(xiàn)一個(gè)有趣的現(xiàn)象,模型的規(guī)模和所需數(shù)據(jù)量的大小幾乎呈線性關(guān)系。

一個(gè)合理的解釋是,對(duì)于特定問(wèn)題,模型的表達(dá)空間必須大到足以發(fā)現(xiàn)數(shù)據(jù)的模式。模型中的較底層可以識(shí)別訓(xùn)練數(shù)據(jù)的高級(jí)特征,之后的較高層可以識(shí)別幫助做出最終決策所需的信息。

在一些特殊領(lǐng)域,訓(xùn)練數(shù)據(jù)不足不可避免。數(shù)據(jù)收集復(fù)雜且昂貴,因此構(gòu)建大規(guī)模、高質(zhì)量的帶標(biāo)注數(shù)據(jù)集非常困難。

例如,生物信息數(shù)據(jù)集中的每個(gè)樣本通常都代表一次臨床試驗(yàn)或一名痛苦的患者。另外,即使我們以昂貴的價(jià)格獲得訓(xùn)練數(shù)據(jù)集,也很容易過(guò)時(shí),因此無(wú)法有效地應(yīng)用于新任務(wù)中。

遷移學(xué)習(xí)放寬了訓(xùn)練數(shù)據(jù)必須與測(cè)試數(shù)據(jù)獨(dú)立同分布(i.i.d.)這樣的假設(shè),這啟發(fā)我們使用遷移學(xué)習(xí)來(lái)解決訓(xùn)練數(shù)據(jù)不足的問(wèn)題。

在遷移學(xué)習(xí)中,訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)不需要是 i.i.d.,目標(biāo)域中的模型也不需要從頭開(kāi)始訓(xùn)練,這可以顯著降低目標(biāo)域?qū)τ?xùn)練數(shù)據(jù)和訓(xùn)練時(shí)間的需求。

過(guò)去,大多數(shù)遷移學(xué)習(xí)研究都是在傳統(tǒng)的機(jī)器學(xué)習(xí)方法中進(jìn)行的。由于深度學(xué)習(xí)在現(xiàn)代機(jī)器學(xué)習(xí)方法中的優(yōu)勢(shì)地位,深度遷移學(xué)習(xí)及其應(yīng)用的概述尤為重要。這篇綜述論文的貢獻(xiàn)如下:

定義了深度遷移學(xué)習(xí),并首次將其分為四類(lèi)。我們回顧了目前關(guān)于每種深度遷移學(xué)習(xí)的研究工作,并給出了每個(gè)類(lèi)別的標(biāo)準(zhǔn)化描述和示意圖。

2 深度遷移學(xué)習(xí)

遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)中解決訓(xùn)練數(shù)據(jù)不足問(wèn)題的重要工具。它試圖通過(guò)放寬訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)必須為 i.i.d 的假設(shè),將知識(shí)從源域遷移到目標(biāo)域。

這對(duì)由于訓(xùn)練數(shù)據(jù)不足而難以改善性能的許多研究領(lǐng)域產(chǎn)生巨大的積極影響。遷移學(xué)習(xí)的學(xué)習(xí)過(guò)程如圖 1 所示。

這篇綜述中使用的某些符號(hào)需要明確定義。首先,我們分別給出了域和任務(wù)的定義:域可以 用 D = {χ, P(X)} 表示,其包含兩部分:特征空間 χ 和邊緣概率分布 P(X) 其中 X = {x1, ..., xn} ∈ χ。

任務(wù)可以用 T = {y, f(x)} 表示。它由兩部分組成:標(biāo)簽空間 y 和目標(biāo)預(yù)測(cè)函數(shù) f(x)。f(x) 也可看作條件概率函數(shù) P(y|x)。最后,遷移學(xué)習(xí) 可以定義如下:

定義 1:(遷移學(xué)習(xí))。給定一個(gè)基于數(shù)據(jù) Dt 的學(xué)習(xí)任務(wù) Tt,我們可以從 Ds 中獲取對(duì)任務(wù) Ts 有用的知識(shí)。遷移學(xué)習(xí)旨在通過(guò)發(fā)現(xiàn)并轉(zhuǎn)換 Ds 和 Ts 中的隱知識(shí)來(lái)提高任務(wù) Tt 的預(yù)測(cè)函數(shù) fT(.) 的表現(xiàn),其中 Ds ≠ Dt 且/或 Ts ≠ Tt。此外,大多數(shù)情況下,Ds 的規(guī)模遠(yuǎn)大于 Dt 的規(guī)模。

圖 1:遷移學(xué)習(xí)的學(xué)習(xí)過(guò)程。

綜述 [19] 和 [25] 將遷移學(xué)習(xí)就源域和目標(biāo)域之間的關(guān)系分為三個(gè)主要類(lèi)別,這已被廣泛接受。這些綜述是對(duì)過(guò)去遷移學(xué)習(xí)工作的總結(jié),它介紹了許多經(jīng)典的遷移學(xué)習(xí)方法。

此外,人們最近提出了許多更新和更好的方法。近年來(lái),遷移學(xué)習(xí)研究界主要關(guān)注以下兩個(gè)方面:域適應(yīng)和多源域遷移。

如今,深度學(xué)習(xí)近年來(lái)在許多研究領(lǐng)域取得了主導(dǎo)地位。重要的是要找到如何通過(guò)深度神經(jīng)網(wǎng)絡(luò)有效地傳遞知識(shí),深度神經(jīng)網(wǎng)絡(luò)其定義如下:

定義 2:(深度遷移學(xué)習(xí))。給定一個(gè)由 定義的遷移學(xué)習(xí)任務(wù)。這就是一個(gè)深度遷移學(xué)習(xí)任務(wù),其中 fT(.) 是一個(gè)表示深度神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)。

3 類(lèi)別

深度遷移學(xué)習(xí)研究如何通過(guò)深度神經(jīng)網(wǎng)絡(luò)利用其他領(lǐng)域的知識(shí)。由于深度神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域都很受歡迎,人們已經(jīng)提出了相當(dāng)多的深度遷移學(xué)習(xí)方法,對(duì)它們進(jìn)行分類(lèi)和總結(jié)非常重要。

基于深度遷移學(xué)習(xí)中使用的技術(shù),本文將深度遷移學(xué)習(xí)分為四類(lèi):基于實(shí)例的深度遷移學(xué)習(xí),基于映射的深度遷移學(xué)習(xí),基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)和基于對(duì)抗的深度遷移學(xué)習(xí),如表 1 所示。

表 1:深度遷移學(xué)習(xí)的分類(lèi)。

3.1 基于實(shí)例的深度遷移學(xué)習(xí)

基于實(shí)例的深度遷移學(xué)習(xí)是指使用特定的權(quán)重調(diào)整策略,通過(guò)為那些選中的實(shí)例分配適當(dāng)?shù)臋?quán)重,從源域中選擇部分實(shí)例作為目標(biāo)域訓(xùn)練集的補(bǔ)充。

它基于這個(gè)假設(shè):「盡管兩個(gè)域之間存在差異,但源域中的部分實(shí)例可以分配適當(dāng)權(quán)重供目標(biāo)域使用?!够趯?shí)例的深度遷移學(xué)習(xí)的示意圖如圖 2 所示:

圖 2:基于實(shí)例的深度遷移學(xué)習(xí)的示意圖。源域中的與目標(biāo)域不相似的淺藍(lán)色實(shí)例被排除在訓(xùn)練數(shù)據(jù)集之外;源域中與目標(biāo)域類(lèi)似的深藍(lán)色實(shí)例以適當(dāng)權(quán)重包括在訓(xùn)練數(shù)據(jù)集中。

[4] 中提出的 TrAdaBoost 使用基于 AdaBoost 的技術(shù)來(lái)過(guò)濾掉源域中的與目標(biāo)域不同的實(shí)例。在源域中對(duì)實(shí)例重新加權(quán)以構(gòu)成類(lèi)似于目標(biāo)域的分布。最后,通過(guò)使用來(lái)自源域的重新加權(quán)實(shí)例和來(lái)自目標(biāo)域的原始實(shí)例來(lái)訓(xùn)練模型。

它可以減少保持 AdaBoost 屬性的不同分布域上的加權(quán)訓(xùn)練誤差。[27] 提出的 TaskTrAdaBoost 是一種快速算法,可以促進(jìn)對(duì)新目標(biāo)域的快速再訓(xùn)練。與 TrAdaBoost 設(shè)計(jì)用于分類(lèi)問(wèn)題不同,[20] 提出了 ExpBoost.R2 和 TrAdaBoost.R2 來(lái)解決回歸問(wèn)題。

[24] 提出的雙權(quán)重域自適應(yīng)(BIW)可以將兩個(gè)域的特征空間對(duì)齊到公共坐標(biāo)系中,然后為源域的實(shí)例分配適當(dāng)?shù)臋?quán)重。[10] 提出增強(qiáng)的 TrAdaBoost 來(lái)處理區(qū)域砂巖顯微圖像分類(lèi)的問(wèn)題。

[26] 提出了一個(gè)量度遷移學(xué)習(xí)框架,用于在并行框架中學(xué)習(xí)實(shí)例權(quán)重和兩個(gè)不同域的距離,以使跨域的知識(shí)遷移更有效。[11] 將集成遷移學(xué)習(xí)引入可以利用源域?qū)嵗纳疃壬窠?jīng)網(wǎng)絡(luò)。

3.2 基于映射的深度遷移學(xué)習(xí)

基于映射的深度遷移學(xué)習(xí)是指將源域和目標(biāo)域中的實(shí)例映射到新的數(shù)據(jù)空間。在這個(gè)新的數(shù)據(jù)空間中,來(lái)自兩個(gè)域的實(shí)例都相似且適用于聯(lián)合深度神經(jīng)網(wǎng)絡(luò)。

它基于假設(shè):「盡管兩個(gè)原始域之間存在差異,但它們?cè)诰脑O(shè)計(jì)的新數(shù)據(jù)空間中可能更為相似?!够谟成涞纳疃冗w移學(xué)習(xí)的示意圖如圖 3 所示:

圖 3:基于映射的深度遷移學(xué)習(xí)的示意圖。來(lái)自源域和目標(biāo)域的實(shí)例同時(shí)以更相似的方式映射到新數(shù)據(jù)空間。將新數(shù)據(jù)空間中的所有實(shí)例視為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集。

由 [18] 引入的遷移成分分析(TCA)和基于 TCA 的方法 [29] 已被廣泛用于傳統(tǒng)遷移學(xué)習(xí)的許多應(yīng)用中。一個(gè)自然的想法是將 TCA 方法擴(kuò)展到深度神經(jīng)網(wǎng)絡(luò)。

[23] 通過(guò)引入適應(yīng)層和額外的域混淆損失來(lái)擴(kuò)展 MMD 用以比較深度神經(jīng)網(wǎng)絡(luò)中的分布,以學(xué)習(xí)具有語(yǔ)義意義和域不變性的表示。該工作中使用的 MMD 距離定義為:

損失函數(shù)定義為:

[12] 通過(guò)用 [8] 中提出的多核變量 MMD(MK-MMD)距離代替 MMD 距離改進(jìn)了以前的工作。與卷積神經(jīng)網(wǎng)絡(luò)(CNN)中的學(xué)習(xí)任務(wù)相關(guān)的隱藏層被映射到再生核 Hilbert 空間(RKHS),并且通過(guò)多核優(yōu)化方法使不同域之間的距離最小化。

[14] 提出聯(lián)合較大均值差異(JMMD)來(lái)衡量聯(lián)合分布的關(guān)系。JMMD 用于泛化深度神經(jīng)網(wǎng)絡(luò)(DNN)的遷移學(xué)習(xí)能力,以適應(yīng)不同領(lǐng)域的數(shù)據(jù)分布,并改進(jìn)了以前的工作。由 [2] 提出的 Wasserstein 距離可以用作域的新距離度量,以便找到更好的映射。

3.3 基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)

基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)是指復(fù)用在源域中預(yù)先訓(xùn)練好的部分網(wǎng)絡(luò),包括其網(wǎng)絡(luò)結(jié)構(gòu)和連接參數(shù),將其遷移到目標(biāo)域中使用的深度神經(jīng)網(wǎng)絡(luò)的一部分。

它基于這個(gè)假設(shè):「神經(jīng)網(wǎng)絡(luò)類(lèi)似于人類(lèi)大腦的處理機(jī)制,它是一個(gè)迭代且連續(xù)的抽象過(guò)程。網(wǎng)絡(luò)的前面層可被視為特征提取器,提取的特征是通用的?!富诰W(wǎng)絡(luò)的深度遷移學(xué)習(xí)示意圖如圖 4 所示:

圖 4:基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)的示意圖。首先,在源域中使用大規(guī)模訓(xùn)練數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)。然后,基于源域預(yù)訓(xùn)練的部分網(wǎng)絡(luò)被遷移到為目標(biāo)域設(shè)計(jì)的新網(wǎng)絡(luò)的一部分。最后,它就成了在微調(diào)策略中更新的子網(wǎng)絡(luò)。

[9] 將網(wǎng)絡(luò)分為兩部分,前者是與語(yǔ)言無(wú)關(guān)的特征變換,最后一層是與語(yǔ)言相關(guān)的分類(lèi)器。語(yǔ)言獨(dú)立的特征變換可以在多種語(yǔ)言之間遷移。[17] 反復(fù)使用 CNN 在 ImageNet 數(shù)據(jù)集上訓(xùn)練的前幾層來(lái)提取其他數(shù)據(jù)集圖像的中間圖像表征,CNN 被訓(xùn)練去學(xué)習(xí)圖像表征,它可以有效地遷移到其他訓(xùn)練數(shù)據(jù)量受限的視覺(jué)識(shí)別任務(wù)。

[15] 提出了一種聯(lián)合學(xué)習(xí)源域中標(biāo)記數(shù)據(jù)和目標(biāo)域中未標(biāo)記數(shù)據(jù)的自適應(yīng)分類(lèi)器和可遷移特征的方法,它通過(guò)將多個(gè)層插入深層網(wǎng)絡(luò),指引目標(biāo)分類(lèi)器顯式學(xué)習(xí)殘差函數(shù)。[30] 在 DNN 中同時(shí)學(xué)習(xí)域自適應(yīng)和深度哈希特征。

[3] 提出了一種新穎的多尺度卷積稀疏編碼方法。該方法可以以一種聯(lián)合方式自動(dòng)學(xué)習(xí)不同尺度的濾波器組,強(qiáng)制規(guī)定學(xué)習(xí)模式的明確尺度,并提供無(wú)監(jiān)督的解決方案,用于學(xué)習(xí)可遷移的基礎(chǔ)知識(shí)并將其微調(diào)到目標(biāo)任務(wù)。

[6] 應(yīng)用深度遷移學(xué)習(xí)將知識(shí)從現(xiàn)實(shí)世界的物體識(shí)別任務(wù)遷移到 glitch 分類(lèi)器,用于多重力波信號(hào)的探測(cè)。它證明了 DNN 可以作為優(yōu)秀的無(wú)監(jiān)督聚類(lèi)方法特征提取器,根據(jù)實(shí)例的形態(tài)識(shí)別新類(lèi),而無(wú)需任何標(biāo)記示例。

另一個(gè)非常值得注意的結(jié)果是 [28] 指出了網(wǎng)絡(luò)結(jié)構(gòu)和可遷移性之間的關(guān)系。它證明了某些模塊可能不會(huì)影響域內(nèi)準(zhǔn)確性,但會(huì)影響可遷移性。它指出哪些特征在深層網(wǎng)絡(luò)中可以遷移,哪種類(lèi)型的網(wǎng)絡(luò)更適合遷移。得出的結(jié)論是,LeNet、AlexNet、VGG、Inception、ResNet 在基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)中是很好的選擇。

3.4 基于對(duì)抗的深度遷移學(xué)習(xí)

基于對(duì)抗的深度遷移學(xué)習(xí)是指引入受生成對(duì)抗網(wǎng)絡(luò)(GAN)[7] 啟發(fā)的對(duì)抗技術(shù),以找到適用于源域和目標(biāo)域的可遷移表征。它基于這個(gè)假設(shè):「為了有效遷移,良好的表征應(yīng)該為主要學(xué)習(xí)任務(wù)提供辨判別力,并且在源域和目標(biāo)域之間不可區(qū)分。」基于對(duì)抗的深度遷移學(xué)習(xí)的示意圖如圖 5 所示。

圖 5:基于對(duì)抗的深度遷移學(xué)習(xí)的示意圖。在源域大規(guī)模數(shù)據(jù)集的訓(xùn)練過(guò)程中,網(wǎng)絡(luò)的前面層被視為特征提取器。它從兩個(gè)域中提取特征并將它們輸入到對(duì)抗層。

對(duì)抗層試圖區(qū)分特征的來(lái)源。如果對(duì)抗網(wǎng)絡(luò)的表現(xiàn)很差,則意味著兩種類(lèi)型的特征之間存在細(xì)微差別,可遷移性更好,反之亦然。在以下訓(xùn)練過(guò)程中,將考慮對(duì)抗層的性能以迫使遷移網(wǎng)絡(luò)發(fā)現(xiàn)更多具有可遷移性的通用特征。

基于對(duì)抗的深度遷移學(xué)習(xí)由于其良好的效果和較強(qiáng)的實(shí)用性,近年來(lái)取得了快速發(fā)展。[1] 通過(guò)在損失函數(shù)中使用域自適應(yīng)正則化項(xiàng),引入對(duì)抗技術(shù)來(lái)遷移域適應(yīng)的知識(shí)。

[5] 提出了一種對(duì)抗訓(xùn)練方法,通過(guò)增加幾個(gè)標(biāo)準(zhǔn)層和一個(gè)簡(jiǎn)單的新梯度翻轉(zhuǎn)層,使其適用于大多數(shù)前饋神經(jīng)模型。[21] 為稀疏標(biāo)記的目標(biāo)域數(shù)據(jù)提出了一種方法遷移同時(shí)跨域和跨任務(wù)的知識(shí)。在這項(xiàng)工作中使用了一種特殊的聯(lián)合損失函數(shù)來(lái)迫使 CNN 優(yōu)化域之間的距離,其定義為 LD = Lc +λLadver,其中 Lc 是分類(lèi)損失,Ladver 是域?qū)箵p失。

因?yàn)閮蓚€(gè)損失彼此直接相反,所以引入迭代優(yōu)化算法,固定一個(gè)損失時(shí)更新另一個(gè)損失。[22] 提出了一種新的 GAN 損失,并將判別模型與新的域自適應(yīng)方法相結(jié)合。

[13] 提出一個(gè)隨機(jī)多線性對(duì)抗網(wǎng)絡(luò),其利用多個(gè)特征層和基于隨機(jī)多線性對(duì)抗的分類(lèi)器層來(lái)實(shí)現(xiàn)深度和判別對(duì)抗適應(yīng)網(wǎng)絡(luò)。[16] 利用域?qū)剐該p失,并使用基于度量學(xué)習(xí)的方法將嵌入泛化到新任務(wù),以在深度遷移學(xué)習(xí)中找到更易處理的特征。

4 結(jié)論

在本篇綜述論文中,我們對(duì)深度遷移學(xué)習(xí)的當(dāng)前研究進(jìn)行了回顧和分類(lèi)。并首次將深度遷移學(xué)習(xí)分為四類(lèi):基于實(shí)例的深度遷移學(xué)習(xí),基于映射的深度遷移學(xué)習(xí),基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)和基于對(duì)抗的深度遷移學(xué)習(xí)。在大多數(shù)實(shí)際應(yīng)用中,通?;旌鲜褂蒙鲜龆喾N技術(shù)以獲得更好的結(jié)果。

目前大多數(shù)研究都集中在監(jiān)督學(xué)習(xí)上,如何通過(guò)深度神經(jīng)網(wǎng)絡(luò)在無(wú)監(jiān)督或半監(jiān)督學(xué)習(xí)中遷移知識(shí),可能會(huì)在未來(lái)引發(fā)越來(lái)越多的關(guān)注。負(fù)遷移和可遷移性衡量標(biāo)準(zhǔn)是傳統(tǒng)遷移學(xué)習(xí)的重要問(wèn)題。這兩個(gè)問(wèn)題對(duì)深度遷移學(xué)習(xí)的影響也要求我們進(jìn)行進(jìn)一步的研究。

此外,為深層神經(jīng)網(wǎng)絡(luò)中的遷移知識(shí)找到更強(qiáng)大的物理支持是一個(gè)非常有吸引力的研究領(lǐng)域,但這需要物理學(xué)家、神經(jīng)學(xué)家和計(jì)算機(jī)科學(xué)家的合作??梢灶A(yù)見(jiàn),隨著深度神經(jīng)網(wǎng)絡(luò)的發(fā)展,深度遷移學(xué)習(xí)將被廣泛應(yīng)用于解決許多具有挑戰(zhàn)性的問(wèn)題。

聲明:文章收集于網(wǎng)絡(luò),如有侵權(quán),請(qǐng)聯(lián)系小編及時(shí)處理,謝謝!

歡迎加入本站公開(kāi)興趣群

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法,實(shí)際應(yīng)用案例分享與討論,分析工具,ETL工具,數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)挖掘工具,報(bào)表系統(tǒng)等全方位知識(shí)

QQ群:81035754

文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址:http://specialneedsforspecialkids.com/yun/4828.html

相關(guān)文章

  • 醫(yī)學(xué)圖像分析最新綜述:走向深度

    摘要:醫(yī)學(xué)圖像分析主要包含的模式識(shí)別任務(wù)是檢測(cè)定位分割配準(zhǔn)分類(lèi)。面臨挑戰(zhàn)作者簡(jiǎn)述了深度學(xué)習(xí)用于醫(yī)學(xué)圖像分析面臨的挑戰(zhàn),主要有缺少較精確的標(biāo)注數(shù)據(jù)。關(guān)注能對(duì)醫(yī)學(xué)圖像分析帶來(lái)啟發(fā)的其他計(jì)算機(jī)視覺(jué)機(jī)器學(xué)習(xí)領(lǐng)域的新工作。 今天arXiv新上一篇論文《Going Deep in Medical Image Analysis: Concepts, Methods, Challenges and Future ...

    MudOnTire 評(píng)論0 收藏0
  • 分享AI有道干貨 | 126 篇 AI 原創(chuàng)文章精選(ML、DL、資源、教程)

    摘要:值得一提的是每篇文章都是我用心整理的,編者一貫堅(jiān)持使用通俗形象的語(yǔ)言給我的讀者朋友們講解機(jī)器學(xué)習(xí)深度學(xué)習(xí)的各個(gè)知識(shí)點(diǎn)。今天,紅色石頭特此將以前所有的原創(chuàng)文章整理出來(lái),組成一個(gè)比較合理完整的機(jī)器學(xué)習(xí)深度學(xué)習(xí)的學(xué)習(xí)路線圖,希望能夠幫助到大家。 一年多來(lái),公眾號(hào)【AI有道】已經(jīng)發(fā)布了 140+ 的原創(chuàng)文章了。內(nèi)容涉及林軒田機(jī)器學(xué)習(xí)課程筆記、吳恩達(dá) deeplearning.ai 課程筆記、機(jī)...

    jimhs 評(píng)論0 收藏0
  • 輕量化神經(jīng)網(wǎng)絡(luò)

    摘要:是第一個(gè)提出體積小,計(jì)算量少,適用于移動(dòng)設(shè)備的卷積神經(jīng)網(wǎng)絡(luò)。圖卷積運(yùn)算匯總參考圖與神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索卷積神經(jīng)網(wǎng)絡(luò)已被廣泛用于圖像分類(lèi)人臉識(shí)別目標(biāo)檢測(cè)和其他領(lǐng)域。 1、基本卷積運(yùn)算手工設(shè)計(jì)輕量化模型主要思想在于設(shè)計(jì)更高效的網(wǎng)絡(luò)計(jì)算方式(主要針對(duì)卷積方式),從而使網(wǎng)絡(luò)參數(shù)減少,并且不損失網(wǎng)絡(luò)性能。本節(jié)概述了CNN模型(如MobileNet及其變體)中使用的基本卷積運(yùn)算單元,并基于空間維度和通道維度...

    curried 評(píng)論0 收藏0
  • 徒手實(shí)現(xiàn)CNN:綜述論文詳解卷積網(wǎng)絡(luò)的數(shù)學(xué)本質(zhì)

    摘要:本論文將嘗試概述卷積網(wǎng)絡(luò)的架構(gòu),并解釋包含激活函數(shù)損失函數(shù)前向傳播和反向傳播的數(shù)學(xué)推導(dǎo)。本文試圖只考慮帶有梯度下降優(yōu)化的典型卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的制定。 近日南洋理工大學(xué)研究者發(fā)布了一篇描述卷積網(wǎng)絡(luò)數(shù)學(xué)原理的論文,該論文從數(shù)學(xué)的角度闡述整個(gè)卷積網(wǎng)絡(luò)的運(yùn)算與傳播過(guò)程。該論文對(duì)理解卷積網(wǎng)絡(luò)的數(shù)學(xué)本質(zhì)非常有幫助,有助于讀者「徒手」(不使用卷積API)實(shí)現(xiàn)卷積網(wǎng)絡(luò)。論文地址:https://arxiv....

    eternalshallow 評(píng)論0 收藏0
  • 深度學(xué)習(xí)圖像超分辨率最新綜述:從模型到應(yīng)用

    摘要:這也是很多大廠都在研發(fā)的原因深度超分辨率層次結(jié)構(gòu)該文作者總結(jié)了一張非常棒的圖,可以盡覽深度學(xué)習(xí)超分辨率的方方面面作者介紹了深度學(xué)習(xí)圖像超分辨的監(jiān)督學(xué)習(xí)方法,從模型框架上采樣方法網(wǎng)絡(luò)設(shè)計(jì)方法網(wǎng)絡(luò)學(xué)習(xí)策略和可能的改進(jìn)策略進(jìn)行了細(xì)致總結(jié)。 今日arXiv新上論文《Deep Learning for Image Super-resolution:A Survey》,詳細(xì)回顧了近年來(lái)基于深度學(xué)習(xí)的圖像...

    iKcamp 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<