摘要:為什么呢本文將對(duì)這一問(wèn)題進(jìn)行解疑并介紹多種多種激活函數(shù)。激活函數(shù)就是用來(lái)引入這個(gè)非線性因素的,下面介紹幾種常見(jiàn)的激活函數(shù)及其優(yōu)缺點(diǎn)正負(fù)號(hào)表示。如果想了解更多可上網(wǎng)搜激活函數(shù)選擇在同一個(gè)模型中,激活函數(shù)不會(huì)混搭使用,選定一個(gè)就用一個(gè)。
【DL-CV】反向傳播,(隨機(jī))梯度下降<前篇---后篇>【DL-CV】神經(jīng)網(wǎng)絡(luò)的補(bǔ)充
在介紹線性分類器的時(shí)候,提到了激活函數(shù),還提到線性分類器的輸出要經(jīng)過(guò)激活函數(shù)才能作為下一層網(wǎng)絡(luò)的輸入。為什么呢?本文將對(duì)這一問(wèn)題進(jìn)行解疑并介紹多種多種激活函數(shù)。
引入激活函數(shù)假如神經(jīng)網(wǎng)絡(luò)只由多個(gè)線性分類組器合而成,那無(wú)論怎樣組合,他們對(duì)數(shù)據(jù)的操作永遠(yuǎn)都是線性變換而已,復(fù)雜度有限,只能實(shí)現(xiàn)線性分類而不能實(shí)現(xiàn)非線性分類,但現(xiàn)實(shí)中的數(shù)據(jù)往往不是線性可分的。為了解決這個(gè)問(wèn)題,就要給神經(jīng)網(wǎng)絡(luò)引入非線性因素,提高神經(jīng)網(wǎng)絡(luò)模型的表達(dá)能力(學(xué)習(xí)更復(fù)雜的映射)。激活函數(shù)就是用來(lái)引入這個(gè)非線性因素的,下面介紹幾種常見(jiàn)的激活函數(shù)及其優(yōu)缺點(diǎn)(正負(fù)號(hào)表示)。
Sigmoid其數(shù)學(xué)公式及其圖像如下
它把輸入壓縮到(0,1)區(qū)間內(nèi),有兩端飽和的特性,對(duì)于很大的正數(shù)它輸出趨近與1,對(duì)于絕對(duì)值很小的負(fù)數(shù)它輸出趨近于0。
這個(gè)函數(shù)曾經(jīng)非常流行,但是由于其缺點(diǎn)(主要是兩邊飽和)飽受詬病,現(xiàn)在沒(méi)什么人用了
(-)梯度消失:當(dāng)輸入過(guò)大或過(guò)小時(shí),由圖可知局部梯度幾乎為0,經(jīng)過(guò)鏈?zhǔn)椒▌t后梯度也幾乎為0,你會(huì)失去梯度流的反饋,使權(quán)重幾乎不更新
(-)非零中心:sigmoid的輸出均大于零(不是零均值),即給下一層神經(jīng)元的x都大于零,$sigma(W*x+b)$,假如這里的x全是正數(shù),那么經(jīng)過(guò)反向傳播${?Lover ?W}會(huì)全正或全負(fù)$,于是所有權(quán)重值都會(huì)往一個(gè)方向更新,這樣訓(xùn)練效率非常低。
tanh其數(shù)學(xué)公式及其圖像如下(雙曲正切)
形狀和sigmoid很像,也是兩端飽和,不同的是它把輸入壓縮到(-1,1)區(qū)間內(nèi)。
(+)以零為中心
(-)梯度消失
比sigmoid好了一點(diǎn),沒(méi)有非零中心的問(wèn)題
ReLU其數(shù)學(xué)公式及其圖像如下
就是個(gè)取最大值得函數(shù),當(dāng)輸入為負(fù)數(shù),輸出為0;當(dāng)輸入為正數(shù),輸出還是這個(gè)數(shù)
(+)在正區(qū)間不會(huì)飽和(一個(gè)優(yōu)勢(shì)):在正區(qū)間梯度可傳遞
(+)計(jì)算成本低
(+)使用ReLU之后,權(quán)重收斂速度比sigmoid/tanh快(約6倍)
(-)非零中心
(-)在負(fù)區(qū)間梯度消失:某些權(quán)重永遠(yuǎn)不會(huì)更新,我們稱這種情況叫“dead ReLU”。導(dǎo)致這種情況頻發(fā)的原因主要有權(quán)重初始化不好或?qū)W習(xí)率太高
雖然有“dead ReLU”的情況發(fā)生,但這并不阻礙它成為優(yōu)秀的激活函數(shù),實(shí)際應(yīng)用中其表現(xiàn)不錯(cuò),是非常常用的激活函數(shù)
Leaky ReLU(LReLU)其數(shù)學(xué)公式及其圖像如下
ReLU的變種,負(fù)區(qū)間不再是0,而是給它一個(gè)很小的斜率(上圖是0.01,也可以是其他常數(shù))
(+)ReLU的優(yōu)點(diǎn)
(+)不會(huì)出現(xiàn)梯度消失的情況
關(guān)于其效果沒(méi)有清晰的定論,有的實(shí)驗(yàn)表現(xiàn)好,有些則不好
其實(shí)還可以把那個(gè)斜率當(dāng)作可以反向傳播和學(xué)習(xí)的參數(shù)α,然后就變成了Parametric ReLU(PReLU)激活函數(shù)
$$f(x)=max(alpha x,x)$$
其數(shù)學(xué)公式及其圖像如下
全名指數(shù)線性單元Exponential Linear Units,α是一個(gè)可調(diào)整的參數(shù),它控制著ELU負(fù)值部分在何時(shí)飽和
(+)ReLU的優(yōu)點(diǎn)
(+)輸出均值接近零
(+)負(fù)飽和機(jī)制,使模型對(duì)噪音有更強(qiáng)的魯棒性
關(guān)于其詳細(xì)介紹可看此論文,或者看看論文導(dǎo)讀
Maxout這個(gè)函數(shù)有點(diǎn)奇,我覺(jué)得它直接改變了原有MLP網(wǎng)絡(luò)的結(jié)構(gòu),以至于形成了maxout網(wǎng)絡(luò),其本身就集成了激活函數(shù)的功能。
$$f(x)=max_{jin [1,k]}z_{j}$$
k是需人為設(shè)定的參數(shù),k=1,網(wǎng)絡(luò)就類相當(dāng)于普通的MLP網(wǎng)絡(luò);k>1,就變身成maxout網(wǎng)絡(luò)了。這個(gè)函數(shù)的原理如下圖,筆者文字表達(dá)欠佳,需作圖才能展示出來(lái)。如果想了解更多可上網(wǎng)搜“maxout激活函數(shù)”
在同一個(gè)模型中,激活函數(shù)不會(huì)混搭使用,選定一個(gè)就用一個(gè)。一般最好的經(jīng)驗(yàn)法則是使用ReLU函數(shù),但是要謹(jǐn)慎的調(diào)節(jié)學(xué)習(xí)率。像LReLU,PReLU,ELU,Maxout這些函數(shù)則實(shí)驗(yàn)性強(qiáng)一點(diǎn)(實(shí)用性弱一點(diǎn)),但也可以試下。tanh和sigmoid就em....,算了吧。
除了這里介紹的6個(gè)外,還有一些其他的激活函數(shù)(如有著喪心病狂證明的SeLU),感興趣的可以去查一下
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://specialneedsforspecialkids.com/yun/42235.html
摘要:為什么呢本文將對(duì)這一問(wèn)題進(jìn)行解疑并介紹多種多種激活函數(shù)。激活函數(shù)就是用來(lái)引入這個(gè)非線性因素的,下面介紹幾種常見(jiàn)的激活函數(shù)及其優(yōu)缺點(diǎn)正負(fù)號(hào)表示。如果想了解更多可上網(wǎng)搜激活函數(shù)選擇在同一個(gè)模型中,激活函數(shù)不會(huì)混搭使用,選定一個(gè)就用一個(gè)。 【DL-CV】反向傳播,(隨機(jī))梯度下降【DL-CV】神經(jīng)網(wǎng)絡(luò)的補(bǔ)充 在介紹線性分類器的時(shí)候,提到了激活函數(shù),還提到線性分類器的輸出要經(jīng)過(guò)激活函數(shù)才能作為...
摘要:但是由于神經(jīng)網(wǎng)絡(luò)的許多細(xì)節(jié)并未過(guò)分深入比如層數(shù)和每層神經(jīng)元數(shù)的設(shè)定,過(guò)擬合等,初建的網(wǎng)絡(luò)實(shí)際上和真實(shí)的網(wǎng)絡(luò)還是有一定差距的。和神經(jīng)網(wǎng)絡(luò)中其他層不同,輸出層的神經(jīng)元一般不會(huì)有激活函數(shù),最后的輸出層大多用于表示分類評(píng)分值。 【DL-CV】激活函數(shù)及其選擇【DL-CV】卷積神經(jīng)網(wǎng)絡(luò) 在介紹了線性分類器,激活函數(shù),損失函數(shù),反向傳播這些基礎(chǔ)的原理后,已經(jīng)可以嘗試自行搭建像樣的神經(jīng)網(wǎng)絡(luò)了。但是由...
閱讀 1816·2019-08-30 15:55
閱讀 1007·2019-08-26 11:57
閱讀 509·2019-08-26 11:29
閱讀 3358·2019-08-26 10:49
閱讀 1910·2019-08-23 18:40
閱讀 1749·2019-08-23 16:04
閱讀 3104·2019-08-23 11:01
閱讀 2271·2019-08-23 10:56