聊一聊深度學(xué)習(xí)中常用的激勵(lì)函數(shù)

hellowoody 發(fā)布于2019-07-31 11:14 / 2688人閱讀

摘要：比如說(shuō)，我們?cè)谶壿嫽貧w中用到的函數(shù)就是一種激勵(lì)函數(shù)，因?yàn)閷?duì)于求和的結(jié)果輸入，函數(shù)總會(huì)輸出一個(gè)之間的值，我們可以認(rèn)為這個(gè)值表明信號(hào)的強(qiáng)度或者神經(jīng)元被激活和傳導(dǎo)信號(hào)的概率。通過(guò)激勵(lì)函數(shù)引入非線性因素后，使神經(jīng)網(wǎng)絡(luò)的表示能力更強(qiáng)了。

大家都知道，人腦的基本計(jì)算單元叫做神經(jīng)元。現(xiàn)代生物學(xué)表明，人的神經(jīng)系統(tǒng)中大概有860億神經(jīng)元，而這數(shù)量巨大的神經(jīng)元之間大約是通過(guò)1014?1015個(gè)突觸連接起來(lái)的。上面這一幅示意圖，粗略地描繪了一下人體神經(jīng)元與我們簡(jiǎn)化過(guò)后的數(shù)學(xué)模型。每個(gè)神經(jīng)元都從樹(shù)突接受信號(hào)，同時(shí)順著某個(gè)軸突傳遞信號(hào)。而每個(gè)神經(jīng)元都有很多軸突和其他的神經(jīng)元樹(shù)突連接。而我們可以看到右邊簡(jiǎn)化的神經(jīng)元計(jì)算模型中，信號(hào)也是順著軸突(比如x0)傳遞，然后在軸突處受到激勵(lì)(w0倍)然后變成w0x0。我們可以這么理解這個(gè)模型：在信號(hào)的傳導(dǎo)過(guò)程中，突觸可以控制傳導(dǎo)到下一個(gè)神經(jīng)元的信號(hào)強(qiáng)弱(數(shù)學(xué)模型中的權(quán)重w)，而這種強(qiáng)弱是可以學(xué)習(xí)到的。在基本生物模型中，樹(shù)突傳導(dǎo)信號(hào)到神經(jīng)元細(xì)胞，然后這些信號(hào)被加和在一塊兒了，如果加和的結(jié)果被神經(jīng)元感知超過(guò)了某種閾值，那么神經(jīng)元就被激活，同時(shí)沿著軸突向下一個(gè)神經(jīng)元傳導(dǎo)信號(hào)。在我們簡(jiǎn)化的數(shù)學(xué)計(jì)算模型中，我們假定有一個(gè)『激勵(lì)函數(shù)』來(lái)控制加和的結(jié)果對(duì)神經(jīng)元的刺激程度，從而控制著是否激活神經(jīng)元和向后傳導(dǎo)信號(hào)。比如說(shuō)，我們?cè)谶壿嫽貧w中用到的sigmoid函數(shù)就是一種激勵(lì)函數(shù)，因?yàn)閷?duì)于求和的結(jié)果輸入，sigmoid函數(shù)總會(huì)輸出一個(gè)0-1之間的值，我們可以認(rèn)為這個(gè)值表明信號(hào)的強(qiáng)度、或者神經(jīng)元被激活和傳導(dǎo)信號(hào)的概率。

我們知道深度學(xué)習(xí)的理論基礎(chǔ)是神經(jīng)網(wǎng)絡(luò)，在單層神經(jīng)網(wǎng)絡(luò)中（感知機(jī)），輸入和輸出計(jì)算關(guān)系如下圖所示：
?

可見(jiàn)，輸入與輸出是一個(gè)線性關(guān)系，對(duì)于增加了多個(gè)神經(jīng)元之后，計(jì)算公式也是類(lèi)似，如下圖：
?

這樣的模型就只能處理一些簡(jiǎn)單的線性數(shù)據(jù)，而對(duì)于非線性數(shù)據(jù)則很難有效地處理（也可通過(guò)組合多個(gè)不同線性表示，但這樣更加復(fù)雜和不靈活），如下圖所示：
?

那么，通過(guò)在神經(jīng)網(wǎng)絡(luò)中加入非線性激勵(lì)函數(shù)后，神經(jīng)網(wǎng)絡(luò)就有可能學(xué)習(xí)到平滑的曲線來(lái)實(shí)現(xiàn)對(duì)非線性數(shù)據(jù)的處理了。如下圖所示：
?

因此，神經(jīng)網(wǎng)絡(luò)中激勵(lì)函數(shù)的作用通俗上講就是將多個(gè)線性輸入轉(zhuǎn)換為非線性的關(guān)系。如果不使用激勵(lì)函數(shù)的話，神經(jīng)網(wǎng)絡(luò)的每層都只是做線性變換，即使是多層輸入疊加后也還是線性變換。通過(guò)激勵(lì)函數(shù)引入非線性因素后，使神經(jīng)網(wǎng)絡(luò)的表示能力更強(qiáng)了。

下面介紹幾個(gè)常用的激勵(lì)函數(shù)這z
1、sigmoid 函數(shù)
?

這應(yīng)該是神經(jīng)網(wǎng)絡(luò)中使用最頻繁的激勵(lì)函數(shù)了，它把一個(gè)實(shí)數(shù)壓縮至0到1之間，當(dāng)輸入的數(shù)字非常大的時(shí)候，結(jié)果會(huì)接近1，當(dāng)輸入非常大的負(fù)數(shù)時(shí)，則會(huì)得到接近0的結(jié)果。在早期的神經(jīng)網(wǎng)絡(luò)中使用得非常多，因?yàn)樗芎玫亟忉屃松窠?jīng)元受到刺激后是否被激活和向后傳遞的場(chǎng)景（0：幾乎沒(méi)有被激活，1：完全被激活），不過(guò)近幾年在深度學(xué)習(xí)的應(yīng)用中比較少見(jiàn)到它的身影，因?yàn)槭褂胹igmoid函數(shù)容易出現(xiàn)梯度彌散或者梯度飽和。當(dāng)神經(jīng)網(wǎng)絡(luò)的層數(shù)很多時(shí)，如果每一層的激勵(lì)函數(shù)都采用sigmoid函數(shù)的話，就會(huì)產(chǎn)生梯度彌散的問(wèn)題，因?yàn)槔梅聪騻鞑ジ聟?shù)時(shí)，會(huì)乘以它的導(dǎo)數(shù)，所以會(huì)一直減小。如果輸入的是比較大或者比較小的數(shù)（例如輸入100，經(jīng)Sigmoid函數(shù)后結(jié)果接近于1，梯度接近于0），會(huì)產(chǎn)生飽和效應(yīng)，導(dǎo)致神經(jīng)元類(lèi)似于死亡狀態(tài)。

【小白科普】什么是飽和呢？

2、tanh 函數(shù)
?

tanh函數(shù)將輸入值壓縮至-1到1之間。該函數(shù)與Sigmoid類(lèi)似，也存在著梯度彌散或梯度飽和的缺點(diǎn)。

3、ReLU函數(shù)
?

ReLU是修正線性單元（The Rectified Linear Unit）的簡(jiǎn)稱(chēng)，近些年來(lái)在深度學(xué)習(xí)中使用得很多，可以解決梯度彌散問(wèn)題，因?yàn)樗膶?dǎo)數(shù)等于1或者就是0。相對(duì)于sigmoid和tanh激勵(lì)函數(shù)，對(duì)ReLU求梯度非常簡(jiǎn)單，計(jì)算也很簡(jiǎn)單，可以非常大程度地提升隨機(jī)梯度下降的收斂速度。（因?yàn)镽eLU是線性的，而sigmoid和tanh是非線性的）。
但ReLU的缺點(diǎn)是比較脆弱，隨著訓(xùn)練的進(jìn)行，可能會(huì)出現(xiàn)神經(jīng)元死亡的情況，例如有一個(gè)很大的梯度流經(jīng)ReLU單元后，那權(quán)重的更新結(jié)果可能是，在此之后任何的數(shù)據(jù)點(diǎn)都沒(méi)有辦法再激活它了。如果發(fā)生這種情況，那么流經(jīng)神經(jīng)元的梯度從這一點(diǎn)開(kāi)始將永遠(yuǎn)是0。也就是說(shuō)，ReLU神經(jīng)元在訓(xùn)練中不可逆地死亡了。

4、Leaky ReLU 函數(shù)
?

Leaky ReLU主要是為了避免梯度消失，當(dāng)神經(jīng)元處于非激活狀態(tài)時(shí)，允許一個(gè)非0的梯度存在，這樣不會(huì)出現(xiàn)梯度消失，收斂速度快。它的優(yōu)缺點(diǎn)跟ReLU類(lèi)似。

5、ELU 函數(shù)
?

ELU在正值區(qū)間的值為x本身，這樣減輕了梯度彌散問(wèn)題（x>0區(qū)間導(dǎo)數(shù)處處為1），這點(diǎn)跟ReLU、Leaky ReLU相似。而在負(fù)值區(qū)間，ELU在輸入取較小值時(shí)具有軟飽和的特性，提升了對(duì)噪聲的魯棒性
下圖是ReLU、LReLU、ELU的曲線比較圖：

6、Maxout 函數(shù)
?

Maxout也是近些年非常流行的激勵(lì)函數(shù)，簡(jiǎn)單來(lái)說(shuō)，它是ReLU和Leaky ReLU的一個(gè)泛化版本，當(dāng)w1、b1設(shè)置為0時(shí)，便轉(zhuǎn)換為ReLU公式。
因此，Maxout繼承了ReLU的優(yōu)點(diǎn)，同時(shí)又沒(méi)有“一不小心就掛了”的擔(dān)憂。但相比ReLU，因?yàn)橛?次線性映射運(yùn)算，因此計(jì)算量也會(huì)翻倍。（原文出處https://blog.csdn.net/Stephen...）