Swish精品文章

• 

  谷歌大腦的 Swish 激活函數與 ReLU 激活函數對比

  ...om/p/95e3... 最近谷歌大腦公布了一個新的激活函數，叫做 Swish 激活函數。這個函數非常的有趣，很多人都把它應用到一些小的神經網絡和大的神經網絡中去測試它的性能。所以，我也打算去 kaggle 上面測試一些這個函數的性能如...

  wujl596 2019-07-30 15:10 評論0 收藏0
• 

  激活函數可視化

  ...es}, ext{ where $0 < alpha < 1$} $$ 形狀差不多的還有Softplus，Swish，Exponential Linear Unit (ELU)，以及Scaled ELU(SELU)，公式如下： $$ ext{Softplus: } f(x) = log(1 + e^x)$$ $$ ext{ELU: }f(x) = egin{cas...

  tolerious 2019-07-31 11:06 評論0 收藏0