Theano - 導數

MAX_zuo 發布于2019-07-25 12:01 / 973人閱讀

摘要：計算梯度計算的梯度計算邏輯函數的梯度計算計算矩陣右算子左算子右算子

計算梯度 計算x^2的梯度

import numpy
import theano
import theano.tensor as T
from theano import pp
x = T.dscalar("x")
y = x ** 2
gy = T.grad(y, x)
pp(gy)
f = theano.function([x], gy)
pp(f.maker.fgraph.outputs[0])
f(4)
numpy.allclose(f(94.2), 188.4)

計算邏輯函數的梯度

x = T.dmatrix("x")
s = T.sum(1 / (1 + T.exp(-x)))
gs = T.grad(s, x)
dlogistic = theano.function([x], gs)
dlogistic([[0, 1], [-1, -2]])

計算Jacobian

x = T.dvector("x")
y = x ** 2
J, updates = theano.scan(lambda i, y, x: T.grad(y[i], x), sequences=T.arange(y.shape[0]), non_sequences=[y,x])
f = theano.function([x], J, updates=updates)
f([4, 4])

計算Hessian矩陣

x = T.dvector("x")
y = x ** 2
cost = y.sum()
gy = T.grad(cost, x)
H, updates = theano.scan(lambda i, gy, x: T.grad(gy[i], x), sequences=T.arange(gy.shape[0]), non_sequences=[gy,x])
f = theano.function([x], H, updates=updates)
f([4,4])

Jacobian times a Vector 右算子(R-operator)

W = T.dmatrix("W")
V = T.dmatrix("V")
x = T.dvector("x")
y = T.dot(x, W)
JV = T.Rop(y, W, V)
f = theano.function([W, V, x], JV)
f([[1,1], [1,1]], [[2,2], [2,2]], [0,1])

左算子（L-operator)

W = T.dmatrix("W")
v = T.dvector("v")
x = T.dvector("x")
y = T.dot(x, W)
VJ = T.Lop(y, W, v)
f = theano.function([v, x], VJ)
f([2,2], [0,1])

Hessian times a Vector

x = T.dvector("x")
v = T.dvector("v")
y = T.sum(x ** 2)
gy = T.grad(y, x)
vH = T.grad(T.sum(gy * v), x)
f = theano.function([x,v], vH)
f([4,4], [2,2])

右算子

x = T.dvector("x")
v = T.dvector("v")
y = T.sum(x ** 2)
gy = T.grad(y, x)
Hv = T.Rop(gy, x, v)
f = theano.function([x,v], Hv)
f([4,4], [2,2])

云服務器 GPU云服務器 theano 導數 python theano theano圖像識別

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/38633.html

Yoshua Bengio等大神傳授：26條深度學習經驗

摘要：另外，當損失函數接近全局最小時，概率會增加。降低訓練過程中的學習率。對抗樣本的訓練據最近信息顯示，神經網絡很容易被對抗樣本戲弄。使用高度正則化會有所幫助，但會影響判斷不含噪聲圖像的準確性。由 Yoshua Bengio、 Leon Bottou 等大神組成的講師團奉獻了 10 天精彩的講座，劍橋大學自然語言處理與信息檢索研究組副研究員 Marek Rei 參加了本次課程，在本文中，他精煉地...

Lowky 2019-04-25 18:03 評論0 收藏0
Yoshua Bengio等大神傳授：26條深度學習經驗

摘要：八月初，我有幸有機會參加了蒙特利爾深度學習暑期學校的課程，由最知名的神經網絡研究人員組成的為期天的講座。另外，當損失函數接近全局最小時，概率會增加。降低訓練過程中的學習率。對抗樣本的訓練據最近信息顯示，神經網絡很容易被對抗樣本戲弄。 8月初的蒙特利爾深度學習暑期班，由Yoshua Bengio、 Leon Bottou等大神組成的講師團奉獻了10天精彩的講座，劍橋大學自然語言處理與信息檢索研...

Salamander 2019-04-25 18:07 評論0 收藏0
Deep learning：四十二(Denoise Autoencoder簡單理解)

摘要：本篇博文主要是根據的那篇文章簡單介紹下，然后通過個簡單的實驗來說明實際編程中該怎樣應用。當然作者也從數學上給出了一定的解釋。自頂向下的生成模型觀點的解釋。信息論觀點的解釋。前言：　　當采用無監督的方法分層預訓練深度網絡的權值時，為了學習到較魯棒的特征，可以在網絡的可視層（即數據的輸入層）引入隨機噪聲，這種方法稱為Denoise Autoencoder(簡稱dAE)，由Bengio在08年...

gotham 2019-04-25 17:57 評論0 收藏0
深度神經網絡：WX+b vs XW+b

摘要：作者微信號微信公眾號簡書地址在大多數的神經網絡教科書中，神經網絡一般都會使用或者的形式。但是在或者中，神經網絡的實現都是采用了的形式。從理論上講，和在神經網絡中是等價的其實就是一個矩陣的轉置。然而，當我們計算兩者的導數的時候卻差別很大。作者：chen_h微信號 & QQ：862251340微信公眾號：coderpai簡書地址：https://www.jianshu.com/p/856...

rose 2019-07-30 15:16 評論0 收藏0
深度學習：你該知道八大開源框架

摘要：作為當下最熱門的話題，等巨頭都圍繞深度學習重點投資了一系列新興項目，他們也一直在支持一些開源深度學習框架。八來自一個日本的深度學習創業公司，今年月發布的一個框架。深度學習(Deep Learning)是機器學習中一種基于對數據進行表征學習的方法，深度學習的好處是用非監督式或半監督式的特征學習、分層特征提取高效算法來替代手工獲取特征(feature)。作為當下最熱門的話題，Google...

Rindia 2019-04-25 18:04 評論0 收藏0