文中關鍵給大家介紹了Caffe神經(jīng)網(wǎng)絡solver及其配備詳細說明,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的發(fā)展,盡早漲薪
前言
solver算是caffe的最核心的關鍵,它融洽著全部建模運行。caffe程序執(zhí)行必帶的另一個主要參數(shù)就是solver環(huán)境變量。運行代碼一般為
#caffe train--solver=*_slover.prototxt
在DeepLearning中,通常lossfunction是非凸的,并沒有解析解,我們應該依據(jù)優(yōu)化策略來求得。solver的關鍵作用是更替啟用非前(forward)優(yōu)化計算方法和時向(backward)優(yōu)化計算方法來刷新主要參數(shù),進而降到最低loss,實際上是一類提升的優(yōu)化計算方法。
至目前版本,caffe帶來了6種優(yōu)化計算方法來求得最佳主要參數(shù),在solver環(huán)境變量中,可設置type類型來挑選。
StochasticGradientDescent(type:"SGD"),
AdaDelta(type:"AdaDelta"),
AdaptiveGradient(type:"AdaGrad"),
Adam(type:"Adam"),
Nesterov’sAcceleratedGradient(type:"Nesterov")and
RMSprop(type:"RMSProp")
具體每一種方式的講解,請看本系列下篇文章,文中重點詳細介紹solver環(huán)境變量的撰寫。
Solver的步驟:
1.制定好必須改善的目標,及其用以學習培訓的練習網(wǎng)絡與用以鑒定的測試網(wǎng)絡。(依據(jù)啟用另一個環(huán)境變量prototxt去進行)
2.依據(jù)forward和backward提升的進行改善來跟主要參數(shù)。
3.定期進行的點評測試網(wǎng)絡。(可設置幾回訓練后,做一次檢測)
4.在提升環(huán)節(jié)中表明建模和solver的情況
在每次的循環(huán)迭代中,solver進行了這兩步工作中:
1、調(diào)用forward算法進行計算最后的導出值,及其相匹配的loss
2、調(diào)用backward算法進行計算各層的梯度方向
3、依據(jù)采用的slover方法,運用梯度方向開展主要參數(shù)刷新
4、統(tǒng)計并儲存每一次提升的學習率、快照更新,及其相對應的情況。
下面,我們首先來說個案例:
net:"examples/mnist/lenet_train_test.prototxt" test_iter:100 test_interval:500 base_lr:0.01 momentum:0.9 type:SGD weight_decay:0.0005 lr_policy:"inv" gamma:0.0001 power:0.75 display:100 max_iter:20000 snapshot:5000 snapshot_prefix:"examples/mnist/lenet" solver_mode:CPU
接下來,我們對每一行進行詳細解譯:
net:"examples/mnist/lenet_train_test.prototxt"
設置深度網(wǎng)絡模型。每一個模型就是一個net,需要在一個專門的配置文件中對net進行配置,每個net由許多的layer所組成。每一個layer的具體配置方式可參考本系列文文章中的(2)-(5)。注意的是:文件的路徑要從caffe的根目錄開始,其它的所有配置都是這樣。
訓練測試模型
也可用train_net和test_net來對訓練模型和測試模型分別設定。例如:
train_net:"examples/hdf5_classification/logreg_auto_train.prototxt" test_net:"examples/hdf5_classification/logreg_auto_test.prototxt"
接下來第二行:
test_iter:100
這個要與test layer中的batch_size結合起來理解。mnist數(shù)據(jù)中測試樣本總數(shù)為10000,一次性執(zhí)行全部數(shù)據(jù)效率很低,因此我們將測試數(shù)據(jù)分成幾個批次來執(zhí)行,每個批次的數(shù)量就是batch_size。假設我們設置batch_size為100,則需要迭代100次才能將10000個數(shù)據(jù)全部執(zhí)行完。因此test_iter設置為100。執(zhí)行完一次全部數(shù)據(jù),稱之為一個epoch
test_interval:500
測試間隔。也就是每訓練500次,才進行一次測試。
base_lr:0.01 lr_policy:"inv" gamma:0.0001 power:0.75
這四行可以放在一起理解,用于學習率的設置。只要是梯度下降法來求解優(yōu)化,都會有一個學習率,也叫步長。base_lr用于設置基礎學習率,在迭代的過程中,可以對基礎學習率進行調(diào)整。怎么樣進行調(diào)整,就是調(diào)整的策略,由lr_policy來設置。
lr_policy可以設置為下面這些值,相應的學習率的計算為:
-fixed:保持base_lr不變.
-step:如果設置為step,則還需要設置一個stepsize,返回base_lr*gamma^(floor(iter/stepsize)),其中iter表示當前的迭代次數(shù)
-exp:返回base_lr*gamma^iter,iter為當前迭代次數(shù)
-inv:如果設置為inv,還需要設置一個power,返回base_lr*(1+gamma*iter)^(-power)
-multistep:如果設置為multistep,則還需要設置一個stepvalue。這個參數(shù)和step很相似,step是均勻等間隔變化,而multistep則是根據(jù)stepvalue值變化
-poly:學習率進行多項式誤差,返回base_lr(1-iter/max_iter)^(power)
-sigmoid:學習率進行sigmod衰減,返回base_lr(1/(1+exp(-gamma*(iter-stepsize))))
multistep示例:
base_lr:0.01 momentum:0.9 weight_decay:0.0005 #The learning rate policy lr_policy:"multistep" gamma:0.9 stepvalue:5000 stepvalue:7000 stepvalue:8000 stepvalue:9000 stepvalue:9500
參數(shù)
接下來的參數(shù):
momentum:0.9
上一次梯度更新的權重,具體可參看下一篇文章。
type:SGD
優(yōu)化算法選擇。這一行可以省掉,因為默認值就是SGD。總共有六種方法可選擇,在本文的開頭已介紹。
weight_decay:0.0005
權重衰減項,防止過擬合的一個參數(shù)。
display:100
每訓練100次,在屏幕上顯示一次。如果設置為0,則不顯示。
max_iter:20000 max_iter:20000
最大迭代次數(shù)。這個數(shù)設置太小,會導致沒有收斂,精確度很低。設置太大,會導致震蕩,浪費時間。
snpshot:5000 snapshot_prefix:"examples/mnist/lenet"
快照。將訓練出來的model和solver狀態(tài)進行保存,snapshot用于設置訓練多少次后進行保存,默認為0,不保存。snapshot_prefix設置保存路徑。
還可以設置snapshot_diff,是否保存梯度值,默認為false,不保存。
也可以設置snapshot_format,保存的類型。有兩種選擇:HDF5和BINARYPROTO,默認為BINARYPROTO
solver_mode:CPU
設置運行模式。默認為GPU,如果你沒有GPU,則需要改成CPU,否則會出錯。
注意:以上的所有參數(shù)都是可選參數(shù),都有默認值。根據(jù)solver方法(type)的不同,還有一些其它的參數(shù),在此不一一列舉。
綜上所述,這篇內(nèi)容就給大家介紹到這里了,希望可以給大家?guī)韼椭?/p>
文章版權歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/128771.html
本文主要是給大家介紹了caffe的python插口形成solver文件詳細說明學習培訓實例,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的不斷進步,盡早漲薪 也有一些基本參數(shù)必須計算出來的,并不是亂設定。 solver.prototxt的文件參數(shù)設置 caffe在訓練的時候,需要一些參數(shù)設置,我們一般將這些參數(shù)設置在一個叫solver.prototxt的文件里面,如...
此篇文章主要是給大家介紹了caffe的python插口制作loss和accuracy曲線圖實例詳細說明,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的發(fā)展,盡早漲薪 前言 使用python插口來運行caffe程序流程,根本原因是python很容易數(shù)據(jù)可視化。所以才建議大家在cmd下邊運行python程序流程。如果一定要在cmd下邊運作,不如直接用c++算了。 強烈推...
文中主要是給大家介紹了caffe的python插口之手寫數(shù)字識別mnist案例詳細說明,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的發(fā)展,盡早漲薪 論文引言 機器學習第一個案例一般都是是mnist,只需這個案例徹底搞懂了,其他的便是觸類旁通的事了。因為字數(shù)緣故,文中不簡單介紹環(huán)境變量里邊每一個指標的具體函義,如果要搞明白的,請參考我之前的微博文章: 數(shù)據(jù)訪問層及主...
閱讀 911·2023-01-14 11:38
閱讀 878·2023-01-14 11:04
閱讀 740·2023-01-14 10:48
閱讀 1982·2023-01-14 10:34
閱讀 942·2023-01-14 10:24
閱讀 819·2023-01-14 10:18
閱讀 499·2023-01-14 10:09
閱讀 572·2023-01-14 10:02