国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Caffe神經(jīng)網(wǎng)絡solver及其配備詳細說明

89542767 / 387人閱讀

  文中關鍵給大家介紹了Caffe神經(jīng)網(wǎng)絡solver及其配備詳細說明,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的發(fā)展,盡早漲薪


  前言


  solver算是caffe的最核心的關鍵,它融洽著全部建模運行。caffe程序執(zhí)行必帶的另一個主要參數(shù)就是solver環(huán)境變量。運行代碼一般為


  #caffe train--solver=*_slover.prototxt

  在DeepLearning中,通常lossfunction是非凸的,并沒有解析解,我們應該依據(jù)優(yōu)化策略來求得。solver的關鍵作用是更替啟用非前(forward)優(yōu)化計算方法和時向(backward)優(yōu)化計算方法來刷新主要參數(shù),進而降到最低loss,實際上是一類提升的優(yōu)化計算方法。


  至目前版本,caffe帶來了6種優(yōu)化計算方法來求得最佳主要參數(shù),在solver環(huán)境變量中,可設置type類型來挑選。


  StochasticGradientDescent(type:"SGD"),


  AdaDelta(type:"AdaDelta"),


  AdaptiveGradient(type:"AdaGrad"),


  Adam(type:"Adam"),


  Nesterov’sAcceleratedGradient(type:"Nesterov")and


  RMSprop(type:"RMSProp")


  具體每一種方式的講解,請看本系列下篇文章,文中重點詳細介紹solver環(huán)境變量的撰寫。


  Solver的步驟:


  1.制定好必須改善的目標,及其用以學習培訓的練習網(wǎng)絡與用以鑒定的測試網(wǎng)絡。(依據(jù)啟用另一個環(huán)境變量prototxt去進行)


  2.依據(jù)forward和backward提升的進行改善來跟主要參數(shù)。


  3.定期進行的點評測試網(wǎng)絡。(可設置幾回訓練后,做一次檢測)


  4.在提升環(huán)節(jié)中表明建模和solver的情況


  在每次的循環(huán)迭代中,solver進行了這兩步工作中:


  1、調(diào)用forward算法進行計算最后的導出值,及其相匹配的loss


  2、調(diào)用backward算法進行計算各層的梯度方向


  3、依據(jù)采用的slover方法,運用梯度方向開展主要參數(shù)刷新


  4、統(tǒng)計并儲存每一次提升的學習率、快照更新,及其相對應的情況。


  下面,我們首先來說個案例:


  net:"examples/mnist/lenet_train_test.prototxt"
  test_iter:100
  test_interval:500
  base_lr:0.01
  momentum:0.9
  type:SGD
  weight_decay:0.0005
  lr_policy:"inv"
  gamma:0.0001
  power:0.75
  display:100
  max_iter:20000
  snapshot:5000
  snapshot_prefix:"examples/mnist/lenet"
  solver_mode:CPU


  接下來,我們對每一行進行詳細解譯:

  net:"examples/mnist/lenet_train_test.prototxt"


  設置深度網(wǎng)絡模型。每一個模型就是一個net,需要在一個專門的配置文件中對net進行配置,每個net由許多的layer所組成。每一個layer的具體配置方式可參考本系列文文章中的(2)-(5)。注意的是:文件的路徑要從caffe的根目錄開始,其它的所有配置都是這樣。


  訓練測試模型


  也可用train_net和test_net來對訓練模型和測試模型分別設定。例如:


  train_net:"examples/hdf5_classification/logreg_auto_train.prototxt"
  test_net:"examples/hdf5_classification/logreg_auto_test.prototxt"


  接下來第二行:

  test_iter:100


  這個要與test layer中的batch_size結合起來理解。mnist數(shù)據(jù)中測試樣本總數(shù)為10000,一次性執(zhí)行全部數(shù)據(jù)效率很低,因此我們將測試數(shù)據(jù)分成幾個批次來執(zhí)行,每個批次的數(shù)量就是batch_size。假設我們設置batch_size為100,則需要迭代100次才能將10000個數(shù)據(jù)全部執(zhí)行完。因此test_iter設置為100。執(zhí)行完一次全部數(shù)據(jù),稱之為一個epoch


  test_interval:500

  測試間隔。也就是每訓練500次,才進行一次測試。


  base_lr:0.01
  lr_policy:"inv"
  gamma:0.0001
  power:0.75


  這四行可以放在一起理解,用于學習率的設置。只要是梯度下降法來求解優(yōu)化,都會有一個學習率,也叫步長。base_lr用于設置基礎學習率,在迭代的過程中,可以對基礎學習率進行調(diào)整。怎么樣進行調(diào)整,就是調(diào)整的策略,由lr_policy來設置。


  lr_policy可以設置為下面這些值,相應的學習率的計算為:


  -fixed:保持base_lr不變.


  -step:如果設置為step,則還需要設置一個stepsize,返回base_lr*gamma^(floor(iter/stepsize)),其中iter表示當前的迭代次數(shù)


  -exp:返回base_lr*gamma^iter,iter為當前迭代次數(shù)


  -inv:如果設置為inv,還需要設置一個power,返回base_lr*(1+gamma*iter)^(-power)


  -multistep:如果設置為multistep,則還需要設置一個stepvalue。這個參數(shù)和step很相似,step是均勻等間隔變化,而multistep則是根據(jù)stepvalue值變化


  -poly:學習率進行多項式誤差,返回base_lr(1-iter/max_iter)^(power)


  -sigmoid:學習率進行sigmod衰減,返回base_lr(1/(1+exp(-gamma*(iter-stepsize))))


  multistep示例:


  base_lr:0.01
  momentum:0.9
  weight_decay:0.0005
  #The learning rate policy
  lr_policy:"multistep"
  gamma:0.9
  stepvalue:5000
  stepvalue:7000
  stepvalue:8000
  stepvalue:9000
  stepvalue:9500

  參數(shù)


  接下來的參數(shù):


  momentum:0.9

  上一次梯度更新的權重,具體可參看下一篇文章。


  type:SGD

  優(yōu)化算法選擇。這一行可以省掉,因為默認值就是SGD。總共有六種方法可選擇,在本文的開頭已介紹。

  weight_decay:0.0005


  權重衰減項,防止過擬合的一個參數(shù)。


  display:100

  每訓練100次,在屏幕上顯示一次。如果設置為0,則不顯示。


  max_iter:20000
  max_iter:20000


  最大迭代次數(shù)。這個數(shù)設置太小,會導致沒有收斂,精確度很低。設置太大,會導致震蕩,浪費時間。


  snpshot:5000
  snapshot_prefix:"examples/mnist/lenet"

  快照。將訓練出來的model和solver狀態(tài)進行保存,snapshot用于設置訓練多少次后進行保存,默認為0,不保存。snapshot_prefix設置保存路徑。


  還可以設置snapshot_diff,是否保存梯度值,默認為false,不保存。


  也可以設置snapshot_format,保存的類型。有兩種選擇:HDF5和BINARYPROTO,默認為BINARYPROTO


  solver_mode:CPU

  設置運行模式。默認為GPU,如果你沒有GPU,則需要改成CPU,否則會出錯。


  注意:以上的所有參數(shù)都是可選參數(shù),都有默認值。根據(jù)solver方法(type)的不同,還有一些其它的參數(shù),在此不一一列舉。


  綜上所述,這篇內(nèi)容就給大家介紹到這里了,希望可以給大家?guī)韼椭?/p>

文章版權歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/128771.html

相關文章

  • caffe的python插口形成solver文件詳細說明學習培訓

      本文主要是給大家介紹了caffe的python插口形成solver文件詳細說明學習培訓實例,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的不斷進步,盡早漲薪  也有一些基本參數(shù)必須計算出來的,并不是亂設定。  solver.prototxt的文件參數(shù)設置  caffe在訓練的時候,需要一些參數(shù)設置,我們一般將這些參數(shù)設置在一個叫solver.prototxt的文件里面,如...

    89542767 評論0 收藏0
  • caffe的python插口制作loss和accuracy曲線圖

      此篇文章主要是給大家介紹了caffe的python插口制作loss和accuracy曲線圖實例詳細說明,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的發(fā)展,盡早漲薪  前言  使用python插口來運行caffe程序流程,根本原因是python很容易數(shù)據(jù)可視化。所以才建議大家在cmd下邊運行python程序流程。如果一定要在cmd下邊運作,不如直接用c++算了。  強烈推...

    89542767 評論0 收藏0
  • caffe的python插口之手寫數(shù)字識別mnist案例

      文中主要是給大家介紹了caffe的python插口之手寫數(shù)字識別mnist案例詳細說明,感興趣的小伙伴可以參考借鑒一下,希望可以有一定的幫助,祝愿大家多多的發(fā)展,盡早漲薪  論文引言  機器學習第一個案例一般都是是mnist,只需這個案例徹底搞懂了,其他的便是觸類旁通的事了。因為字數(shù)緣故,文中不簡單介紹環(huán)境變量里邊每一個指標的具體函義,如果要搞明白的,請參考我之前的微博文章:  數(shù)據(jù)訪問層及主...

    89542767 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<