Hinton膠囊理論代碼開源，上線即受熱捧

tianlai 發布于2019-04-25 18:25 / 3549人閱讀

摘要：近日，該論文的一作終于在上公開了該論文中的代碼。該項目上線天便獲得了個，并被了次。

當前的深度學習理論是由Geoffrey Hinton大神在2007年確立起來的，但是如今他卻認為，“CNN的特征提取層與次抽樣層交叉存取，將相同類型的相鄰特征檢測器的輸出匯集到一起”是大有問題的。

去年9月，在多倫多接受媒體采訪時，Hinton大神斷然宣稱要放棄反向傳播，讓整個人工智能從頭再造。10月，人們關注已久的Hinton大神那篇Capsule論文"Dynamic Routing between Capsules"終于揭開面紗。

在論文中，Capsule被Hinton大神定義為這樣一組神經元：其活動向量所表示的是特定實體類型的實例化參數。他的實驗表明，鑒別式訓練的多層Capsule系統，在MNIST手寫數據集上表現出目前較先進的性能，并且在識別高度重疊數字的效果要遠好于CNN。

近日，該論文的一作Sara Sabour終于在GitHub上公開了該論文中的代碼。該項目上線5天便獲得了217個Star，并被fork了14218次。下面讓我們一起來看看Sara Sabour開源的代碼吧。

膠囊模型的代碼在以下論文中使用：

"Dynamic Routing between Capsules" by Sara Sabour, Nickolas Frosst, Geoffrey E. Hinton.

要求

TensorFlow ( 訪問 http://www.tensorflow.org 了解如何安裝和升級)

NumPy (詳見 http://www.numpy.org/)

GPU

運行測試代碼驗證設置是否正確，比如：

python layers_test.py

快速MNIST測試結果：

從以下網址下載并提取MNIST記錄到 $DATA_DIR/：https://storage.googleapis.com/capsule_toronto/mnist_data.tar.gz

從以下網址下載并提取MNIST模型檢測點（checkpoint）到$CKPT_DIR：

python experiment.py --data_dir=$DATA_DIR/mnist_data/ --train=false

--summary_dir=/tmp/ --

checkpoint=$CKPT_DIR/mnist_checkpoint/model.ckpt-1

快速CIFAR10 ensemble測試結果：

從以下網址下載并提取cifar10二進制版本到$DATA_DIR/：

https://www.cs.toronto.edu/~kriz/cifar.html

從以下網址下載并提取cifar10模型檢測點（checkpoint）到$CKPT_DIR：

https://storage.googleapis.com/capsule_toronto/cifar_checkpoints.tar.gz

將提取的二進制文件目錄作為data_dir傳遞給（$DATA_DIR）

python experiment.py --data_dir=$DATA_DIR --train=false --dataset=cifar10

--hparams_override=num_prime_capsules=64,padding=SAME,leaky=true,remake=false

--summary_dir=/tmp/ --checkpoint=$CKPT_DIR/cifar/cifar{}/model.ckpt-600000

--num_trials=7

Sample CIFAR10訓練命令：

python experiment.py --data_dir=$DATA_DIR --dataset=cifar10 --max_steps=600000

--hparams_override=num_prime_capsules=64,padding=SAME,leaky=true,remake=false

--summary_dir=/tmp/

Sample MNIST完整訓練命令：

python experiment.py --data_dir=$DATA_DIR/mnist_data/ --max_steps=300000

--summary_dir=/tmp/attempt0/

Sample MNIST 基線訓練命令：

python experiment.py --data_dir=$DATA_DIR/mnist_data/ --max_steps=300000

--summary_dir=/tmp/attempt1/ --model=baseline

上述模型的訓練期間在驗證集上進行測試

訓練中連續運行的注意事項：

在訓練中 --validate = true

總共需要總共2塊GPU：一個用于訓練，一個用于驗證

如果訓練和驗證工作位于同一臺機器上，則需要限制每個任務的RAM占用量，因為TensorFlow會默認為第一個任務分配所有的RAM，而第二個任務將無法進行。

在MultiMNIST上測試/訓練：

--num_targets = 2

--data_dir = $ DATA_DIR / multitest_6shifted_mnist.tfrecords@10

生成multiMNIST / MNIST記錄的代碼位于input_data / mnist / mnist_shift.py

生成multiMNIST測試分割的示例代碼：

python mnist_shift.py --data_dir=$DATA_DIR/mnist_data/ --split=test --shift=6?

--pad=4 --num_pairs=1000 --max_shard=100000 --multi_targets=true

為affNIST泛化能力建立expanded_mnist： --shift = 6；--pad = 6。

Github地址：

https://github.com/Sarasra/models/tree/master/research/capsules

論文地址：

https://arxiv.org/abs/1710.09829

歡迎加入本站公開興趣群

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754

GPU云服務器云服務器開源鏡像站上線啦 java代碼如何上線開源代碼開源軟件代碼

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4739.html

揭開迷霧，來一頓美味的「Capsule」盛宴 | 附代碼實現 + 全新實驗

摘要：本文試圖揭開讓人迷惘的云霧，領悟背后的原理和魅力，品嘗這一頓盛宴。當然，激活函數本身很簡單，比如一個激活的全連接層，用寫起來就是可是，如果我想用的反函數來激活呢也就是說，你得給我解出，然后再用它來做激活函數。由深度學習先驅 Hinton 開源的 Capsule 論文 Dynamic Routing Between Capsules，無疑是去年深度學習界最熱點的消息之一。得益于各種媒體的各種...

NSFish 2019-04-25 18:24 評論0 收藏0
智能語音受熱捧，華為云聯手科大訊飛惡補短板

摘要：近日，科大訊飛與華為在深圳簽署了戰略合作協議，科大訊飛董事長劉慶峰華為輪值董事長徐直軍均出席簽約儀式，足以看出雙方對此次合作的重視程度。華為云需要科大訊飛，特別是科大訊飛的智能語音技術。在云計算智能語音領域，BAT由于多年的互聯網基因，都有非常深厚的智能語音功底，百度有百度度秘，阿里有阿里小蜜，騰訊有騰訊小微。而華為云作為一家傳統ICT轉型做云的企業，似乎并沒有經受太多互聯網智能語音訓練。但...

OnlyLing 2019-04-28 19:38 評論0 收藏0
卷積網絡雖動人，膠囊網絡更傳“神”

摘要：而加快推動這一趨勢的，正是卷積神經網絡得以雄起的大功臣。卷積神經網絡面臨的挑戰對的深深的質疑是有原因的。據此，也斷言卷積神經網絡注定是沒有前途的神經膠囊的提出在批判不足的同時，已然備好了解決方案，這就是我們即將討論的膠囊神經網絡，簡稱。本文作者張玉宏2012年于電子科技大學獲計算機專業博士學位，2009~2011年美國西北大學聯合培養博士，現執教于河南工業大學，電子科技大學博士后。中國計...

zhisheng 2019-04-25 18:27 評論0 收藏0
深度學習教父Geoffrey Hinton的“膠囊理論”終于發出論文

摘要：在底層的膠囊之后連接了層和層。膠囊效果的討論在論文最后，作者們對膠囊的表現進行了討論。他們認為，由于膠囊具有分別處理不同屬性的能力，相比于可以提高對圖像變換的健壯性，在圖像分割中也會有出色的表現。背景目前的神經網絡中，每一層的神經元都做的是類似的事情，比如一個卷積層內的每個神經元都做的是一樣的卷積操作。而Hinton堅信，不同的神經元完全可以關注不同的實體或者屬性，比如在一開始就有不同的神...

VincentFF 2019-04-25 18:20 評論0 收藏0
CapsNet日益火爆！Hinton大神橫掃AI界的「膠囊網絡」如何理解？

摘要：等人最近關于膠囊網絡的論文在機器學習領域造成相當震撼的影響。它提出了理論上能更好地替代卷積神經網絡的方案，是當前計算機視覺領域的技術。而這就是這些膠囊網絡運行方式的本質。為了簡化，我們將假設一個兩層的膠囊網絡。產生的結果值將被稱為。 Geoff Hinton等人最近關于膠囊網絡（Capsule networks）的論文在機器學習領域造成相當震撼的影響。它提出了理論上能更好地替代卷積神經網絡的...

sorra 2019-04-25 18:21 評論0 收藏0