摘要:距做出決定,在整個研究機構中使用已將近一年。安裝請確保你擁有版本的至少為版,如果版本過舊,請遵循以下步驟安裝如果你想使用,請在安裝時急活你的,或跳過此步驟配置頭文件首先復制和的源代碼作為一個子模塊然后使用你可以在配置期間選擇建議的默認值。
距 DeepMind 做出決定,在整個研究機構中使用 TensorFlow(TF) 已將近一年。事實證明這是一個明智的選擇——較之以往,我們很多模型的學習速度變得更快,而分布式訓練中的嵌入式特征極大地簡化了我們的代碼。同時,我們發現 TensorFlow 的靈活性和自適應性使得為特定目的構建更高級的框架成為可能,DeepMind 內部已經開發了一個框架來用 TF 快速構建神經網絡模塊。我們正積極開發的這個代碼庫以讓它更好地滿足我們的研究需求,今天我們很高興宣布今天它已開源化。我們把這個框架命名為 Sonnet。
自從 2015 年 11 月首次推出以來,圍繞 TensorFlow 出現了許多更高級的庫,使得很多常用任務得以更快實現。除了和現存的一些神經網絡庫具有許多相似性外,Sonnet 還具有一些根據 DeepMind 的研究需求設計的特性。和我們 Learning to learn 論文一同發布的代碼是 Sonnet 的初級版本,其它即將發布的代碼則基于我們今天發布的完整庫而完成。
將 Sonnet 開源化使其它在 DeepMind 內創建的模型得以在社區中共享,我們也希望社區能使用 Sonnet 將他們的研究向前推進。在最近幾個月,我們也將自己的旗艦平臺 DeepMind Lab 開源化了,并且正和暴雪一同工作來開發一個開源 API 以支持《星際爭霸 2》中的人工智能研究。還有更多的發布版即將到來,并且它們將出現在我們新的開源頁面:
https://deepmind.com/research/open-source/
與 Torch/NN 類似,Sonnet 庫使用面向對象的方法,允許創建定義一些前向傳導計算的模塊。模塊用一些輸入 Tensor 調用,添加操作到圖里并返回輸出 Tensor。其中一種設計選擇是通過在隨后調用相同的模塊時自動重用變量來確保變量分享被透明化處理。
在各類文獻中,很多模型都可以被視為分層形式,如可微分神經計算機可能包含 LSTM 控制器,可以實現為包含標準線性層。我們已經發現,編寫明確表示子模塊的代碼可以輕松實現代碼重用和快速實驗——Sonnet 可以在內部聲明其他子模塊的編寫模塊,或在構建時傳遞其他模塊。
我們發現最有意義的技術是允許某些模塊在任意嵌套的 Tensors 組中進行操作。循環神經網絡的較佳表現形式通常是一些異構 Tensor 的集合,如果表示為一個平面列表則會容易出錯。Sonnet 提供了用于處理這些層次結構的實用工具,這樣在你需要更換另一種 RNN 的時候就不需要繁瑣的代碼更改了。我們已經對 TensorFlow 內核進行了更改,對這種用例增加了更多支持。
Sonnet 專為 TensorFlow 設計,因此它不會阻止你訪問 Tensor 和 variable_scope 這樣的底層細節。用 Sonnet 編寫的模型可以與原始 TensorFlow 代碼,及其他高級庫中的代碼自由融合。
Sonnet 的發布不是一次性的,我們將持續更新 Github 以使其符合 DeepMind 的內部版本。我們對目前 Sonnet 的功能還有很多想法,它們將陸續成為現實。我們非常感謝來自開源社區的貢獻。
GitHub 鏈接:https://github.com/deepmind/sonnet
安裝步驟
若想安裝 Sonnet,你需要使用 bazel 依靠 TensorFlow 頭文件對這個庫進行編譯。請按照指定步驟安裝 TensorFlow:
https://www.tensorflow.org/install/
該庫兼容 Linux/Mac OS X 和 Python 2.7。TensorFlow 的版本必須至少為 1.0.1。Sonnet 支持 TensorFlow 的 virtualenv 安裝模式,以及 nativ pip 安裝。
安裝 BAZEL
請確保你擁有版本的 bazel(至少為 0.4.5 版),如果版本過舊,請遵循以下步驟:
https://bazel.build/versions/master/docs/install.html
Virtualenv TensorFlow 安裝
如果你想使用 virtualenv,請在安裝時急活你的 virtualenv,或跳過此步驟:
$ source $VIRTUALENV_PATH/bin/activate # bash, sh, ksh, or zsh
$ source $VIRTUALENV_PATH/bin/activate.csh # csh or tcsh
配置 TensorFlow 頭文件
首先復制 Sonnet 和 TensorFlow 的源代碼作為一個子模塊:
$ git clone --recursive https://github.com/deepmind/sonnet
然后使用 configure:
$ cd sonnet/tensorflow
$ ./configure
$ cd ../
你可以在 TensorFlow 配置期間選擇建議的默認值。注意:這不會修改你現有的 TensorFlow 安裝。這一步是讓 Sonnet 構建于 TensorFlow 頭文件上的必要步驟。
構建和運行安裝程序
運行安裝腳本,在臨時目錄中創建一個 wheel file:
$ mkdir /tmp/sonnet
$ bazel build --config=opt :install
$ ./bazel-bin/install /tmp/sonnet
pip install 生成的 wheel file:
$ pip install /tmp/sonnet/*.whl
如果已安裝 Sonnet,卸載 wheel file 上之前的 pip install :
$ pip uninstall sonnet
你可以通過嘗試重采樣(resampler op)這樣的操作來驗證 Sonnet 是否安裝成功:
$ cd ~/
$ python>>> import sonnet as snt>>> import tensorflow as tf>>> snt.resampler(tf.constant([0.]), tf.constant([0.]))
預計的輸出應該是:
當然,如果引入了 ImportError,C++組件未找到時,請確保你沒有導入復制的源代碼(即在復制的資源庫外調用 Python),并在安裝 wheel file 前卸載 Sonnet。?
原文鏈接:https://deepmind.com/blog/open-sourcing-sonnet/
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法,實際應用案例分享與討論,分析工具,ETL工具,數據倉庫,數據挖掘工具,報表系統等全方位知識
QQ群:81035754
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/4506.html
摘要:我們對種用于數據科學的開源深度學習庫作了排名。于年月發布了第名,已經躋身于深度學習庫的上半部分。是最流行的深度學習前端第位是排名較高的非框架庫。頗受對數據集使用深度學習的數據科學家的青睞。深度學習庫的完整列表來自幾個來源。 我們對23種用于數據科學的開源深度學習庫作了排名。這番排名基于權重一樣大小的三個指標:Github上的活動、Stack Overflow上的活動以及谷歌搜索結果。排名結果...
摘要:神經網絡的注意機制已經引起了廣泛關注。什么是通俗地說,神經網絡注意機制是具備能專注于其輸入或特征的神經網絡,它能選擇特定的輸入。在實踐中,它們可以被一維高斯函數向量實現。 神經網絡的注意機制(Attention Mechanisms)已經引起了廣泛關注。在這篇文章中,我將嘗試找到不同機制的共同點和用例,講解兩種soft visual attention的原理和實現。什么是attention?...
摘要:現場宣布全球領先的深度學習開源框架正式對外發布版本,并保證的本次發布版本的接口滿足生產環境穩定性要求。有趣的應用案例皮膚癌圖像分類皮膚癌在全世界范圍內影響深遠,患病人數眾多,嚴重威脅身體機能。 前言本文屬于介紹性文章,其中會介紹許多TensorFlow的新feature和summit上介紹的一些有意思的案例,文章比較長,可能會花費30分鐘到一個小時Google于2017年2月16日(北京時間...
閱讀 3728·2021-11-24 09:39
閱讀 2609·2019-08-30 15:54
閱讀 1148·2019-08-30 13:01
閱讀 3428·2019-08-28 18:30
閱讀 1622·2019-08-26 17:44
閱讀 3590·2019-08-26 11:31
閱讀 2412·2019-08-26 10:40
閱讀 1239·2019-08-26 10:27