摘要：它可以用來做語音識別，使得一個處理語音，另一個瀏覽它，使其在生成文本時可以集中在相關(guān)的部分上。它對模型使用的計算量予以處罰。

本文的作者是 Google Brain 的兩位研究者 Chris Olah 和 Shan Carter，重點介紹了注意力和增強循環(huán)神經(jīng)網(wǎng)絡(luò)，他們認(rèn)為未來幾年這些「增強 RNN（augmented RNN）」將在深度學(xué)習(xí)能力擴展中發(fā)揮重要的作用。

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks）是深度學(xué)習(xí)的重要組成部分，讓神經(jīng)網(wǎng)絡(luò)可以處理諸如文本、音頻和視頻等序列數(shù)據(jù)。它們可被用來做序列的高層語義理解、序列標(biāo)記，甚至可以從一個片段生產(chǎn)新的序列！

基本的 RNN 結(jié)構(gòu)難以處理長序列，然而一種特殊的 RNN 變種即「長短時記憶模型（LSTM）」網(wǎng)絡(luò)可以很好地處理長序列問題。這種模型能力強大，能在翻譯、語音識別和圖像描述等眾多任務(wù)中均取得里程碑式的效果。因而，循環(huán)神經(jīng)網(wǎng)絡(luò)在最近幾年已經(jīng)得到了廣泛使用。

正如所發(fā)生的一樣，我們看到給 RNN 添加新性能的研究工作越來越多。其中有四個特別突出的方向非常激動人心：

這些技術(shù)都是 RNN 非常有效的擴展，但真正引人注目的是它們可以有效地組合起來，而且似乎正要進入一片更為廣闊的天地。此外，它們都依賴于注意力（attention）這樣一種同樣基礎(chǔ)的技術(shù)才能有效。

我們認(rèn)為未來幾年這些「增強 RNN（augmented RNN）」將在深度學(xué)習(xí)能力擴展中發(fā)揮重要的作用。

神經(jīng)圖靈機

神經(jīng)圖靈機（Graves, et al., 2014）是一個 RNN 和一個外部存儲庫的結(jié)合。由于向量（vector）是神經(jīng)網(wǎng)絡(luò)的自然語言，所以這個記憶是一個向量數(shù)組：

但是，讀和寫是怎么工作的呢？其難點在于我們想讓它們可微分（differentiable）。尤其是，我們想讓它們對于我們讀或?qū)懙奈恢檬强晌⒌?，以使得我們可以學(xué)習(xí)讀和寫的位置。這是棘手的，因為內(nèi)存地址似乎從根本上就是離散的。神經(jīng)圖靈機（NTM）運用了一種非常聰明的解決方案：在每一步，它們以不同程度在所有地方都進行讀和寫。

讓我們舉一個關(guān)于讀的例子。RNN 給出一個「注意力分配」來描述我們在所關(guān)心的不同記憶位置展開多少，而不是指定一個位置。因此，讀操作的結(jié)果是一個加權(quán)和（weighted sum）。

同樣地，我們以不同程度同時在所有地方執(zhí)行寫操作。同時一個注意力分布描述了我們在每個位置寫的多少。我們通過獲得一個存儲位置中的新的值來實現(xiàn)這一點，這個值是由舊記憶和寫入值與由注意力權(quán)重決定的兩者之間位置的凸組合。

但是，NTMs 如何決定應(yīng)該關(guān)注記憶中的哪些位置呢？實際上，他們使用了兩種方法的組合：基于內(nèi)容的注意力和基于位置的注意力?；趦?nèi)容的注意力使 NTMs 可以在記憶中查找并關(guān)注與那些與查找相匹配的地方，而基于位置的注意力可以實現(xiàn)記憶中的相對運動，從而使 NTM 可以循環(huán)。

這種讀寫能力使得 NTMs 可以執(zhí)行許多簡單的算法，超越以前的神經(jīng)網(wǎng)絡(luò)。例如，它們可以學(xué)習(xí)在記憶中存儲一個長序列，然后循環(huán)它，不斷回答指令。當(dāng)它們做這些時，我們可以看他們讀寫的位置，以更好地了解他們在做什么：

他們也可以學(xué)習(xí)模仿一個查閱表，甚至學(xué)習(xí)排序（盡管他們有些作弊）！在另一方面，他們始終不能做數(shù)字加法、乘法等許多基本的事情。

從原始的 NTM 論文開始，已經(jīng)有許多令人振奮的論文探討相似的方向。神經(jīng) GPU（Kaiser & Sutskever，2015）克服 NTM 無法處理數(shù)字加法和乘法的問題。Zaremba & Sutskever 在 2016 年采用強化學(xué)習(xí)來訓(xùn)練 NTMs，而不是原始的可微的讀/寫。神經(jīng)隨機存取機 (Kurach et al., 2015) 基于指針工作。一些論文已經(jīng)探討可微的數(shù)據(jù)結(jié)構(gòu)，如堆棧和隊列 (Grefenstette et al. 2015; Joulin & Mikolov, 2015)。另外，記憶網(wǎng)絡(luò) (Weston et al., 2014; Kumar et al., 2015) 是攻克類似問題的另一種方式。

在某些客觀意義上，這些模型可執(zhí)行許多任務(wù)，如學(xué)習(xí)如何做數(shù)字加法，都不是很難。對傳統(tǒng)的程序合成領(lǐng)域來說只是小菜一碟。但是神經(jīng)網(wǎng)絡(luò)可以做許多其他事情，而像神經(jīng)圖靈機這樣的模型似乎已經(jīng)打破了對它們能力的極大限制。

代碼

有一些實現(xiàn)這些模型的開源代碼。神經(jīng)圖靈機的開源實現(xiàn)包括 Taehoon Kim (TensorFlow)、Shawn Tan (Theano)、Fumin (Go)、Kai Sheng Tai (Torch)、和 Snip (Lasagne) 做的部署。神經(jīng) GPU 公開版的代碼是開源的，并放在 TensorFlow 模型庫。記憶網(wǎng)絡(luò)的開源實現(xiàn)包括 Facebook (Torch/Matlab)、YerevaNN (Theano)、和 Taehoon Kim (TensorFlow)。

注意力接口

當(dāng)我翻譯一個句子時，我會尤其關(guān)注于我正在翻譯的單詞。當(dāng)我轉(zhuǎn)錄一個音頻，我會仔細(xì)聽我正在寫的那一段。如果你讓我來描述我所坐的房間，我會隨時把目光轉(zhuǎn)移到我正在描述的物體上。

神經(jīng)網(wǎng)絡(luò)可以通過注意力來實現(xiàn)同樣的行為——關(guān)注所收到信息子集的一部分。例如，一個 RNN 參與另一個網(wǎng)絡(luò)的輸出。在每一個時間步驟，它會關(guān)注于另一個 RNN 的不同位置。

我們希望注意力是可微的，這樣我們就可以學(xué)習(xí)關(guān)注哪里。為了做這個，我們使用了和神經(jīng)圖靈機中一樣的 trick：關(guān)注所有位置，只是程度不一樣。

通常是使用基于內(nèi)容的注意力生成注意力分布。參與的 RNN 會生成一個描述它想關(guān)注內(nèi)容的查詢。每一個條目和這個查詢做點乘來產(chǎn)生一個分?jǐn)?shù)，這個分?jǐn)?shù)描述這個條目與查詢匹配程度。這些分?jǐn)?shù)被輸入一個 softmax 來生成注意力分布。

RNNs 之間注意力的一個應(yīng)用是翻譯 (Bahdanau, et al. 2014)。一個傳統(tǒng)的序列到序列模型需要將整個輸入抽象成一個向量，然后將它展開回復(fù)出來。注意力規(guī)避了這種做法，它讓 RNN 沿著它看見的每個單詞信息來處理輸入，然后讓 RNN 生成輸出來關(guān)注到具有相關(guān)性的單詞上。

Diagram derived from Fig. 3 of Bahdanau, et al. 2014

這種 RNNs 之間的注意力有許多其他應(yīng)用。它可以用來做語音識別 (Chan, et al. 2015)，使得一個 RNN 處理語音，另一個 RNN 瀏覽它，使其在生成文本時可以集中在相關(guān)的部分上。

這種注意力的其他應(yīng)用包括：文本解析 (Vinyals, et al., 2014)，它使模型在生成解析樹時能瀏覽單詞；對話建模 (Vinyals & Le, 2015)，使模型在生成響應(yīng)時關(guān)注于對話的前面部分。

注意力同樣可以用在卷積神經(jīng)網(wǎng)絡(luò)和 RNN 的接口。它使得 RNN 在每一步可以觀察一張圖像的不同位置。這種記憶力的一個流行應(yīng)用就是圖片描述（image captioning）。首先，一個卷積網(wǎng)絡(luò)處理圖片提取高層特征。然后一個 RNN 開始運營，生成一段對圖像的描述。在生成這個描述的每一個單詞時，RNN 關(guān)注于圖像相關(guān)部分的卷積網(wǎng)絡(luò)解釋。如下圖：

更廣泛地說，當(dāng)希望與一個在輸出具有重復(fù)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)交互時，注意力接口都可以被采用。

我們發(fā)現(xiàn)，注意力接口已經(jīng)是一個非常普遍和強大的技術(shù)，并且正變得越來越普遍。

自適應(yīng)計算時間

標(biāo)準(zhǔn) RNN 在每一個時間步驟完成相同的計算量。這看起來不是很直觀。一個人當(dāng)然在問題變得困難的時候思考的更多，不是么？這也限制了 RNN 在 長度為 n 的鏈表上完成 O(n) 的運算。

自適應(yīng)計算時間（Graves，2016），是讓 RNN 在每一步有不同計算量的方式。核心想法很簡單：允許 RNN 在每一時間步驟做多個計算步驟。

為了讓網(wǎng)絡(luò)學(xué)習(xí)有多少步驟要做，我們想要步驟的數(shù)量是可微分的。我們采用之前用過的技巧完成這項任務(wù)：不再是決定運行不連續(xù)數(shù)量的步驟，而是有一個在運行步驟數(shù)量上的注意分布。輸出是每個步驟輸出的加權(quán)求和。

有一些細(xì)節(jié)在先前的圖解中被忽視了。這兒是一個完整的、包含一個時間步驟、三個計算步驟的圖解。

這里稍有些復(fù)雜，所以讓我們一步一步解決。在高層次上，我們?nèi)赃\行著 RNN，并輸出狀態(tài)的加權(quán)求和：

每一步的權(quán)值由「阻止神經(jīng)元（halting neuron）」所決定。它是一個考察 RNN 狀態(tài)的 S 型神經(jīng)元，并產(chǎn)生一個阻止權(quán)值，我們可以認(rèn)為這個權(quán)值是我們應(yīng)該在那個步驟停下來的概率。

我們對于阻止權(quán)重（halting weight）為 1 的有總預(yù)算，所以我們順著頂層跟蹤這個預(yù)算。當(dāng)這個值小于 epsilon，我們停止。

由于我們是當(dāng)預(yù)算值小于 epsilon 的時候停止，當(dāng)我們停止時可能會剩余一些阻止預(yù)算（halting budget）。我們應(yīng)該用它做什么呢？技術(shù)上，它應(yīng)被賦予給未來的步驟，但是我們不想計算那些，所以我們將它歸屬于最后一個步驟。

當(dāng)在訓(xùn)練自適應(yīng)計算時間模型時，有人在成本函數(shù)中增加了「考慮成本（ponder cost）」這一術(shù)語。它對模型使用的計算量予以處罰。這個值越大，在性能和降低計算時間進行更多地權(quán)衡。

自適應(yīng)計算時間是非常新的想法，但是我們相信，與其他類似的想法一樣，它們都將是非常重要的想法。

代碼

如今，部署自適應(yīng)計算時間的一個開源，看起來是 Mark Neumann（https://github.com/DeNeutoy/act-tensorflow）做的。（TensorFlow）

神經(jīng)編程器（Neural Programmer）

神經(jīng)網(wǎng)絡(luò)在許多任務(wù)上表現(xiàn)出色，但是它們也在努力做一些基礎(chǔ)事情，例如用普通方法計算很瑣碎的算數(shù)。如果有一種方式能融合神經(jīng)網(wǎng)絡(luò)與普通的編程，并吸收各自較好的東西，那真是太好了。

神經(jīng)編程器（Neelakantan，et al.，2015）是其中一種方式。為了解決一項任務(wù)，它學(xué)習(xí)創(chuàng)建程序。事實上，在不需要正確的程序樣本的情況下，它學(xué)習(xí)生成這樣的程序。它發(fā)現(xiàn)如何生產(chǎn)程序，并把它作為完成任務(wù)的手段。

論文中的實際模型回答了關(guān)于產(chǎn)生類 SQL 的程序查詢表格的問題。然而，這有很多的細(xì)節(jié)使得這個問題稍有些復(fù)雜，所以讓我們從想象一個稍簡單的模型開始，給定一個算術(shù)表達式，并生成一個程序?qū)ζ溥M行評估。

生成程序是一系列的運算。每個運算被定義為在上個運算輸出上做運算。所以一個運算可能是例如「在兩個步驟前的輸出運算和一個步驟前的輸出運算相加」這樣的事情。這相比與一個有著可被賦值與讀取的變量的程序，更像是 Unix 中的管道（pipe）。

程序挨次通過控制器 RNN 生成一個運算。在每一步，控制器 RNN 輸出一個概率分布，決定下一個運算該是什么。例如，我們可能非常確定我們想要在第一個步驟執(zhí)行加法，然后要有有一個艱難的時間決定第二步我們應(yīng)該是乘法還是除法，等等下去......

運算上的結(jié)果分布可被評估。不再是在每一步運行單個運算，如今我們采用常見的注意技巧運行所有運算，之后平均所有輸出，通過我們運行這些運算的概率對其加權(quán)。

只要我們通過該運算能夠定義導(dǎo)數(shù)，關(guān)于概率的程序輸出就是可微分的。之后我們就能定義損失，并訓(xùn)練神經(jīng)網(wǎng)絡(luò)生成得到正確答案的程序。在這種方式中，神經(jīng)編程器在沒有正確程序樣本的情況下學(xué)習(xí)產(chǎn)生程序。的監(jiān)督是程序應(yīng)該得到的答案。

這就是神經(jīng)編程器的核心觀點，但論文中回答的是關(guān)于表格的問題，而不是數(shù)學(xué)表達式的問題。下面是一些額外的靈活技巧：

多類別：神經(jīng)編程器中的很多預(yù)算都是處理類型而不是標(biāo)量數(shù)。一些運算輸出表格中選中的列或是選中的單元。只有輸出相同類型的會合并在一起。

基準(zhǔn)輸入：在給定人口的城市表格情況下，神經(jīng)編程器需要回答例如「有多少城市人口超過 1000000？」這樣的問題。為了使這項任務(wù)更容易，一些運算允許網(wǎng)絡(luò)參考它們正在回答的問題或是類名中的常量。參考通過注意機制以指針網(wǎng)絡(luò)的形式（Vinyals，et al.，2015）而產(chǎn)生。

神經(jīng)編程器不是讓神經(jīng)網(wǎng)絡(luò)生成程序的方式。另一個令人愉快的方式是神經(jīng)編程器——解釋器（Neural Programmer-Interpreter，Reed & de Freitas，2015），它能夠完成許多非常有趣的任務(wù)，但是形式上需要正確程序的監(jiān)督。

我們認(rèn)為縮小傳統(tǒng)編程與神經(jīng)網(wǎng)絡(luò)之間的差距是極其重要的。雖然神經(jīng)編程器顯然不是最終的解決方案，但我們認(rèn)為從它之中能學(xué)習(xí)到許多重要的思路。

代碼

現(xiàn)在看起來沒有任何神經(jīng)編程器的開源部署，但是有一個 Ken Morishita（https://github.com/mokemokechicken/keras_npi）部署的神經(jīng)編程器——解釋器。（Keras）

巨大的藍圖

擁有一張紙的人在某些意義上比沒有的人要更聰明。會使用數(shù)字符號的人可以解決一些問題，反之則不然。使用計算機可以使我們掌握超越自身的令人難以置信的技能。

總之，智能很多有趣的形式是人類富有創(chuàng)造力和啟發(fā)性的直覺與更加脆弱細(xì)致的媒介（就像語言和方程式）之間的交互。有時，媒介是物理實體，保存我們的信息，防止我們犯錯誤，或者處理繁重的計算任務(wù)。另一方面，媒介是我們可以控制的大腦里的模型。無論哪種方式，它看起來都是智能的深厚基礎(chǔ)。

最近在機器學(xué)習(xí)的研究結(jié)果已經(jīng)開始呈現(xiàn)這種趨勢，將神經(jīng)網(wǎng)絡(luò)的直覺與其他事物結(jié)合起來。有一種被稱為「啟發(fā)式搜索」的方法。例如，AlphaGo（Silver，et al.，2016）有個關(guān)于圍棋如何運作的模型，并探索如何在神經(jīng)網(wǎng)絡(luò)的直覺指引下完成比賽。相似的，DeepMath（Alemi，et al.，2016）把神經(jīng)網(wǎng)絡(luò)作為對處理數(shù)學(xué)公式的直覺。我們在這篇文章中談到的「增強遞歸神經(jīng)網(wǎng)絡(luò)」是另一種方式，我們將 RNNs 連接到工程媒介來延伸它們的通用能力。

與媒介自然交互涉及到采取行動、觀察、采取更多行動等一系列操作。這給我們帶來一項重大挑戰(zhàn)——我們?nèi)绾螌W(xué)習(xí)采取哪種行動？這看起來像是一個強化學(xué)習(xí)問題，我們將毫無疑問采用那種方式。但強化學(xué)習(xí)的研究確實正在攻克最難的問題，它的解決方案很難用。而注意力的絕妙支出在于它提供給我們一個更容易的方式，通過部分的在不同程度上采取所有去解決這個問題。在這種方法下，我們能夠設(shè)計媒介——例如 NTM 存儲器——允許分?jǐn)?shù)運算以及可微。強化學(xué)習(xí)讓我們走向單一道路，并嘗試從中學(xué)習(xí)。而注意力會嘗試岔路口的每一個方向，并將道路合并到一起。

注意力的一個主要弱點是我們必須完成每步中的每個「行動」。當(dāng)一個神經(jīng)圖靈機中的記憶量增加時，計算開銷會呈線性增長。對此你可以想到一個解決方案，即讓你的注意力變得稀疏，這樣你就可以只接觸到一些記憶。然而這仍然是個挑戰(zhàn)，因為你可能希望你的注意力完全基于記憶內(nèi)容，以使你可以輕易的觀察到每一個記憶。我們已經(jīng)觀察到一些可以攻克這個問題的初步嘗試，例如 Andrychowicz & kurach 所提出的方法，但看起來還有更多的事情要去做。如果我們確實能做到類似次線性時間注意力工作，那將非常強大！

增強式遞歸神經(jīng)網(wǎng)絡(luò)，以及注意力的潛在技術(shù)，是非常令人激動的。我們期待看到接下來會發(fā)生什么。

參考文獻：

Alemi, A. A., Chollet, F., Irving, G., Szegedy, C., & Urban, J. (2016). DeepMath-Deep Sequence Models for Premise Selection. arXiv preprint arXiv:1606.04442.

Andrychowicz, M., & Kurach, K. (2016). Learning Efficient Algorithms with Hierarchical Attentive Memory. arXiv preprint arXiv:1602.03218.

Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473.

Chan, W., Jaitly, N., Le, Q. V., & Vinyals, O. (2015). Listen, attend and spell. arXiv preprint arXiv:1508.01211.

Graves, A., Wayne, G., & Danihelka, I. (2014). Neural turing machines. arXiv preprint arXiv:1410.5401.

Graves, A. (2016). Adaptive Computation Time for Recurrent Neural Networks. arXiv preprint arXiv:1603.08983.

Grefenstette, E., Hermann, K. M., Suleyman, M., & Blunsom, P. (2015). Learning to transduce with unbounded memory. In Advances in Neural Information Processing Systems (pp. 1828-1836).

Joulin, A., & Mikolov, T. (2015). Inferring algorithmic patterns with stack-augmented recurrent nets. In Advances in Neural Information Processing Systems (pp. 190-198).

Kaiser, ?., & Sutskever, I. (2015). Neural gpus learn algorithms. arXiv preprint arXiv:1511.08228.

Kumar, A., Irsoy, O., Su, J., Bradbury, J., English, R., Pierce, B., Ondruska, P., Gulrajani, I. & Socher, R., (2015). Ask me anything: Dynamic memory networks for natural language processing. arXiv preprint arXiv:1506.07285.

Kurach, K., Andrychowicz, M., & Sutskever, I. (2015). Neural random-access machines. arXiv preprint arXiv:1511.06392.

Neelakantan, A., Le, Q. V., & Sutskever, I. (2015). Neural programmer: Inducing latent programs with gradient descent. arXiv preprint arXiv:1511.04834.

Olah, C. (2015). Understanding LSTM Networks.

Reed, S., & de Freitas, N. (2015). Neural programmer-interpreters. arXiv preprint arXiv:1511.06279.

Silver, D., Huang, A., Maddison, C.J., Guez, A., Sifre, L., Van Den Driessche, G., Schrittwieser, J., Antonoglou, I., Panneershelvam, V., Lanctot, M. & Dieleman, S. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529(7587), 484-489.

Vinyals, O., Kaiser, ?., Koo, T., Petrov, S., Sutskever, I., & Hinton, G. (2015). Grammar as a foreign language. In Advances in Neural Information Processing Systems (pp. 2773-2781).Vinyals, O., & Le, Q. (2015). A neural conversational model. arXiv preprint arXiv:1506.05869.

Vinyals, O., Fortunato, M., & Jaitly, N. (2015). Pointer networks. In Advances in Neural Information Processing Systems (pp. 2692-2700).

Weston, J., Chopra, S., & Bordes, A. (2014). Memory networks. arXiv preprint arXiv:1410.3916.

Xu, K., Ba, J., Kiros, R., Cho, K., Courville, A., Salakhutdinov, R., Zemel, R.S. & Bengio, Y., 2015. (2015). Show, attend and tell: Neural image caption generation with visual attention. arXiv preprint arXiv:1502.03044, 2(3), 5.

Zaremba, W., & Sutskever, I. (2015). Reinforcement learning neural Turing machines. arXiv preprint arXiv:1505.00521, 362.

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754