摘要：意味著完全保持，意味著完全丟棄。卡比獸寫這篇博文的時間我本可以抓一百只，請看下面的漫畫。神經網絡神經網絡會以的概率判定輸入圖片中的卡比獸正在淋浴，以的概率判定卡比獸正在喝水，以的概率判定卡比獸正在遭遇襲擊。最終結果是卡比獸正在遭遇襲擊

我第一次學習 LSTM 的時候，它就吸引了我的眼球。事實證明 LSTM 是對神經網絡的一個相當簡單的擴展，而且在最近幾年里深度學習所實現的驚人成就背后都有它們的身影。所以我會盡可能直觀地來呈現它們——以便你們自己就可以弄明白。

首先，讓我們來看一幅圖：

LSTM 很漂亮吧？讓我們開始吧！

（提示：如果你已經熟知神經網絡和 LSTM，請直接跳到中間部分，本文的前半部分是入門級概述。）

神經網絡

想象一下，我們有一部電影的圖像序列，我們想用一個活動來標記每一副圖像（例如，這是一場戰斗嗎？圖中的人物在交談嗎？圖中的人物在吃東西嗎......）

我們如何做到這一點呢？

一種方法就是忽略圖像的順序本質，構造將每幅圖像多帶帶考慮的圖像分類器。例如，在提供足夠多的圖像和標簽時：

我們的算法首先檢測到較低水平的模式，例如形狀和邊緣。

在更多的數據下，它可能學會將這些模式組合成更加復雜的模式，例如人臉（兩個圓形東西下面有一個三角形的東西，下面還有一個橢圓形的東西），或者貓。

甚至在更多的數據下，它可能學會把這些高水平的模式映射到活動本身（具有嘴巴、牛排和叉子的情景可能與吃有關）。

那么，這就是一個深度神經網絡（deep neural network）：它使用一副圖片作為輸入返回一個活動作為輸出，就像我們可以在不了解任何關于狗的知識就可以學會在狗的行為中檢測到模式一樣（在看了足夠多的柯基犬之后，我們會發現一些諸如毛茸茸的屁股和鼓槌般的腿），深度神經網絡可以通過隱藏層的表征來學會表示圖片。

數學描述

我假定讀者早已熟悉了基本的神經網絡，下面讓我們來快速地復習一下吧。

寫成矩陣形式如下：

其中

x 是輸入向量

W 是連接輸入和隱藏層的權重矩陣

V 是連接隱藏層和輸出的權重矩陣

常用的激活函數?分別是 sigmoid 函數σ(x)，它可以將數字壓縮在（0,1）的范圍；雙曲正切函數（hyperbolic tangent）tanh(x)，它將數字壓縮在（-1,1）的范圍；以及修正線性單元函數（rectified linear unit）函數，ReLU(x)=max(0,x)。

下面用一幅圖來描述神經網絡：

（注意：為了使符號更加簡潔，我假設 x 和 h 各包含一個代表學習偏差權重的固定為 1 的附加偏置神經元（bias neuron）。）

使用循環神經網絡（RNN）記憶信息

然而忽略電影圖像的序列信息只是最簡單的機器學習。如果我們看見了一副沙灘的景象，我們應該在之后的幀里強調沙灘的活動：某人在水中的圖片應該被更多可能地標記為游泳，而不是洗澡；某人閉著眼睛躺著的圖片應該被更多地標記為日光浴。如果我們記得 Bob 剛剛到了一家超市，那么即使沒有任何特別的超市特征，Bob 拿著一塊培根的照片應該更可能地被歸類為購物而不是烹飪。

所以我們想要的就是讓我們的模型去追蹤這個世界的狀態：

在看完每一張圖片之后，模型會輸出一個標簽，也會更新關于這個世界的知識。例如，模型可能學會自動地發現和追蹤位置（目前的場景是在室內還是在沙灘？）、一天中的時間（如果場景中包含月亮，那么模型應該記住現在是晚上）以及電影中的進度（這是第一張圖還是第 100 幀？）等信息。至關重要的是，就像神經網絡能夠在沒有被饋送信息的情況下自動地發現隱藏的邊緣、形狀以及人臉等圖像一樣，我們的模型也應該依靠它們自己來發現一些有用的信息。

在被給定一張新圖片的時候，模型應該結合已經收集到的知識來做出更好的工作。

這就是一個循環神經網絡（RNN）。除了簡單地輸入一幅圖像并返回一個活動標簽，RNN 也會維護內部關于這個世界的知識（就是分配給不同信息片段的權重），以幫助執行它的分類。

數學描述

所以，讓我們把內部知識（internal knowledge）的概念加入到我們的方程中吧，我們可以將內部記憶看做網絡會隨著時間進行維護的信息片段的記憶。

但是這是容易的：我們知道神經網絡的隱藏層早已將輸入的有用信息做了編碼，所以我們為何不把這些隱藏層作為記憶呢？這就有了我們的 RNN 方程：

注意在時間 t 計算得到的隱藏狀態 ht（ht 就是我們這里的內部知識）會被反饋到下一個時間。（另外，我會使用例如隱藏狀態、知識、記憶以及信念這樣的詞語來變換地描述 ht）

通過 LSTM 來實現更長時間的記憶

讓我們來思考一下模型是如何更新關于這個世界的知識的。到目前為止，我們還沒有給這種更新施加任何限制，所以它的知識可能變得非常混亂：在一幀圖像里面它會認為人物在美國，在下一幀它看到人在吃壽司，就會認為人是在日本，在其后的一幀它看到了北極熊，就會認為他們是在伊茲拉島。或者也許它有大量的信息表明 Alice 是一名投資分析師，但是在它看到了她的廚藝之后它就會認定她是一名職業殺手。

這種混亂意味著信息在快速地轉移和消失，模型難以保持長期的記憶。所以我們想要的是讓網絡學會如何讓它以一種更加溫和的方式來進化自己關于這個世界的知識，從而更新自己的信念（沒有 Bob 的場景不應該改變關于 Bob 的信息包含 Alice 的場景應該聚焦于收集關于她的一些細節信息）。

下面是我們如何做這件事的 4 種方式：

添加一個遺忘機制（forgetting mechanism）：如果一個場景結束了，模型應該忘記當前場景中的位置，一天的時間并且重置任何與場景相關的信息；然而，如果場景中的一個人死掉了，那么模型應該一直記住那個死去的人已經不再活著了。因此，我們想要模型學會一種有區分的遺忘/記憶機制：當新的輸入到來時，它需要知道記住哪些信念，以及丟棄哪些信念。

添加一個保存機制（saving mechanism）：當模型看到一副新的圖片時，它需要學習關于這張圖片的信息是否值得使用和保存。或許你媽媽給了你一片關于凱莉·詹娜的文章，但是誰會在乎呢？

所以當新的輸入來臨時，模型首先要忘掉任何它認為不再需要的長期記憶信息。然后學習新輸入的哪些部分是值得利用的，并將它們保存在自己的長期記憶中。

將長期記憶聚焦在工作記憶中：最后，模型需要學習長期記憶中的哪些部分是即刻有用的。例如，Bob 的年齡可能是一條需要長期保持的信息（兒童很可能正在玩耍，而成年人很可能正在工作），但是如果他不在當前的場景中，那么這條信息很可能就不是特別相關。所以，模型學習去聚焦哪一部分，而不總是使用完全的長期記憶。

這就是一個長短期記憶網絡（long short-term memory network）。LSTM 會以一種非常較精確的方式來傳遞記憶——使用了一種特定的學習機制：哪些部分的信息需要被記住，哪些部分的信息需要被更新，哪些部分的信息需要被注意。與之相反，循環神經網絡會以一種不可控制的方式在每一個時間步驟都重寫記憶。這有助于在更長的時間內追蹤信息。

數學描述

讓我們來對 LSTM 做一下數學描述。

在時間 t，我們收到了新的輸入 xt。我們也有自己的從之前的時間步中傳遞下來的長期記憶和工作記憶，ltm（t?1）以及 wm（t?1）（兩者都是 n 維向量），這就是我們想要更新的東西。

我們將要開始我們的長期記憶。首先，我們需要知道哪些長期記憶需要保持，哪些需要丟棄，所以我們想要使用新的輸入和我們的工作記憶來學習一個由 n 個介于 0 和 1 之間的數字組成的記憶門，每一個數字都決定一個長期記憶的元素被保持多少。（1 意味著完全保持，0 意味著完全丟棄。）

（思考一下當你在網頁上讀到某些內容的時候會發生什么。當一條新聞文章可能包含希拉里的信息時，如果消息來源是 Breitbart，那你就應該忽略它。）

現在讓我們把所有這些步驟結合起來。在忘掉我們認為將來不會再次用到的信息以及保存有用的新來的信息之后，我們就有了更新的長期記憶：

而 LSTM 使用數個方程：

其中每一個記憶/注意子機制只是 LSTM 的一個迷你形式：

（注意：我在這里使用的術語和變量的名字和通常文獻中是有所不同的。以下是一些標準名稱，以后我將會交換使用：

長期記憶 ltm(t), 通常被稱為**cell state**, 簡寫 c(t).

工作記憶 wm(t) 通常被稱為**hidden state**, 簡寫 h(t)。這個和普通 RNN 中的隱藏狀態是類似的。

記憶向量 remember(t)，通常被稱為**forget gate** (盡管遺忘門中，1 仍舊意味著完全保持記憶 0 意味著完全忘記)，簡稱 f(t)。

保存向量 save(t)，通常被稱為 input gate，（因為它決定輸入中有多少被允許進入 cell state），簡稱 i(t)。

注意向量 focus(t)，通常被稱為 output gate，簡稱 o(t)。

卡比獸

寫這篇博文的時間我本可以抓一百只 Pidgeys，請看下面的漫畫。

神經網絡

神經網絡會以 0.6 的概率判定輸入圖片中的卡比獸正在淋浴，以 0.3 的概率判定卡比獸正在喝水，以 0.1 的概率判定卡比獸正在遭遇襲擊。

循環神經網絡

當循環神經網絡被用來做這件事的時候，它具有對前一幅圖的記憶。最終結果是卡比獸正在遭遇襲擊的概率為 0.6，卡比獸正在淋浴的概率是 0.3，卡比獸正在喝水的概率是 0.1。結果要明顯好于上一幅圖中的神經網絡。

LSTM

具備長期記憶的 LSTM，在記憶了多種相關信息的前提下，將對卡通圖畫中的場景描述準確的概率提高到了 0.9。

學會編程

讓我們來看一下一個 LSTM 可以做到的一些例子吧。遵循著 Andrej Karpathy 的精湛的博文（http://karpathy.github.io/2015/05/21/rnn-effectiveness/），我將使用字符級別的 LSTM 模型，這些模型接受字符序列的輸入，被訓練來預測序列中的下一個字符。

雖然這看起來有點玩笑，但是字符級別的模型確實是非常有用的，甚至比單詞級別的模型更加有用。例如：

試想一個自動編程器足夠智能，能夠允許你在你的手機上編程。從理論上講，一個 LSTM 模型能夠追蹤你當前所在函數的返回類型，可以更好地建議你返回那個變量；它也能夠在不經過編譯的情況下通過返回的錯誤類型就知道你是不是已經造成了一個 bug。

像機器翻譯這樣的自然語言處理應用在處理罕見詞條的時候經常會出現問題。你如何翻譯一個從未見過的單詞呢，或者你如何將一個形容詞轉換成動詞呢？即使你知道一條推文的意思，你如何生成一個新的標簽來描述它呢？字符級別的模型可以空想出新的項，所以這是另外一個具有有趣應用的領域。

所以就開始了，我啟動了一個 EC2 p2.xlarge spot 實例，并在 Apache Commons Lang 代碼庫（鏈接：https://github.com/apache/commons-lang）上訓練了一個 3 層的 LSTM 模型。以下是幾個小時后生成的程序：

盡管這段代碼確實不是完美的，但是它比很多我認識的數據科學家要做的好一些。我們可以發現 LSTM 已經學會了很多有趣的（也是正確的！）編程行為。

它懂得如何構造類： 最頂部有 license 相關的信息，緊跟著是 package 和 import，再然后是注釋和類的定義，再到后面是變量和函數。類似地，它知道如何創建函數：注釋遵循正確的順序（描述，然后是 @param，然后是 @return，等等），decorator 被正確放置，非空函數能夠以合適的返回語句結束。關鍵是，這種行為跨越了大篇幅的代碼——你看圖中的代碼塊有多大！

它還能夠追蹤子程序和嵌套級別：縮進總是正確的，if 語句和 for 循環總能夠被處理好。

它甚至還懂得如何構造測試。

那么模型是如何做到這一點的呢？讓我們來看一下幾個隱藏狀態。

下面是一個貌似在追蹤代碼外層縮進的神經元（當讀取字符作為輸入的時候，也就是說，在嘗試生成下一個字符的時候，每一個字符都被著上了神經元狀態的顏色；紅色的單元是負的，藍色的單元是正的）：

下面是一個統計空格數量的神經元：

娛樂一下，下面是在 TensorFlow 代碼庫上訓練得到的另一個不同的 3 層 LSTM 模型的輸出：

網絡上還有很多有趣的例子，如果你想了解更多，請查看：http://karpathy.github.io/2015/05/21/rnn-effectiveness/

研究 LSTM 的內部

讓我們再稍往深處挖掘一下。我們看一下上一部分隱藏狀態的例子，但是我也想玩轉 LSTM cell 狀態以及其他的記憶機制。我們期待著，它們會迸發出火花呢，還是會有令人驚喜的畫面？

計數

為了研究，讓我們從教一個 LSTM 計數開始。（你應該還記得 Java 和 Python 的 LSTM 模型是如何生成合適的縮進的！）所以我生成了如下形式的序列：

aaaaaXbbbbb

（N 個字母「a」，后面跟著一個字母分隔符 X，后面是 N 個字母「b」，其中 1 <= N <= 10），然后訓練一個具有 10 個隱藏神經元的單層 LSTM。

不出所料，LSTM 模型在訓練期間完美地學習--甚至能夠將生成推廣到幾步之外。（即使在開始的時候當我們嘗試讓它記到 19 的時候它失敗了。）

aaaaaaaaaaaaaaaXbbbbbbbbbbbbbbb

aaaaaaaaaaaaaaaaXbbbbbbbbbbbbbbbb

aaaaaaaaaaaaaaaaaXbbbbbbbbbbbbbbbbb

aaaaaaaaaaaaaaaaaaXbbbbbbbbbbbbbbbbbb

aaaaaaaaaaaaaaaaaaaXbbbbbbbbbbbbbbbbbb # Here it begins to fail: the model is given 19 "a"s, but outputs only 18 "b"s.

我們期望找到一個隱藏狀態神經元，它能夠在我們觀察模型內部的時候計出每一個 a 的數目。正如我們做的：

我開發了一個可以讓你玩轉 LSTM 的小型的 web app，神經元 #2 貌似既能夠記錄已經看到的 a 的數目，也能記錄已經看到的字符 b 的數目。（請記得，單元的顏色是根據激活程度著色的，從深紅色的 [-1] 到深藍色的 [+1]。）

那么 cell 的狀態是怎么樣的呢？它的行為類似于這樣：

有趣的是，工作記憶就像是長期記憶的「銳化版」。但是這個在一般情況是否成立呢？

這確實是成立的。（我正是我們所期望的，因為長期記憶被雙曲正切激活函數進行了壓縮，而且輸出門限制了通過它的內容。）例如，下圖是所有的 10 個 cell 在某一時刻的狀態。我們看到了大量的顏色很清淡的 cell，這代表它們的值接近 0。

相比之下，10 個工作記憶的神經元看起來更加聚焦。第 1、3、5、7 個神經元甚至在序列的前半部分全是 0。

讓我們再回頭看一下神經元 #2。這里有一些候選的記憶和輸入門。它們在每個序列的前半部分或者后半部分都是相對不變的——就像神經元在每一步都在進行 a+=1 或者 a-=1 的計算。

最后，這里是神經元 2 的整體概覽：

如果你想自己研究一下不同計數神經元，你可以在這個可視化 web app 中自己玩一下。

（注意：這遠遠不是一個 LSTM 模型可以學會計數的方式，我在這里只描述了一個而已。但是我認為觀察網絡行為是有趣的，并且這有助于構建更好的模型；畢竟，神經網絡中的很多思想都是來自于人腦。如果我們看到了意料之外的行為，我們也許會有能力設計出更加有效地學習機制。）

來自計數的計數

讓我們來看一下一個稍微有點復雜的計數器。這次，我生成了如下的序列形式：

aaXaXaaYbbbbb

（N 個 a 中間隨機地插入 X，后邊跟一個分隔符 Y，再后邊是 N 個 b。）LSTM 仍然必須數清楚 a 的數目，但是這一次需要忽略 X 的數目。

在這個鏈接中查看整個 LSTM（http://blog.echen.me/lstm-explorer/#/network?file=selective_counter）我們希望看到一個正在計數的神經元——一個正在計數的、每看到一個 X 輸入門就變成 0 的神經元。在我們做到了！

上圖是 neuron 20 的 cell 狀態。它的值一直保持增大，直到遇到分割字符 Y，然后就一直減小，直到序列的末尾——就像在計算一個隨著 a 增大，隨著 b 減小的變量 num_bs_left_to_print 一樣。

如果我們觀察它的輸入門，會看到它確實是將 X 的數量忽略了：

然而，有趣的是，候選的記憶會在有關聯的 X 上被完全激活--這證明了為什么需要哪些輸入門。（但是，如果輸入門不是模型架構的一部分，至少在這個簡單的例子中，網絡也會以其他的方式忽略 X 的數量。）

我們再來看一下神經元 10。

這個神經元是有趣的，因為它僅僅在讀取到 Y 的時候才會被激活—然而它還是能夠對序列中遇到的 a 字符進行編碼。（在圖中可能很難區分出來，但是序列中 a 的數目一樣的時候，Y 的顏色是相同的，即便不相同，差距也在 0.1% 以內。你可以看到，a 比較少的序列中 Y 的顏色要淺一些。）或許其他的神經元會看到神經元 10 比較松弛。

記憶狀態

下面我想研究一下 LSTM 是如何記憶狀態的。同樣的，我生成了以下形式的序列：

AxxxxxxYa

BxxxxxxYb

（也就是說，一個「A」或者「B」，后面跟著 1-10 個 x，然后是一個分割字符「Y」，最終以一個起始字符的小寫形式結尾。）這種情況下，網絡需要記住到底是一個「狀態 A」還是一個「B」狀態。

我們希望找到一個神經元能夠在記得序列是以「A」開頭的，希望找到另一個神經元記得序列是以「B」開頭的。我們做到了。

例如這里是一個「A」神經元，當讀取到「A」的時候它會激活，持續記憶，直到需要生成最后一個字母的時候。要注意，輸入門忽略了序列中所有的 x。

下面是對應的「B」神經元：

有趣的一點是，即使在讀取到分隔符「Y」之前，關于 A 和 B 的知識是不需要的，但是隱藏狀態在所有的中間輸入中都是存在的。這看上去有一點「低效」，因為神經元在計數 x 的過程中做了一些雙重任務。

復制任務

最后，讓我們來看一下 LSTM 是如何學會復制信息的。（回想一下我們的 Java 版的 LSTM 曾經學會了記憶并且復制一個 Apache license。）

（注意：如果你思考 LSTM 是如何工作的，記住大量的多帶帶的、細節的信息其實并不是它們所擅長的事情。例如，你可能已經注意到了 LSTM 生成的代碼的一個主要缺陷就是它經常使用未定義的變量—LSTM 無法記住哪些變量已經在環境中了。這并不是令人驚奇的事情，因為很難使用單個 cell 就能有效地對想字符一樣的多值信息進行編碼，并且 LSTM 并沒有一種自然的機制來連接相鄰的記憶以形成單詞。記憶網絡（memory networks）和神經圖靈機（neutral turing machine）就是兩種能夠有助于修正這個缺點的神經網絡的擴展形式，通過增加外部記憶組件。所以盡管復制并不是 LSTM 可以很有效地完成的，但是無論如何，去看一下它是如何完成這個工作是有趣的。）

針對這個復制任務，我訓練了一個很小的兩層 LSTM 來生成如下形式的序列：

baaXbaa

abcXabc

（也就是說，一個由 a、b、c3 種字符組成的子序列，后面跟著一個分隔符「X」，后面再跟著一個同樣的子序列）。

我不確定「復制神經元」到底應該是長什么樣子的，所以為了找到能夠記住部分初始子序列的神經元，我觀察了一下它們在讀取分隔符 X 時的隱藏狀態。由于神經網絡需要編碼初始子序列，它的狀態應該依據它們學到的東西而看起來有所不同。

例如，下面的這一幅圖畫出了神經元 5 在讀入分隔符「X」時候的隱藏狀態。這個神經元明顯將那些以「c」開頭的序列從那些不是以「c」開頭的序列中區分出來。

另一個例子，這是神經元 20 在讀入分隔符「X」時的隱藏狀態。看起來它選擇了那些以「b」開頭的子序列。

有趣的是，如果我們觀察神經元 20 的 cell 狀態，它貌似能夠捕捉這三種子序列。

這里是神經元 20 關于整個序列的 cell 狀態個隱藏狀態。請注意在整個初始序列中它的隱藏狀態是關閉的（也許這是期望之中的，因為它的記憶僅僅需要在某一點被動保持）。

然而，如果我們看得更加仔細一些，就會發現，只要下一個字符是「b」, 它就是正的。所以，與其說是以 b 字母開頭的序列，還不如說是下一個字符是 b 的序列。

就我所知，這個模式在整個網絡中都存在——所有的神經元貌似都在預測下一個字符，而不是在記住處在當前位置的字符。例如，神經元 5 貌似就是一個「下一個字符」預測器。

我不確定這是不是 LSTM 在學習復制信息時候的默認類型，或者復制機制還有哪些類型呢？

擴展

讓我們來回顧一下你如何自己來探索 LSTM。

首先，我們想要解決的大多數問題都是階段性的，所以我們應該把一些過去的學習結合到我們的模型中。但是我們早已知道神經網絡的隱藏層在編碼自己的信息，所以為何不使用這些隱藏層，將它們作為我們向下一步傳遞的記憶呢？這樣一來，我們就有了循環神經網絡（RNN）。

但是從我們的行為就能知道，我們是不愿意去追蹤知識的；當我們閱讀一篇新的政論文章時，我們并不會立即相信它所談論的內容并將其與我們自己對這個世界的信念所結合。我們選擇性地保存哪些信息，丟棄哪些信息，以及哪些信息可以用來決定如何處理下一次讀到的新聞。因此，我們想要學習收集、更新以及應用信息——為何不通過它們自己的小型神經網絡來學習這些東西呢？如此，我們就有了 LSTM。

現在我們已經走通了這個過程，我們也可以想出我們的修正：

例如，或許你認為 LSTM 區分長期記憶和工作記憶是愚蠢的行為—為何不使用一種記憶呢？或者，或許你能夠發現區分記憶門和保存門是多余的--任何我們忘記地東西都應該被新的信息代替，反之亦然。所以我們現在想出了一種流行的 LSTM 變種，門控循環神經網絡（GRU）：https://arxiv.org/abs/1412.3555

或者你可能認為，當決定哪些信息需要被記住、保存、注意的時候，我們不應該僅僅依靠我們的工作記憶—為什么不同時使用長期記憶呢？如此，你發現了 Peephole LSTM。

讓我們看一下最后的例子，使用一個兩層多的 LSTM 來訓練 Trump 的推特，盡管這是很大規模的數據集，但是這個 LSTM 已經足以學到很多模式。

例如，這是一個在標簽、URL 以及 @mention 中跟蹤位置的神經元：

這是一個合適的名詞檢測器（注意它并不是簡單的注重大寫單詞）：

這是一個助動詞+「to be」的檢測器（例如 will be, I"ve always been,has never been）

這是一個引文屬性：

這是一個 MAGA 和大小寫神經元：

這里是一些用 LSTM 生成的公告（ok，其中有一個是一條真正的推特，你猜一下哪個是）：

不幸的是，LSTM 僅僅學會了像瘋子一樣瘋狂書寫。

原文地址：http://blog.echen.me/2017/05/30/exploring-lstms/

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754