摘要：在過(guò)去的幾個(gè)月中，我對(duì)深度學(xué)習(xí)非常著迷，特別是它在自然語(yǔ)言處理中的應(yīng)用。對(duì)這篇文章可以簡(jiǎn)單總結(jié)如下如果我們學(xué)習(xí)莎士比亞的作品，然后一個(gè)字一個(gè)字的進(jìn)行學(xué)習(xí)。然后這個(gè)模型會(huì)產(chǎn)生一大堆看起來(lái)像莎士比亞風(fēng)格的文字。

作者：chen_h
微信號(hào) & QQ：862251340
微信公眾號(hào)：coderpai
簡(jiǎn)書(shū)地址：http://www.jianshu.com/p/f9ca...

本文的代碼請(qǐng)點(diǎn)擊這里。Talk is cheap, show me the code.

在過(guò)去的幾個(gè)月中，我對(duì)深度學(xué)習(xí)非常著迷，特別是它在自然語(yǔ)言處理中的應(yīng)用。我的大部分職業(yè)生涯都是在金融領(lǐng)域度過(guò)的，特別是在算法交易和交易數(shù)據(jù)替換方面。

我寫(xiě)這篇文章的想法直接來(lái)自我的工作經(jīng)驗(yàn)。我作為一名“深度學(xué)習(xí)”的愛(ài)好者時(shí)，對(duì)于深度學(xué)習(xí)我沒(méi)有很深入的了解。但是我希望我的理解可以表達(dá)到位，并且可以幫助到你。

在很多的 NLP 問(wèn)題中，我們最終會(huì)把序列編碼成一個(gè)固定大小的表示，然后將這個(gè)編碼再解碼成另一個(gè)序列。例如，我們可能會(huì)在文本中進(jìn)行實(shí)體標(biāo)記，從英文翻譯成法語(yǔ)，或?qū)⒁纛l轉(zhuǎn)換成文本。在這些領(lǐng)域都出現(xiàn)了大量的工作，并且很多成果都取得了最先進(jìn)的表現(xiàn)。

在我看來(lái)，NLP 與金融數(shù)據(jù)分析之間的最大不同在于，語(yǔ)言有一定的結(jié)構(gòu)性，雖然這個(gè)結(jié)構(gòu)性比較模糊難懂。另一方面，金融市場(chǎng)數(shù)據(jù)可能是沒(méi)有任何結(jié)構(gòu)可以學(xué)習(xí)的。

在這個(gè)文章中，我們假設(shè)金融市場(chǎng)數(shù)據(jù)是存在結(jié)構(gòu)性的，當(dāng)然這個(gè)假設(shè)可能是不成立的，我們這個(gè)文章可能也會(huì)直接推翻這個(gè)假設(shè)。我們按照 NLP 的語(yǔ)義編碼模型來(lái)類比這個(gè)市場(chǎng)結(jié)構(gòu)，如果你覺(jué)得這個(gè)想法沒(méi)有意義，那么請(qǐng)閱讀下去，我相信你會(huì)覺(jué)得會(huì)有意義的。

詞向量的模型有很多的，Richard Socher 的講座是一個(gè)非常好的教程。簡(jiǎn)而言之，我們可以用語(yǔ)言模型來(lái)描述所有的單詞，并且在坐標(biāo)圖中進(jìn)行顯示，并且利用幾何圖形來(lái)捕捉單詞之間的關(guān)聯(lián)性。有一個(gè)經(jīng)典的例子是 “King - man + woman = Queen” ，或者類似別的例子。

詞嵌入是非常酷的一個(gè)應(yīng)用，因?yàn)槲覀兛梢岳靡粋€(gè)很濃縮的方式來(lái)表示一個(gè)詞信息。比較傳統(tǒng)的詞嵌入方法是構(gòu)建一個(gè)包含所有單詞的詞表，如果當(dāng)前詞是查詢?cè)~，那么該位置設(shè)置為 1 ，其余設(shè)置為 0 。但是這不是一個(gè)有效的方法，而且也沒(méi)有任何詞關(guān)聯(lián)意義。但是通過(guò)詞嵌入，我們用一個(gè)固定維度的向量來(lái)表示一個(gè)單詞，然后利用更高維度的幾何特性來(lái)尋找詞之間的關(guān)聯(lián)性。

下圖展示了一個(gè)例子。詞向量的模型是需要一個(gè)大型的語(yǔ)料庫(kù)進(jìn)行訓(xùn)練。經(jīng)過(guò)幾天的高密度訓(xùn)練，每個(gè)詞都會(huì)得到一個(gè)高維度的詞向量。這個(gè)“空間”向量會(huì)有類似于“距離”的概念，所以我們可以計(jì)算哪些詞是互相接近的。該方法的作者舉了一個(gè)例子（就是下圖），用來(lái)計(jì)算跟 Frog 距離近的詞。

但是除了詞，我們對(duì)別的事物也可以進(jìn)行高維度的編碼，比如我們接下來(lái)要介紹的金融市場(chǎng)數(shù)據(jù)。

第一個(gè)我聽(tīng)說(shuō)的詞嵌入算法是 word2vec 。我想在金融市場(chǎng)數(shù)據(jù)上面得到相同的效果，雖然我會(huì)使用一些比較不同于 word2vec 的算法。我的輸入數(shù)據(jù)是 csv 格式的。第一類表示日期，另外的 4*1000 列對(duì)應(yīng)于 1000 只股票的高低開(kāi)倉(cāng)價(jià)。那么，我們的輸入向量就是 4000 維度的，這個(gè)維度太大了。所以，我們第一件事就是把這個(gè)高維度的向量壓縮到一個(gè)低維度的向量，比如說(shuō) 300 維度（因?yàn)槲覀兿矚g這個(gè)電影 ^_^）。

如果你覺(jué)得把一個(gè) 4000 維度的向量壓縮到 300 維度是一件很難的事，那么你就大錯(cuò)特錯(cuò)了。其實(shí)這很簡(jiǎn)單，我們只需要乘以一個(gè)矩陣，矩陣就相當(dāng)于一個(gè)巨大的 excel 表格，每個(gè)單元格中都會(huì)有一個(gè)數(shù)字，并且不存在任何的格式。想象一下，我們有一個(gè) 4000 列和 300 行的 excel 表格，我們把這個(gè)表格與上面的 4000 維度向量進(jìn)行相乘，那么我們就可以得到一個(gè) 300 維度的向量。這個(gè)就是最基礎(chǔ)的線性代數(shù)知識(shí)，你肯定能明白。

那么，現(xiàn)在的難點(diǎn)就是如何去設(shè)置這個(gè)巨大的表格矩陣，“深度學(xué)習(xí)” 就是用在這個(gè)矩陣的初始化和更新上面。最終，這個(gè)電子表格矩陣將會(huì)是一個(gè)不錯(cuò)的轉(zhuǎn)移矩陣，可以將我們的 4000 維度向量轉(zhuǎn)換成一個(gè)簡(jiǎn)潔的 300 維度向量。

接下來(lái)，我們要做一些比較神奇的事，那就是激活函數(shù)。我們要給每一個(gè)值加上一個(gè)激活函數(shù)。將這個(gè)激活函數(shù)添加到每一個(gè)值上面，將每個(gè)值的大小歸到 0 到 1 之間。那么，為什么這樣做可以使得我們的向量更加特別，可以學(xué)習(xí)和理解更加復(fù)雜的事。你可以點(diǎn)擊這里進(jìn)行學(xué)習(xí)。

那么接下來(lái)我們需要處理的重要的事就是如何去找到這個(gè)轉(zhuǎn)移矩陣，使得我們可以損失更少的信息，將高維的股票向量轉(zhuǎn)換成低維的股票向量。我們希望能利用這個(gè)向量來(lái)挖掘各個(gè)股票之間的相關(guān)性，也許我們會(huì)發(fā)現(xiàn)當(dāng)某個(gè)行業(yè)下滑時(shí)，另一個(gè)行業(yè)的股票也會(huì)下滑。當(dāng)然，我們可能也會(huì)發(fā)現(xiàn)一些別的特征，我認(rèn)為這對(duì)我們將來(lái)的研究會(huì)非常有用。

讓我們先把股票向量放在一邊，來(lái)談?wù)務(wù)Z言模型。Andrej Karpathy 寫(xiě)了一篇很流行的文章 The Unreasonable effectiveness of Recurrent Neural Networks 。對(duì)這篇文章可以簡(jiǎn)單總結(jié)如下：

如果我們學(xué)習(xí)莎士比亞的作品，然后一個(gè)字一個(gè)字的進(jìn)行學(xué)習(xí)。那么我們可以深度學(xué)習(xí)來(lái)學(xué)習(xí)一種語(yǔ)言模型。

在這種情況下，語(yǔ)言模型是一個(gè)魔術(shù)盒。你可以提供一句話的前面幾個(gè)字符，模型就會(huì)告訴你下一個(gè)字符是什么。

如果我們把語(yǔ)言模型的預(yù)測(cè)結(jié)果重新輸入到語(yǔ)言模型，那么我們模型將永遠(yuǎn)運(yùn)行下去。

然后這個(gè)模型會(huì)產(chǎn)生一大堆看起來(lái)像莎士比亞風(fēng)格的文字。然后，我們也可以將這個(gè)思想用在 Linux 源碼上面，然后程序來(lái)產(chǎn)生代碼。或者，我們可以用在幾何代數(shù)課本上面，讓程序來(lái)產(chǎn)生內(nèi)容。

這個(gè)魔術(shù)盒的實(shí)現(xiàn)機(jī)制我們會(huì)在后續(xù)進(jìn)行介紹，但是讓我們先來(lái)假想一下，Karpathy 是利用前面的一些字符來(lái)預(yù)測(cè)下一個(gè)字符，那么我們是否可以根據(jù)之前的市場(chǎng)向量，來(lái)預(yù)測(cè)下一個(gè)市場(chǎng)表現(xiàn)、市場(chǎng)向量或者別的東西，而這個(gè)預(yù)測(cè)模型就是這個(gè)魔術(shù)盒。我們還沒(méi)有決定我們想要預(yù)測(cè)的是什么，但是沒(méi)有關(guān)系，因?yàn)槲覀儾粫?huì)將我們的輸出反饋到我們的輸入中。

所以，Karpathy 向我們介紹了一些 Linux 例子的輸出，下面的代碼就是魔術(shù)盒的內(nèi)容：

static void action_new_function(struct s_stat_info *wb)
{
  unsigned long flags;
  int lel_idx_bit = e->edd, *sys & ~((unsigned long) *FIRST_COMPAT);
  buf[0] = 0xFFFFFFFF & (bit << 4);
  min(inc, slist->bytes);
  printk(KERN_WARNING "Memory allocated %02x/%02x, "
    "original MLL instead
"),
    min(min(multi_run - s->len, max) * num_data_in),
    frame_pos, sz + first_seg);
  div_u64_w(val, inb_p);
  spin_unlock(&disk->queue_lock);
  mutex_unlock(&s->sock->mutex);
  mutex_unlock(&func->mutex);
  return disassemble(info->pending_bh);
}

請(qǐng)注意，該魔術(shù)盒可以知道如何去打開(kāi)和關(guān)閉括號(hào)，并且能遵守程序的縮進(jìn)約定，也就是函數(shù)代碼的正確縮進(jìn)，多行 printk 語(yǔ)句也具有正確的內(nèi)部縮進(jìn)。這也就意味著這個(gè)魔術(shù)盒可以理解代碼的遠(yuǎn)程依賴關(guān)系，即魔術(shù)盒可以聯(lián)系到前面的代碼進(jìn)行分析推敲。當(dāng)它預(yù)測(cè)在 print 語(yǔ)句中時(shí)，它會(huì)知道它在一個(gè) print 語(yǔ)句中，并且會(huì)記住它是在一個(gè)函數(shù)中（或者至少記住是在另一個(gè)縮進(jìn)范圍）中。太好了，這就很容易理解，具有捕捉細(xì)節(jié)和記住長(zhǎng)期依賴關(guān)系的算法是非常有用的，因?yàn)?strong>我們也是希望能在市場(chǎng)上找到長(zhǎng)期的依賴關(guān)系。

那么這個(gè)神奇的魔術(shù)盒里面有什么呢？它是一種被稱為 LSTM 的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。RNN 是一種深度學(xué)習(xí)算法，它擅長(zhǎng)的是對(duì)序列進(jìn)行操作（如字符序列）。在每一步，它對(duì)會(huì)對(duì)下一個(gè)字符進(jìn)行預(yù)測(cè)，并且使用一個(gè)矩陣記性表示，就像我們之前看到的那樣。因?yàn)?RNN 有一些內(nèi)部的記憶，所以它可以記住一些以前看到的東西。它會(huì)使用這個(gè)內(nèi)部記憶來(lái)決定下一次輸入中應(yīng)該如何操作。使用該內(nèi)存記憶，RNN 可以記住它在一定范圍內(nèi)的內(nèi)容，這就是我們?yōu)槭裁纯梢詫?duì)輸入文本進(jìn)行預(yù)測(cè)處理。

RNN 有一個(gè)很好的變體稱為 LSTM，LSTM 巧妙的設(shè)計(jì)了 RNN 內(nèi)部的記憶單元，這個(gè)單元可以做以下事：

可以選擇性的記住一些東西；

可以選擇性的去忘記一些東西；

選擇應(yīng)該輸出多少記憶內(nèi)存；

所以，當(dāng)一個(gè) LSTM 看到一個(gè) “{” ，并且對(duì)自己說(shuō)“這個(gè)非常重要，我應(yīng)該把它記住” 。而當(dāng)它這樣做時(shí)，它基本上就記住了這是一個(gè)嵌套的范圍。一旦看到相應(yīng)的 “}” ，它就會(huì)決定忘記原來(lái)的大括號(hào)，因此忘記它在一個(gè)嵌套的范圍內(nèi)。

我們可以將幾個(gè) LSTM 堆疊在一起，這樣 LSTM 可以學(xué)習(xí)到更多的抽象概念。現(xiàn)在，前一個(gè) LSTM 的輸出變成了下一個(gè) LSTM 的輸入，每個(gè) LSTM 會(huì)學(xué)習(xí)到更加抽象的數(shù)據(jù)。在上面的例子中（這個(gè)只是說(shuō)明性的猜測(cè)解釋），第一層的 LSTM 可能會(huì)學(xué)習(xí)由空格分割的字符，下一層可能會(huì)學(xué)習(xí)像（static void action_new_function）這樣的字符類型，下一層可能會(huì)學(xué)習(xí)函數(shù)的概念以及參數(shù)等等。雖然 Karpathy 在博客中已經(jīng)有非常好的說(shuō)明例子了，但是要清楚的說(shuō)明每一層的具體任務(wù)還是非常苦難的。

你可能會(huì)注意到，Karpathy 使用字符作為他模型的輸入，而不是詞嵌入（技術(shù)上是使用 0-1 編碼）。但是，Lars Eidnes 在 Auto-Generating Clickbait With Recurrent Neural Network 文章中使用詞嵌入來(lái)處理。

上圖顯示了他使用的網(wǎng)絡(luò)。我們先不考慮 softmax 部分（這部分我們后續(xù)介紹），先來(lái)看看 LSTM 堆棧和模型的輸入部分。我們發(fā)現(xiàn)模型的底部輸入是一系列的單詞向量（記住，一個(gè)詞向量表示的是一個(gè)單詞的語(yǔ)義）。Lars 輸入一個(gè)字向量序列，其中每一個(gè)作用如下：

影響第一個(gè) LSTM；

前一個(gè) LSTM 的中間輸出作為下一個(gè) LSTM 的輸入；

前一個(gè) LSTM 輸出的下一個(gè)字作為下一個(gè) LSTM 的輸入；

雖然我們要做同樣的事情，但是可能有一點(diǎn)小小的區(qū)別，我們不是把字向量作為輸入，而是我們的 Market2Vec ，這個(gè)市場(chǎng)向量就是我們之前描述出來(lái)的。我們來(lái)回顧一下，對(duì)于給定的時(shí)間點(diǎn)，我們的 MarketVectors 應(yīng)該包含在這個(gè)時(shí)間點(diǎn)發(fā)生的市場(chǎng)情況的總和。通過(guò) LSTM 的序列化，我們希望能夠捕捉到市場(chǎng)上發(fā)生的一個(gè)長(zhǎng)期依賴關(guān)系。通過(guò)幾個(gè) LSTM 的堆棧，我們希望可以得到更高層次的市場(chǎng)行為抽象數(shù)據(jù)。

0,0,0,0,0,1,1,0,0,0,1,1,0,0,0,0,1,1,1,0,0,0,0,0 ….

ERROR = (1/2)*(((precomputed)— (predicted probability))2 )