摘要：表示學(xué)習(xí)和深度學(xué)習(xí)的興起是密切相關(guān)。自然語言處理中的深度學(xué)習(xí)在自然語言的表示學(xué)習(xí)中提及深度學(xué)習(xí)這是因?yàn)樯疃葘W(xué)習(xí)首要的用處就是進(jìn)行自然語言的表示。圖是深度學(xué)習(xí)在自然語言理解中應(yīng)用描述。

本文根據(jù)達(dá)觀數(shù)據(jù)特聘專家復(fù)旦大學(xué)黃萱菁教授在達(dá)觀數(shù)據(jù)舉辦的長三角人工智能應(yīng)用創(chuàng)新張江峰會(huì)上的演講整理而成，達(dá)觀數(shù)據(jù)副總裁魏芳博士統(tǒng)稿

自然語言是指漢語、英語、德語、俄語等人們?nèi)粘Ｊ褂玫恼Z言，是自然而然的隨著人類社會(huì)發(fā)展演變而來的語言，而不是人造的語言。我們平時(shí)說的口語還有書面語，這些都是自然語言，還有其他的語言，比如說手語等等。它區(qū)別于人工語言，如程序設(shè)計(jì)的語言。

對(duì)于語言的理解是一個(gè)非常重要的任務(wù)，到目前為止人類知識(shí)80%都是采用自然語言文字進(jìn)行記載的。對(duì)于自然語言的處理，稱為自然語言處理(簡(jiǎn)稱：NLP)，是指用計(jì)算機(jī)對(duì)自然語言的形、音、義等信息進(jìn)行處理，即對(duì)字、詞、句、篇章的輸入、輸出、識(shí)別、分析、理解、生成等的操作和加工。自然語言處理在人工智能的地位有一個(gè)非常形象的比喻，它是人工智能皇冠上的明珠。可見自然語言處理的問題解決了很多人工智能問題也就解決了。總的來說相比較人工智能其它領(lǐng)域（比如計(jì)算機(jī)視覺、語音識(shí)別），自然語言的理解難度更大一些，所以現(xiàn)在已經(jīng)有很多的獨(dú)角獸這種級(jí)別的語音識(shí)別公司，比如科大訊飛、Face++等等，但是在自然語言處理方面還需要更多的努力。達(dá)觀數(shù)據(jù)正是在這方面進(jìn)行努力探索的企業(yè)。

自然語言處理一般分成兩塊，一種叫做自然語言理解，一種叫做自然語言生成。自然語言理解是指計(jì)算機(jī)能夠理解自然語言文本的意義，自然語言生成則是指能以自然語言文本來表達(dá)給定的意圖。比如高考的時(shí)候要做閱讀理解，這就叫做自然語言的理解。考生寫作文，叫做自然語言的生成。但是高考的時(shí)候是人來做，現(xiàn)在由計(jì)算機(jī)來做。對(duì)計(jì)算機(jī)輸入一段自然語言文本，我們希望它能夠：

問答——能正確回答輸入文本中的問題
文摘生成——有能力產(chǎn)生輸入文本的摘要
釋義——用不同的詞語和語句復(fù)述輸入翻譯——把一種語言(源語言)翻譯為另一種語言(目標(biāo)語言)

這些都是自然語言理解的功能。如果計(jì)算機(jī)可以完成其中一個(gè)任務(wù)，我們可以認(rèn)為它通過了圖靈測(cè)試，就相當(dāng)于人工智能，其它類似。

自然語言的理解和分析是一個(gè)層次化的過程，許多語言學(xué)家把這一過程分為五個(gè)層次，即**語音分析、詞法分析、句法分析、語義分析和語用分析。

語音分析是要根據(jù)音位規(guī)則，從語音流中區(qū)分出一個(gè)個(gè)獨(dú)立的音素（最小可獨(dú)立的聲音單元），再根據(jù)音位形態(tài)規(guī)則找出音節(jié)及其對(duì)應(yīng)的詞素或詞。

詞法分析是找出詞匯的各個(gè)詞素，從中獲得語言學(xué)的信息。

例如：“我們研究所有東西”這句話

???????我們--研究所--有--東西（交叉歧義）
???????我們--研究--所有--東西

把手放在桌上

???????把--手--放在--桌上??（組合歧義）
???????把手--放在--桌上

中文分詞是中文所特有的詞法分析。

中文由于繼承自古代漢語的傳統(tǒng)，詞語之間沒有分隔。這是因?yàn)楣糯鷿h語中除了連綿詞和人名地名等，詞通常就是單個(gè)漢字，所以當(dāng)時(shí)沒有分詞書寫的必要。現(xiàn)代漢語的基本表達(dá)單元為“詞”，以雙字或多字詞居多，一個(gè)字不再等同于一個(gè)詞。

句法分析是對(duì)句子和短語的結(jié)構(gòu)進(jìn)行分析，目的是要找出詞、短語等的相互關(guān)系以及各自在句中的作用。

例如：

???????反對(duì)│的│是│少數(shù)人?(反對(duì)的是少數(shù)人，到底是少數(shù)人提出反對(duì)還是少數(shù)人被反對(duì))
???????咬死了|獵人|的|狗?(咬死了獵人的狗還是一只咬死了獵人的狗)
???????Put the frog on the napkin(把青蛙放在餐巾上)
???????Put the frog on the napkin in the box(把餐巾上的青蛙放在盒子里)

圖1
語義分析是找出詞義、結(jié)構(gòu)意義及其結(jié)合意義，從而確定語言所表達(dá)的真正含義或概念。比如說同樣三個(gè)字，“你打我”和“我打你”，意思是完全不同的。這叫做詞義分析。詞義分析是非常困難的一個(gè)任務(wù)，這幾年有非常大的進(jìn)展。

語用分析是研究語言所存在的外界環(huán)境對(duì)語言使用者所產(chǎn)生的影響。?描述語言的環(huán)境知識(shí)、語言與語言使用者在某個(gè)給定語言環(huán)境中的關(guān)系。

比如說吃一個(gè)漢堡包，這個(gè)話的意思是取決于誰對(duì)誰說，如果是一個(gè)小孩子和媽媽說要吃一個(gè)漢堡包，這叫做請(qǐng)求。如果一個(gè)孩子是很霸道的，這個(gè)媽媽完全被孩子所左右，小孩子對(duì)媽媽說要吃一個(gè)漢堡包，可能就是一個(gè)命令。如果是顧客到店里可能是一個(gè)交易行為的發(fā)起。所以語義上似乎明確的一句話，在不同的上下文中也有不同的含義。

有人問語言還需要表示嗎？答案是肯定的。

認(rèn)知科學(xué)領(lǐng)域認(rèn)為表示學(xué)習(xí)是語言在人腦中的表現(xiàn)形式，關(guān)系到人類如何理解和產(chǎn)生語言。

人工智能領(lǐng)域認(rèn)為表示學(xué)習(xí)是學(xué)習(xí)語言的形式化或數(shù)學(xué)描述，以便在計(jì)算機(jī)中表示語言，并能讓計(jì)算機(jī)程序自動(dòng)處理。

早期的語言表示方法:?符號(hào)化的離散表示。

??詞表示為One-Hot向量（一維為1、其余維為0的向量）

??元模型等方法進(jìn)行轉(zhuǎn)換

離散表示的缺點(diǎn):?詞與詞之間沒有距離的概念，比如“電腦”和“計(jì)算機(jī)”被看成是兩個(gè)不同的詞。除此之外還有從心理的角度，有哲學(xué)的角度來研究客觀世界和萬物是怎么理解的，我們一般是從人工智能的角度來了解語言的表示。

概念介紹

前面介紹了自然語言理解和表示學(xué)習(xí)，實(shí)際上表示學(xué)習(xí)在前深度學(xué)習(xí)時(shí)代并不太多被提及。表示學(xué)習(xí)和深度學(xué)習(xí)的興起是密切相關(guān)。

深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)的研究，它是神經(jīng)網(wǎng)絡(luò)重新包裝后新的說法。深度指的是神經(jīng)網(wǎng)絡(luò)的多層。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

圖2
深度學(xué)習(xí)的概念由Hinton等人于2006年提出。Hinton用深度的網(wǎng)絡(luò)進(jìn)行圖像理解，取得了很好的結(jié)果。之后他們?cè)趫D像識(shí)別方面取得了很好的成績，之后從此大家都在做深度學(xué)習(xí)。

圖3??

圖4
上述兩個(gè)圖，一個(gè)圖是做語音識(shí)別，語音識(shí)別用于深度學(xué)習(xí)之后可以大幅度的進(jìn)行性能的提升。另外一個(gè)是計(jì)算機(jī)視覺，計(jì)算機(jī)視覺用了深度學(xué)習(xí)之后，可以先識(shí)別圖像的邊緣，后識(shí)別圖像的組件，最后可以組裝成物體，也會(huì)取得很好的結(jié)果。

在自然語言的表示學(xué)習(xí)中提及深度學(xué)習(xí)這是因?yàn)樯疃葘W(xué)習(xí)首要的用處就是進(jìn)行自然語言的表示。差不多在2013年左右時(shí)間自然語言處理才廣泛地引入了深度學(xué)習(xí)的概念。深度學(xué)習(xí)用于自然語言表示，一方面我們可以得到字、詞、句子等多粒度的分布式語言表示。

字、詞：詞嵌入 
句子：卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)、遞歸網(wǎng)絡(luò)、PV 
篇章：層次結(jié)構(gòu)（先句子，后篇章） 
符號(hào)：網(wǎng)絡(luò)，知識(shí)圖譜等

（采用各種各樣的神經(jīng)網(wǎng)絡(luò)模型，比如說循環(huán)等等，可以得到各種語言單元的表示。）

另外一方面用于情感分析和自動(dòng)問答等服務(wù)。在這類語言表示中用到一類序列到序列模型(循環(huán)網(wǎng)絡(luò)/LSTM)，它可以配合注意力模型和外部的記憶單元合作，可以解決長距離的依賴，取得比較好的效果。甚至可以涵蓋機(jī)器翻譯、自動(dòng)問答、序列標(biāo)注、文本摘要等大部分場(chǎng)景。圖5是深度學(xué)習(xí)在自然語言理解中應(yīng)用描述。

圖5

深度學(xué)習(xí)帶來的新變化

深度學(xué)習(xí)給自然語言處理帶來了什么變化？

1.性能從追趕到超越。幾乎所有的自然語言處理任務(wù)中深度學(xué)習(xí)的性能都可以達(dá)到或者是超越原有辦法。

2.語義變得更為重要。有了分布式的離散表示，深度學(xué)習(xí)讓語義變得可計(jì)算，我們可以得到字詞句子篇章的向量，就使得語義真正可以用起來。

3.不斷出現(xiàn)的新“玩法”、新應(yīng)用場(chǎng)景。比如說看圖說話，甚至是給一個(gè)意圖，讓計(jì)算機(jī)畫畫，做詩、作詞、寫歌、寫程序。將來的程序員可能也是有一定危機(jī)的崗位，計(jì)算機(jī)有可能代替程序員寫代碼。對(duì)于寫作方面，現(xiàn)在可以寫新聞稿，可以寫天氣預(yù)報(bào)，不久的將來可能可以寫小說等等，這些都是計(jì)算機(jī)用深度學(xué)習(xí)可以做的事情。

4.門檻降低。深度學(xué)習(xí)使得自動(dòng)問答和機(jī)器翻譯的門檻降低。也許一個(gè)一年級(jí)的研究生，看了幾本深度學(xué)習(xí)的書本，甚至就能夠發(fā)表很好的文章，提出很好的算法。所以說這是一個(gè)競(jìng)爭(zhēng)很激烈的行業(yè)。

在人工智能新時(shí)代不僅有很好的深度學(xué)習(xí)算法，還有社會(huì)媒體的大數(shù)據(jù)（如圖6、圖7和圖8所示）。

圖6

圖7

圖8
這些豐富的社會(huì)媒體大數(shù)據(jù)包含了比較鮮活的網(wǎng)絡(luò)語言，也帶來了很多有價(jià)值的數(shù)據(jù)，也有很多標(biāo)注的數(shù)據(jù)，對(duì)自然語言處理帶來說是很大的資源。

圖9

圖10??????
?人工智能新時(shí)代還給我們帶來了超強(qiáng)的計(jì)算平臺(tái)（如圖9和圖10所示），也是自然語言處理的基礎(chǔ)。深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的算法很早就有人提出，但是那個(gè)時(shí)候的模型不能太復(fù)雜，數(shù)據(jù)不夠多，因?yàn)橛?jì)算機(jī)的能力不夠。現(xiàn)在我們可以用GPU，還有很多存儲(chǔ)、框架管理和開源工具，進(jìn)行快速有效的計(jì)算，所以近些年來我們很多領(lǐng)域的研究都有新的進(jìn)展。

這部分主要介紹基于神經(jīng)網(wǎng)絡(luò)的表示學(xué)習(xí)。它的定義為：

將語言的潛在語法或語義特征分布式地存儲(chǔ)在一組神經(jīng)元中，用稠密、低維、連續(xù)的向量來表示。這里稠密是指向量不是由大量0或1組成。

這種表示具體可以用來學(xué)習(xí)詞語、短語、句子和句對(duì)。如下圖所示：

圖11
對(duì)詞語我們可以進(jìn)行預(yù)訓(xùn)練，也可以為下一個(gè)任務(wù)服務(wù)。對(duì)短語和句子來說直接就可以作為一個(gè)任務(wù)，比如說對(duì)句子進(jìn)行情感分類，首先通過各種各樣語言的組合，進(jìn)行不同向量的表示。我們還可以做句對(duì)，可以判斷相應(yīng)兩個(gè)句子之間的關(guān)系，判斷句子和答案之間是否匹配。還可以判斷前提和結(jié)果之間的關(guān)系，因果關(guān)系對(duì)比，這些都是用神經(jīng)網(wǎng)絡(luò)可以做的事。如下圖所示。

圖12

基于神經(jīng)網(wǎng)絡(luò)的表示學(xué)習(xí)在詞語中的發(fā)展?fàn)顩r如下圖所示。

圖13

2013年之前:??少量研究工作?[Bengio, Hinton]
2013年之后:??大量新工作
2016年之后:??漸漸冷卻

這個(gè)領(lǐng)域涉及到的算法有：

基于預(yù)測(cè)的詞表示學(xué)習(xí)-word2vec算法
高效的無監(jiān)督學(xué)習(xí)詞表示

Code :code.google.com/p/word2vec/

圖14

詳細(xì)內(nèi)容可參閱文章：Efficient estimation ofword representations in vector space, NIPS 2013

基于計(jì)數(shù)的詞表示學(xué)習(xí)- GloVe?算法
這個(gè)詞向量算法是斯坦福做的，它的目標(biāo)如果一對(duì)詞對(duì)經(jīng)常在一起那么它們的內(nèi)積和貢獻(xiàn)的概率相似。直接建模詞對(duì)，的共現(xiàn)頻率和它們內(nèi)積的關(guān)系：

基于篇章，它們也提供了很少的預(yù)訓(xùn)練的詞向量，很多人用，也有一定的代碼，現(xiàn)在深度學(xué)習(xí)這個(gè)時(shí)代開源是一種趨勢(shì)。

Code and Pre-trained word vectors: http://nlp.stanford.edu/proje...

詳細(xì)內(nèi)容可參閱文章：Glove: Global vectors for wordrepresentation, EMNLP 2014

多義詞的表示學(xué)習(xí)
簡(jiǎn)單介紹一下復(fù)旦在詞表示方面的工作，我們做的是多義詞的表示。比如說同樣一個(gè)詞“紅”，可能表示的是顏色或者是革命。如果用單一一個(gè)詞項(xiàng)表示可能會(huì)有問題，在特定的話題下（比如說我們講的是政治類、革命），這個(gè)時(shí)候應(yīng)該取第二個(gè)意思。如果是和顏色、抒情相關(guān)很可能指的是紅色。這就使得要通過進(jìn)行輪回學(xué)習(xí)，我們要學(xué)習(xí)詞語和這個(gè)話題的語義向量。那么多義詞的研究目的就是要學(xué)習(xí)多義詞的表示向量和利用神經(jīng)張量模型同時(shí)學(xué)習(xí)詞語和話題的語義表示。

圖15
詳細(xì)內(nèi)容可參閱文章：Learning Context-Sensitive Word Embeddings with Neural TensorSkip-Gram Model, IJCAI 2015

基于神經(jīng)網(wǎng)絡(luò)的表示學(xué)習(xí)在短語和句子的發(fā)展?fàn)顩r如下圖所示。

圖?16
這個(gè)領(lǐng)域的工作大致可以分成三期。第一期是2013年以前會(huì)用遞歸神經(jīng)網(wǎng)絡(luò)。遞歸神經(jīng)網(wǎng)絡(luò)就是會(huì)給出一個(gè)句子的成分結(jié)構(gòu)，句子是由主語和謂語組成，謂語是由謂詞+賓語等等，主語之間可能還有一些修飾成分。因?yàn)楣ぷ鞅旧聿惶貌⑿谢?014年之后比較多的采用卷積神經(jīng)網(wǎng)絡(luò)，它具有易并行化的特點(diǎn)，采用比較粗暴的方法產(chǎn)生出所有可能可能的語義組合，最后得到最可能的表示。之后大概2014年、2015年最常見地是用循環(huán)神經(jīng)網(wǎng)絡(luò)來進(jìn)行詞語的表示，可以從一個(gè)句子的頭部到句子的尾部，最后得到一個(gè)詞語的表示向量。

這個(gè)領(lǐng)域涉及到的算法內(nèi)容有：

卷積神經(jīng)網(wǎng)對(duì)句子建模
通過動(dòng)態(tài)pooling，解決句子變長問題。

圖?17
詳細(xì)內(nèi)容可參閱文章：

A ConvolutionalNeural Network for Modelling Sentences，ACL 2014

循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)句子建模
循環(huán)神經(jīng)網(wǎng)絡(luò)涉及到普通循環(huán)神經(jīng)網(wǎng)(Vanilla RNN)?、長短時(shí)記憶單元(LongShort-term Memory)和門循環(huán)單元(GatedRecurrent Unit)。

循環(huán)神經(jīng)網(wǎng)絡(luò)是指網(wǎng)絡(luò)中間的狀態(tài)，狀態(tài)是時(shí)刻變化的。在每一個(gè)時(shí)刻我們輸出一個(gè)詞，根據(jù)輸入的詞可以產(chǎn)生下一時(shí)刻的狀態(tài)，最后一個(gè)時(shí)刻的狀態(tài)就是句子的表示。另外傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)可能會(huì)帶來梯度離散的問題，我們會(huì)引入一些長短時(shí)的記憶和循環(huán)，并且加以改進(jìn)。

圖?18
詳細(xì)內(nèi)容可參閱文章：

EmpiricalEvaluation of Gated Recurrent Neural Networks on Sequence Modeling, NIPSworkshop 2014

基于注意力的序列-序列模型:?文摘和機(jī)器翻譯
循環(huán)神經(jīng)網(wǎng)絡(luò)如果加了注意力很容易用到做編碼、解碼模型，可以進(jìn)行機(jī)器翻譯。先讀原語言句子，產(chǎn)生一個(gè)中間表示，這就要用到神經(jīng)網(wǎng)絡(luò)來做。從中間表示生成出來目標(biāo)語言句子，在生成的時(shí)候還會(huì)有重點(diǎn)的選取編碼信息，采用注意力的機(jī)制，回顧到輸入句子，然后產(chǎn)生輸出。這就是一個(gè)現(xiàn)在標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的建模模型。

在解碼過程中有重點(diǎn)地選取編碼的信息，如下圖所示。

圖19
詳細(xì)內(nèi)容可參閱文章：

1.Neural machinetranslation by jointly learning to align and translate ICLR 2015

2.A Neural Attention Model for Sentence Summarization? EMNLP 2015

建模復(fù)雜的稠密特征組合---基于門機(jī)制的遞歸神經(jīng)網(wǎng)絡(luò)
面對(duì)復(fù)雜的稠密特征組合，可以用基于門機(jī)制的遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行表示。比如說“下雨天地面積水”，如何得到這個(gè)句子的表示？可以兩兩組合相鄰的兩個(gè)字，最后發(fā)現(xiàn)字和字之間構(gòu)成了右邊的結(jié)構(gòu)樹（如下圖所示），利用這個(gè)樹來組合語義，才能得到整個(gè)句子的語義。

圖20
詳細(xì)內(nèi)容可參閱文章：

1.Gated recursive neural network for Chinese word segmentation, ACL2015

2.Sentencemodeling with gated recursive neural network, EMNLP 2015

3.Transition-baseddependency parsing using two heterogeneous gated recursive neural networks,EMNLP 2015

基于門遞歸神經(jīng)網(wǎng)絡(luò)的中文分詞

?圖21
詳細(xì)內(nèi)容可參閱文章：

Gated recursive neural network for Chinese word segmentation, ACL2015

遞歸卷積神經(jīng)網(wǎng)絡(luò)
研究它動(dòng)機(jī)有兩點(diǎn)：一是遞歸神經(jīng)網(wǎng)絡(luò)支持的拓?fù)浣Y(jié)構(gòu)有限（二叉樹）。二是如何融合遞歸神經(jīng)網(wǎng)絡(luò)以及卷積神經(jīng)網(wǎng)絡(luò)。

圖22
詳細(xì)內(nèi)容可參閱文章：

A Re-Ranking ModelFor Dependency Parser With Recursive Convolutional Neural Network, ACL 2015

多時(shí)間周期的記憶神經(jīng)網(wǎng)絡(luò)
研究它動(dòng)機(jī)有兩點(diǎn)：記憶網(wǎng)絡(luò)中長周期的記憶更新效率比較低和長周期記憶和短周期記憶的影響機(jī)制。

圖23
詳細(xì)內(nèi)容可參閱文章：

Multi-timescalelong short-term memory neural network for modelling sentences and documents,EMNLP 2015

這一領(lǐng)域涉及到的內(nèi)容主要有：

建模復(fù)雜的稠密特征組合——卷積張量神經(jīng)網(wǎng)絡(luò)

研究它動(dòng)機(jī)有兩點(diǎn)：自然語言處理中大部分神經(jīng)模型并不深和主要得益于分布式表示（稠密向量）。

圖24
這是自動(dòng)問答的一個(gè)比較好的模型。建模兩個(gè)句子之間的關(guān)系，通常的想法是產(chǎn)生類似于向量相似度來做，可以做的更加復(fù)雜一點(diǎn)，比如說用一個(gè)向量神經(jīng)區(qū)域枚舉，可以捕捉兩個(gè)向量表之間的相似度，取得了更好的結(jié)果。

詳細(xì)內(nèi)容可參閱文章：

1.Convolutionalneural tensor network architecture for community-based question answering,IJCAI 2015

2.LearningContext-Sensitive Word Embeddings with Neural Tensor Skip-Gram Model, IJCAI2015

語篇關(guān)系表示與檢測(cè)
研究它動(dòng)機(jī)有兩點(diǎn)：一是單詞向量表示之差表示了單詞間的關(guān)系，二是句子之間的關(guān)系如何表示？

圖25
詳細(xì)內(nèi)容可參閱文章：

DiscourseRelations Detection via a Mixed Generative-Discriminative Framework, AAAI 2016

利用GRN進(jìn)行語篇關(guān)系檢測(cè)
使用句子的隱狀態(tài),?而非直接使用詞向量。

使用GRN(gated relevance network)?建模隱狀態(tài)之間的交互關(guān)系。

圖26
詳細(xì)內(nèi)容可參閱文章：

Implicit DiscourseRelation Detection via a Deep Architecture with Gated Relevance Network, ACL2016

微博標(biāo)簽(Hashtag)推薦
研究它動(dòng)機(jī)有三點(diǎn)：一是CNN在自然語言處理任務(wù)中取得很多進(jìn)展，二是將標(biāo)簽推薦建模為標(biāo)簽和微博之間的匹配問題，三是要考慮Attention機(jī)制如何與CNN結(jié)合。

圖27
詳細(xì)內(nèi)容可參閱文章：

HashtagRecommendation using Attention-based Convolutional Neural Network, IJCAI 2016

目前NLP的所謂的“深度學(xué)習(xí)”?多數(shù)是淺層學(xué)習(xí)。在語言處理中經(jīng)常只有淺層，比如說一層兩層，最多像谷歌進(jìn)行到八層，但是視覺有一千多層網(wǎng)絡(luò)，怎么樣進(jìn)行真正的深度學(xué)習(xí)也是一個(gè)趨勢(shì)。它的發(fā)展主要受益于“分布式”表示。

我們希望有標(biāo)志性的數(shù)據(jù)類似于計(jì)算機(jī)系統(tǒng)中自然語言處理的imageNet，AlexNet,GoogleNet和ResNet出現(xiàn)。

比如把多任務(wù)學(xué)習(xí)，對(duì)抗學(xué)習(xí)和非監(jiān)督學(xué)習(xí)加入到自然語言處理中。比如說利用基于對(duì)抗網(wǎng)絡(luò)，進(jìn)行分詞，分詞過程中分成兩種，一種是和標(biāo)準(zhǔn)相關(guān)，一種無關(guān)。我們經(jīng)過對(duì)抗學(xué)習(xí)之后可以使得和標(biāo)準(zhǔn)語料無關(guān)的完全無關(guān)，這樣就可以對(duì)這部分特征進(jìn)行學(xué)習(xí)，取得比較好的效果。類似的內(nèi)容可參考“面向多任務(wù)學(xué)習(xí)的循環(huán)神經(jīng)網(wǎng)絡(luò)共享機(jī)制”“基于對(duì)抗網(wǎng)絡(luò)的多標(biāo)準(zhǔn)分詞”等工作。

生物學(xué)啟發(fā)模型現(xiàn)在已經(jīng)對(duì)視覺的卷積神經(jīng)網(wǎng)絡(luò)有啟發(fā)意義，我們期待引入到自然語言處理中。這是一個(gè)未來的研究方向。

知其然，還要知其所以然。計(jì)算機(jī)視覺中有大量的相關(guān)工作可借鑒。未來我們希望自然語言產(chǎn)生的表示是可看得懂的和為什么是好地。在這個(gè)方面我們也做了一定的工作，可參閱“LSTM架構(gòu)的認(rèn)知解釋”，“神經(jīng)網(wǎng)絡(luò)模型編碼了哪些語言學(xué)特征”和“序列模型編碼了哪些語言學(xué)特征？”等。

圖28? 2017新興技術(shù)成熟度曲線（來源：Gartner 2017年7月)
無論是人工智能還是深度學(xué)習(xí)的探索都還任重道遠(yuǎn)，總結(jié)來說可概括為三句話：

1.深度學(xué)習(xí)給自然語言處理帶來新生命力

2.雖然已經(jīng)取得諸多成果，依然任重道遠(yuǎn)

3.有多少人工，就有多少智能