摘要:而自然語(yǔ)言處理被視為深度學(xué)習(xí)即將攻陷的下一個(gè)技術(shù)領(lǐng)域,在今年全球較高級(jí)的學(xué)術(shù)會(huì)議上,我們也看到大量的在深度學(xué)習(xí)引入方面的探索研究。和也是近幾年暫露頭角的青年學(xué)者,尤其是在將深度學(xué)習(xí)應(yīng)用于領(lǐng)域做了不少創(chuàng)新的研究。
深度學(xué)習(xí)的出現(xiàn)讓很多人工智能相關(guān)技術(shù)取得了大幅度的進(jìn)展,比如語(yǔ)音識(shí)別已經(jīng)逼近臨界點(diǎn),即將達(dá)到Game Changer水平;機(jī)器視覺(jué)也已經(jīng)在安防、機(jī)器人、自動(dòng)駕駛等多個(gè)領(lǐng)域得到應(yīng)用。 而自然語(yǔ)言處理(NLP)被視為深度學(xué)習(xí)即將攻陷的下一個(gè)技術(shù)領(lǐng)域,在今年全球較高級(jí)的NLP學(xué)術(shù)會(huì)議ACL上,我們也看到大量的在深度學(xué)習(xí)引入NLP方面的探索研究。讓我們跟隨阿里的科學(xué)家們一起去探求深度學(xué)習(xí)給NLP帶來(lái)些改變。
一、會(huì)議概要
ACL2016于2016年8月7日至12日在德國(guó)柏林洪堡大學(xué)召開(kāi),本屆參會(huì)人數(shù)在1200人左右。其中,8月7日是Tutorial環(huán)節(jié),8月8日-10日是正會(huì),8月11日-12日是若干主題的workshop。本屆ACL2016 Lifetime AchievementAward winner是來(lái)自斯坦福的Joan Bresnan教授,詞匯功能文法的奠基人。
參會(huì)的阿里巴巴同學(xué)們
二、Tutorial總結(jié)
1、《Computer Aided Translation》
這個(gè)tutorial的報(bào)告人是約翰霍普金斯大學(xué)的Philipp Koehn教授,他是統(tǒng)計(jì)機(jī)器翻譯領(lǐng)域的領(lǐng)軍學(xué)者之一,在基于短語(yǔ)的機(jī)器翻譯模型方面做了很多影響深遠(yuǎn)的工作,主持了著名的開(kāi)源統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)Moses的開(kāi)發(fā)。最近幾年,Koehn教授重點(diǎn)關(guān)注如何借助機(jī)器翻譯技術(shù)來(lái)幫助譯員如何更有效率地完成翻譯工作,即計(jì)算機(jī)輔助翻譯技術(shù)(CAT),并得到了歐盟CASMACAT項(xiàng)目資助,這個(gè)tutorial也算是整個(gè)CASMACAT項(xiàng)目的總結(jié)。在這個(gè)報(bào)告中,Koehn介紹了在這個(gè)項(xiàng)目中開(kāi)發(fā)的一系列新的CAT技術(shù)及其實(shí)際效果。與在線術(shù)語(yǔ)庫(kù)、記憶庫(kù)、譯后編輯等傳統(tǒng)手段不同,CASMACAT結(jié)合了SMT的大量研究成果,例如置信分(confidence score)、復(fù)述(paraphrasing)、可視化詞對(duì)齊(visualization of word alignment)、翻譯選項(xiàng)陣列(translationoption array)等,為譯員提供了更加豐富的信息,從而為輔助翻譯提供了更好的靈活性。
圖1、翻譯選項(xiàng)陣列
這個(gè)項(xiàng)目實(shí)現(xiàn)了一套完整的在線CAT系統(tǒng)(CASMACAT),通過(guò)對(duì)大量譯員的實(shí)際使用情況進(jìn)行數(shù)據(jù)統(tǒng)計(jì),并結(jié)合眼部跟蹤(eye tracking)等認(rèn)知分析,證明這些新的CAT方法的確能夠提升譯員的工作效率,提升產(chǎn)出。
?
總體上,這個(gè)報(bào)告的內(nèi)容屬于比較偏應(yīng)用型的工作,學(xué)術(shù)上的創(chuàng)新工作不多,因此受到的關(guān)注不如其它學(xué)術(shù)性報(bào)告多,但它是一個(gè)非常完整的實(shí)用性工作,通過(guò)把機(jī)器翻譯的新技術(shù)與CAT場(chǎng)景進(jìn)行創(chuàng)新的結(jié)合,并通過(guò)大量真實(shí)用戶的使用驗(yàn)證這些技術(shù)的有效性。
2、《NeuralMachine Translation》
這個(gè)tutorial的報(bào)告人是斯坦福大學(xué)的Christopher Manning教授、他的博士生Thang Luong以及紐約大學(xué)的助理教授Kyunghyun Cho。Manning教授在NLP領(lǐng)域的影響力非常大,是統(tǒng)計(jì)NLP領(lǐng)域的領(lǐng)軍學(xué)者之一,最近幾年也逐漸轉(zhuǎn)向深度學(xué)習(xí),在遞歸神經(jīng)網(wǎng)絡(luò)、句法分析、詞向量、神經(jīng)機(jī)器翻譯等領(lǐng)域做了很多開(kāi)創(chuàng)性工作。Luong和Cho也是近幾年暫露頭角的青年學(xué)者,尤其是在將深度學(xué)習(xí)應(yīng)用于NLP領(lǐng)域做了不少創(chuàng)新的研究。
?
這個(gè)tutorial對(duì)目前神經(jīng)機(jī)器翻譯的研究進(jìn)展做了一個(gè)階段性的總結(jié)。雖然NMT真正開(kāi)始興起的時(shí)間不到3年(大致從2013年Kalchbrenner和Blunsum發(fā)表《Recurrent continuous translation models》開(kāi)始算起),但迅速在研究界掀起了新的熱潮,并取得了巨大進(jìn)展,在一些語(yǔ)言上的效果已經(jīng)超越了傳統(tǒng)的方法。報(bào)告首先回顧了最近20年占統(tǒng)治地位的SMT方法,然后介紹了幾年之前將神經(jīng)網(wǎng)絡(luò)作為新特征集成到傳統(tǒng)解碼器的思路,接下來(lái)重點(diǎn)介紹了大家非常關(guān)注的端到端的神經(jīng)機(jī)器翻譯(End2end NMT)。報(bào)告中以一個(gè)具體的NMT實(shí)現(xiàn)為例,詳細(xì)描述了一個(gè)NMT的序列到序列框架及相關(guān)的較大似然估計(jì)和beam-search解碼過(guò)程。報(bào)告最后描述了NMT研究近期的發(fā)展趨勢(shì),包括引入LSTM和attention機(jī)制,以及如何通過(guò)sub-word或基于字符解碼來(lái)盡量減少受限詞表對(duì)最后翻譯效果的影響等。
圖2、一個(gè)典型的encoder-decoderNMT框架
總的來(lái)說(shuō),這個(gè)報(bào)告對(duì)于我們更好理解NMT基本原理,了解當(dāng)前面臨的主要問(wèn)題以及的研究成果都非常有幫助。
圖3、Manning教授、Luong和Cho在Tutorial上
3、《SemanticRepresentations of Word Senses and Concepts》
來(lái)自羅馬大學(xué)的J Camacho-Collados,I Iacobacci,R Navigli,以及劍橋大學(xué)的MT Pilehvar共同帶來(lái)了這次《詞義和概念的語(yǔ)義表示》的Tutorial分享。
?
Word(詞)是句子、文章、文檔的重要組部分,但是Word Representation有比較大的局限性,例如:一詞多義以及詞義消歧等,因此本文詳細(xì)介紹基于語(yǔ)義表示(Sense Representation)技術(shù),而此領(lǐng)域作為一個(gè)基礎(chǔ)領(lǐng)域可以在眾多領(lǐng)域進(jìn)行廣泛的應(yīng)用,例如:語(yǔ)義相似度、語(yǔ)義消歧、信息挖掘、語(yǔ)義聚類等等領(lǐng)域進(jìn)行應(yīng)用。并且系統(tǒng)的通過(guò)基于知識(shí)庫(kù)(knowledge-based)和無(wú)監(jiān)督(unsupervised)兩個(gè)不同的技術(shù)體系與方案進(jìn)行相關(guān)領(lǐng)域成果及方法系統(tǒng)的介紹。整個(gè)Topic雖無(wú)特別創(chuàng)新的地方,但是實(shí)用性較高,基于知識(shí)以及無(wú)監(jiān)督的方法大部分在工業(yè)場(chǎng)景都可以借鑒,可以一讀。
Slides下載地址:http://wwwusers.di.uniroma1.it/~collados/Slides_ACL16Tutorial_SemanticRepresentation.pdf
4、《UnderstandingShort Texts》
短文本理解的主題從字面意思理解就非常接地氣。在日常的很多領(lǐng)域中都會(huì)產(chǎn)生大量的短文本,包括搜索、問(wèn)答以及對(duì)話、推薦等領(lǐng)域,而短文本帶來(lái)的問(wèn)題也非常明顯,包括稀疏問(wèn)題、噪音問(wèn)題以及歧義問(wèn)題。因此這里就會(huì)產(chǎn)生大量的工作以及有意思的工作。
?
本次報(bào)告的分享人是來(lái)自前微軟亞洲研究院(MSRA)的研究員王仲遠(yuǎn)(目前已經(jīng)在Facebook)以及來(lái)自Facebook的王海勛(前Google以及前MSRA高級(jí)研究員)。可能是因?yàn)楸敬蜹opic分享人來(lái)自于企業(yè)界,加上相對(duì)接地氣的分享主題,因此本次分享吸引了不少產(chǎn)業(yè)界以及學(xué)術(shù)領(lǐng)域的同學(xué)前來(lái)參加,包括Amazon、Yelp、訊飛、百度、微軟等。
?
本文在短文本的理解技術(shù)上從文本語(yǔ)義明確(Explict)表示與隱性(Implict)表示將處理的方法技術(shù)分成了兩種類型:ERM(Explict Representation Model)和IRM(ImplictRepresentation Model)。
圖4、EMR and IMR
ERM還是基于結(jié)構(gòu)化知識(shí)庫(kù)或者知識(shí)圖譜,切分成為單實(shí)例和上下文多實(shí)例的兩種類型分別進(jìn)行短文本的理解;
?
單實(shí)例的處理方式:?jiǎn)螌?shí)例的查詢是否有歧義,無(wú)歧義既返回,有歧義進(jìn)行基礎(chǔ)基礎(chǔ)的概念模型進(jìn)行歸一和分類,最終進(jìn)行語(yǔ)義相似度的方法進(jìn)行傾向性理解的方法;
?
多實(shí)例短文本的方式:語(yǔ)義分詞處理與切分(文中提到了有監(jiān)督和無(wú)監(jiān)督N-Gram的方式,而在實(shí)際場(chǎng)景這個(gè)問(wèn)題相對(duì)會(huì)更加成熟,可以參考中文分詞技術(shù)),實(shí)體及結(jié)合上下文的實(shí)體識(shí)別、消歧和類型標(biāo)注,到實(shí)例之間的關(guān)系標(biāo)注,到最終的語(yǔ)義相似度計(jì)算;
?
IRM更多基于embedding和deep learning的方法做短文的理解與計(jì)算。本文還是有不少實(shí)際工業(yè)可以借鑒的地方,可以關(guān)注并讀一下。
?
slides下載地址:
http://www.wangzhongyuan.com/tutorial/ACL2016/Understanding-Short-Texts/
三、會(huì)議詳細(xì)內(nèi)容
1、機(jī)器翻譯方向
《Multimodal Pivots for Image CaptionTranslation》,這篇論文入選了本屆會(huì)議的杰出論文,作者是德國(guó)海德堡大學(xué)的Julian Hitschlerand ShigehikoSchamoni和Stefan Riezler,所做的工作比較有新意。論文工作要解決的問(wèn)題是改進(jìn)圖片標(biāo)題的翻譯質(zhì)量,但并不是通過(guò)擴(kuò)大雙語(yǔ)句對(duì)、優(yōu)化解碼器等方法實(shí)現(xiàn),而是先用圖像檢索的方法在目標(biāo)語(yǔ)言圖片庫(kù)中檢索與源語(yǔ)言圖片相似的圖片,然后用其所帶的標(biāo)題和機(jī)器翻譯輸出的譯文組合之后進(jìn)行重排序,從而顯著提升了標(biāo)題翻譯的質(zhì)量。對(duì)于改進(jìn)機(jī)器翻譯質(zhì)量,這個(gè)工作并沒(méi)有試圖直接硬碰硬地去改進(jìn)核心算法,而是另辟蹊徑,反而取得了更好的結(jié)果。
?
《Modeling Coveragefor Neural Machine Translation》,這篇論文的作者是來(lái)自華為諾亞方舟實(shí)驗(yàn)室的涂兆鵬博士和李航博士,其核心思想是要解決之前基于注意力(attention)的NMT框架中由于缺少已翻譯范圍指引而導(dǎo)致的過(guò)翻(over-translation)或欠翻(under-translation)問(wèn)題。論文引入了一個(gè)覆蓋向量來(lái)跟蹤NMT的attention歷史,并在解碼過(guò)程中反饋給attention模型,幫助后者不斷調(diào)整未來(lái)的attention,從而從全局上記錄哪些詞已翻,哪些詞未翻。這個(gè)工作解決了之前NMT框架中一個(gè)比較明顯的缺口,對(duì)于NMT系統(tǒng)的實(shí)用化具有很好的價(jià)值。
?
《Phrase-LevelCombination of SMT and TM Using Constrained Word Lattice》,這篇論文的作者是來(lái)自于都柏林大學(xué)ADAPT中心的劉群教授、Andy Way和李良友。文中使用了一種受限詞圖結(jié)構(gòu),將輸入的短語(yǔ)和由記憶庫(kù)施加的約束條件編碼到一個(gè)向量里,從而將SMT和TM在句子級(jí)實(shí)現(xiàn)了融合。這是眾多NMT論文中為數(shù)不多的仍然以傳統(tǒng)SMT和記憶庫(kù)(TM)為主題的工作。考慮到TM在實(shí)用系統(tǒng)中仍是不可缺少的部分,這個(gè)工作也是具有一定的應(yīng)用前景的。
圖5、Phrase-Level Combination of SMT and TM UsingConstrained Word Lattice
2、機(jī)器閱讀與理解
機(jī)器閱讀理解是約在5、6年前逐漸為人關(guān)注的領(lǐng)域,它可以說(shuō)是自然語(yǔ)言理解的終極形態(tài)。這個(gè)領(lǐng)域的研究形式是讓機(jī)器先處理一篇文章(新聞文章或短篇故事),然后回答跟文章內(nèi)容相關(guān)的填充題,要填充的一般都是某個(gè)實(shí)體的名字。(注:為了避免利用外部資源來(lái)作弊,常用做法是把實(shí)體名字替換成’@entity1’等特殊符號(hào)。)
?
本屆ACL會(huì)議正好有一篇優(yōu)秀論文(“A Thorough Examination ofthe CNN/Daily Mail Reading Comprehension Task”)是關(guān)于閱讀理解的。該論文的重點(diǎn)在于借助一個(gè)基于CNN和每日郵報(bào)新聞數(shù)據(jù)的評(píng)測(cè)數(shù)據(jù)集去探討當(dāng)前閱讀理解技術(shù)所能解決的范圍。論文作者實(shí)現(xiàn)了兩個(gè)相當(dāng)標(biāo)準(zhǔn)的系統(tǒng),一個(gè)基于傳統(tǒng)分類器,另一個(gè)基于神經(jīng)網(wǎng)絡(luò),然后對(duì)兩個(gè)系統(tǒng)的表現(xiàn)作抽樣調(diào)研。調(diào)研結(jié)果是:(i) 只需要字面匹配就能解答的問(wèn)題是兩個(gè)系統(tǒng)都能百分百回答正確的;(ii) 大部分閱讀理解問(wèn)題的關(guān)鍵在于同義表達(dá)的理解和若干程度的文本、常識(shí)推理,這方面基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)能達(dá)到90%上下的水平;(iii) 牽涉到代詞指代和需要消化多個(gè)句子信息的問(wèn)題,兩個(gè)系統(tǒng)的表現(xiàn)都只達(dá)到50%左右;(iv)連一般人都難以回答的問(wèn)題,機(jī)器也同樣沒(méi)轍,只能偶爾蒙中一兩題而已。換言之,這篇論文一方面印證了神經(jīng)網(wǎng)絡(luò)確實(shí)是解決同義表達(dá)和簡(jiǎn)單文本推理的一個(gè)良好框架,但同時(shí)亦指出了要機(jī)器閱讀理解的未來(lái)方向在于篇章級(jí)的理解方法。
?
另外一篇論文“Text Understanding with theAttention Sum Reader Network”在這個(gè)CNN/每日郵報(bào)數(shù)據(jù)集上使用了另外一套基于神經(jīng)網(wǎng)絡(luò)的方法,也得到幾乎一樣的準(zhǔn)確率,印證了頂尖研究者都已經(jīng)達(dá)到一樣的水平了。
3、語(yǔ)言與視覺(jué)
這個(gè)又名“l(fā)anguage grounding”的領(lǐng)域是NLP和computer vision的交叉領(lǐng)域,近年來(lái)也越來(lái)越受到關(guān)注。今年ACL有兩篇論文對(duì)現(xiàn)實(shí)產(chǎn)品有相當(dāng)意義。第一篇是“Learning Prototypical EventStructure from Photo Albums”。這篇論文指出不少照片簿其實(shí)都是關(guān)于一個(gè)大主題(例如婚禮),這個(gè)大主題往往由好幾個(gè)小主題組成(例如交換戒指、新郎親吻新娘、拋花球、切結(jié)婚蛋糕),而這些小主題往往也有一個(gè)時(shí)序。(見(jiàn)圖6)論文作者于是提出一套方法,利用照片圖像之間的相似度/差異度、照片標(biāo)題的相似度/差異度、主題之間的順序關(guān)系來(lái)對(duì)照片簿進(jìn)行切分,并利用圖像分類和文本分類對(duì)每個(gè)切分出來(lái)的部分給出一個(gè)主題標(biāo)簽。
圖6、照片簿的自動(dòng)切分和分類
第二篇值得注意的論文是來(lái)自微軟研究院的“Generating Natural Questions about an Image”。論文指出目前的image captioning(自動(dòng)賦予圖片標(biāo)題)研究通常都會(huì)對(duì)照片給一個(gè)很客觀但也很干巴巴、‘沒(méi)有人文關(guān)懷’的標(biāo)題,例如對(duì)于圖7中的照片,一般的系統(tǒng)都會(huì)給出“有個(gè)人在摩托車(chē)旁邊”或類似的標(biāo)題。這種標(biāo)題抓不住整張圖片的重點(diǎn),因此也不能引起讀者興趣。這篇論文應(yīng)該是關(guān)于Tay(英文版微軟小冰)的一個(gè)功能,就是用戶上傳一張如圖7的照片,然后聊天機(jī)器人回應(yīng)一句像“發(fā)生什么意外了?”或“司機(jī)受傷了嗎?”的回應(yīng)。論文作者收集了并人工標(biāo)注了一個(gè)相關(guān)的數(shù)據(jù)集,也提出生成式和檢索式的兩套方法。 ? ?
圖7、自然與不自然的相片標(biāo)題
歡迎加入本站公開(kāi)興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法,實(shí)際應(yīng)用案例分享與討論,分析工具,ETL工具,數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)挖掘工具,報(bào)表系統(tǒng)等全方位知識(shí)
QQ群:81035754
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://specialneedsforspecialkids.com/yun/4424.html
摘要:而自然語(yǔ)言處理被視為深度學(xué)習(xí)即將攻陷的下一個(gè)技術(shù)領(lǐng)域,在今年全球較高級(jí)的學(xué)術(shù)會(huì)議上,我們也看到大量的在深度學(xué)習(xí)引入方面的探索研究。 深度學(xué)習(xí)的出現(xiàn)讓很多人工智能相關(guān)技術(shù)取得了大幅度的進(jìn)展,比如語(yǔ)音識(shí)別已經(jīng)逼近臨界點(diǎn),即將達(dá)到Game Changer水平;機(jī)器視覺(jué)也已經(jīng)在安防、機(jī)器人、自動(dòng)駕駛等多個(gè)領(lǐng)域得到應(yīng)用。 而自然語(yǔ)言處理(NLP)被視為深度學(xué)習(xí)即將攻陷的下一個(gè)技術(shù)領(lǐng)域,在今年全球較高級(jí)...
摘要:深度學(xué)習(xí)浪潮這些年來(lái),深度學(xué)習(xí)浪潮一直沖擊著計(jì)算語(yǔ)言學(xué),而看起來(lái)年是這波浪潮全力沖擊自然語(yǔ)言處理會(huì)議的一年。深度學(xué)習(xí)的成功過(guò)去幾年,深度學(xué)習(xí)無(wú)疑開(kāi)辟了驚人的技術(shù)進(jìn)展。 機(jī)器翻譯、聊天機(jī)器人等自然語(yǔ)言處理應(yīng)用正隨著深度學(xué)習(xí)技術(shù)的進(jìn)展而得到更廣泛和更實(shí)際的應(yīng)用,甚至?xí)屓苏J(rèn)為深度學(xué)習(xí)可能就是自然語(yǔ)言處理的終極解決方案,但斯坦福大學(xué)計(jì)算機(jī)科學(xué)和語(yǔ)言學(xué)教授 Christopher D. Mannin...
摘要:于月日至日在意大利比薩舉行,主會(huì)于日開(kāi)始。自然語(yǔ)言理解領(lǐng)域的較高級(jí)科學(xué)家受邀在發(fā)表主旨演講。深度學(xué)習(xí)的方法在這兩方面都能起到作用。下一個(gè)突破,將是信息檢索。深度學(xué)習(xí)在崛起,在衰退的主席在卸任的告別信中這樣寫(xiě)到我們的大會(huì)正在衰退。 SIGIR全稱ACM SIGIR ,是國(guó)際計(jì)算機(jī)協(xié)會(huì)信息檢索大會(huì)的縮寫(xiě),這是一個(gè)展示信息檢索領(lǐng)域中各種新技術(shù)和新成果的重要國(guó)際論壇。SIGIR 2016于 7月17...
摘要:年月日,麻省理工科技評(píng)論發(fā)布了年歲以下科技創(chuàng)新人中國(guó)榜單,美團(tuán)點(diǎn)評(píng)平臺(tái)部中心負(fù)責(zé)人點(diǎn)評(píng)搜索智能中心負(fù)責(zé)人王仲遠(yuǎn)獲評(píng)為遠(yuǎn)見(jiàn)者。這一次,王仲遠(yuǎn)依然拿到了很多頂級(jí)機(jī)構(gòu)發(fā)出的。年,因?yàn)榧彝シ矫娴目紤],王仲遠(yuǎn)選擇回國(guó)發(fā)展。 2019 年 1 月 21 日,《麻省理工科技評(píng)論》發(fā)布了 2018 年35 歲以下科技創(chuàng)新 35 人(35 Innovators Under 35)中國(guó)榜單,美團(tuán)點(diǎn)評(píng)AI平...
閱讀 2185·2023-04-25 19:06
閱讀 1383·2021-11-17 09:33
閱讀 1771·2019-08-30 15:53
閱讀 2590·2019-08-30 14:20
閱讀 3549·2019-08-29 12:58
閱讀 3543·2019-08-26 13:27
閱讀 508·2019-08-26 12:23
閱讀 491·2019-08-26 12:22