資訊專欄INFORMATION COLUMN
摘要：在過去幾年中，深度學習改變了整個人工智能的發展。在本文中，我將介紹年深度學習的一些主要進展，與年深度學習進展版本一樣，我沒有辦法進行詳盡的審查。最后的想法與去年的情況一樣，年深度學習技術的使用持續增加。
在過去幾年中，深度學習改變了整個人工智能的發展。深度學習技術已經開始在醫療保健，金融，人力資源，零售，地震檢測和自動駕駛汽車等領域的應用程序中出現。至于現有的成果表現也一直在穩步提高。
在學術層面，機器學習領域已經變得非常重要了，以至于每20分鐘就會出現一篇新的科學文章。
在本文中，我將介紹2018年深度學習的一些主要進展，與2017年深度學習進展版本一樣，我沒有辦法進行詳盡的審查。我只想分享一些給我留下最深刻印象的領域成就。
語言模型：Google的BERT
在自然語言處理（NLP）中，語言模型是可以估計一組語言單元（通常是單詞序列）的概率分布的模型。在該領域有很多有趣的模型，因為它們可以以很低的成本構建，并且顯著改進了幾個NLP任務，例如機器翻譯，語音識別和內容解析。
歷史上，最著名的方法之一是基于馬爾可夫模型和n-gram。隨著深度學習的出現，出現了基于長短期記憶網絡（LSTM）更強大的模型。雖然高效，但現有模型通常是單向的，這意味著只有單詞的上下文才會被考慮。
去年10月，Google AI語言團隊發表了一篇引起社區轟動的論文。BERT是一種新的雙向語言模型，它已經實現了11項復雜NLP任務的結果，包括情感分析、問答和復述檢測#Paraphrase_recognition)。
預訓練BERT的策略不同于傳統的從左到右或從右到左的選項。新穎性包括：
隨機屏蔽一定比例的輸入詞，然后預測那些被屏蔽的詞;這可以在多層次的背景下保持間接“看到自己”的詞語。
構建二元分類任務以預測句子B之后是否緊跟句子A，這允許模型確定句子之間的關系，這種現象不是由經典語言建模直接捕獲的。
至于實施，Google AI開源了他們的論文代碼，該代碼基于TensorFlow。其中一些在PyTorch也能實現，例如Thomas Wolf和Junseong Kim的實現。
BERT對業務應用程序的影響很大，因為這種改進會影響NLP的各個方面。這可以在機器翻譯，聊天機器人行為，自動電子郵件響應和客戶審查分析中獲得更準確的結果。
視頻到視頻合成
我們通常習慣由圖形引擎創建的模擬器和視頻游戲進行環境交互。雖然令人印象深刻，但經典方法的成本很高，因為必須精心指定場景幾何、材料、照明和其他參數。一個很好的問題是：是否可以使用例如深度學習技術自動構建這些環境。
在他們的視頻到視頻合成論文中，NVIDIA的研究人員解決了這個問題。他們的目標是在源視頻和輸出視頻之間提供映射功能，較精確描繪輸入內容。作者將其建模為分布匹配問題，其目標是使自動創建視頻的條件分布盡可能接近實際視頻的條件分布。為實現這一目標，他們建立了一個基于生成對抗網絡（GAN）的模型。在GAN框架內的關鍵思想是，生成器試圖產生真實的合成數據，使得鑒別器無法區分真實數據和合成數據。他們定義了一個時空學習目標，旨在實現暫時連貫的視頻。
結果非常驚人，如下面的圖片所示：
輸入視頻位于左上象限，它是來自Cityscapes數據集的街道場景視頻的分段圖。作者將他們的結果（右下）與兩個基線進行比較：pix2pixHD（右上）和COVST（左下）。
這種方法甚至可以用于執行未來的視頻預測。由于NVIDIA開源vid2vid代碼（基于PyTorch），你可以嘗試執行它。
改進詞嵌入
去年，我寫了關于字嵌入在NLP中的重要性，并且相信這是一個在不久的將來會得到更多關注的研究課題。任何使用過詞嵌入的人都知道，一旦通過組合性檢查的興奮（即King-Man+Woman=Queen）已經過去，因為在實踐中仍有一些限制。也許最重要的是對多義不敏感，無法表征詞之間確切建立的關系。到底同義詞Hyperonyms？另一個限制涉及形態關系：詞嵌入模型通常無法確定諸如駕駛員和駕駛之類的單詞在形態上是相關的。
在題為“深度語境化詞語表示”（被認為是NAACL 2018年的優秀論文）的論文中，來自艾倫人工智能研究所和Paul G. Allen計算機科學與工程學院的研究人員提出了一種新的深層語境化詞匯表示方法。同時模擬單詞使用的復雜特征（例如語法和語義）以及這些用途如何在語言環境（即多義詞）中變化。
他們的提議的中心主題，稱為語言模型嵌入（ELMo），是使用它的整個上下文或整個句子來對每個單詞進行矢量化。為了實現這一目標，作者使用了深度雙向語言模型（biLM），該模型在大量文本上進行了預訓練。另外，由于表示基于字符，因此可以捕獲單詞之間的形態句法關系。因此，當處理訓練中未見的單詞（即詞匯外單詞）時，該模型表現得相當好。
作者表明，通過簡單地將ELMo添加到現有的較先進解決方案中，結果可以顯著改善難以處理的NLK任務，例如文本解釋，共指解析和問答，與Google的BERT表示一樣，ELMo是該領域的重要貢獻，也有望對業務應用程序產生重大影響。
視覺任務空間結構的建模
視覺任務是否相關？這是斯坦福大學和加州大學伯克利分校的研究人員在題為“Taskonomy：Disentangling Task Transfer Learning”的論文中提出的問題，該論文獲得了2018年CVPR的較佳論文獎。
可以合理地認為某些視覺任務之間存在某種聯系。例如，知道表面法線可以幫助估計圖像的深度。在這種情況下，遷移學習技術-或重用監督學習結果的可能性將極大的提高。
作者提出了一種計算方法，通過在26個常見的視覺任務中找到轉移學習依賴關系來對該結構進行建模，包括對象識別、邊緣檢測和深度估計。輸出是用于任務轉移學習的計算分類圖。
上圖顯示了計算分類法任務發現的示例任務結構。在該示例中，該方法告知我們如果組合了表面法線估計器和遮擋邊緣檢測器的學習特征，則可以用很少的標記數據快速訓練用于重新整形和點匹配的模型。
減少對標簽數據的需求是這項工作的主要關注點之一。作者表明，可以通過粗略地減小求解一組10個任務所需的標記的數據點的總數2/3（具有獨立訓練相比），同時保持幾乎相同的性能。這是對實際用例的重要發現，因此有望對業務應用程序產生重大影響。
微調通用語言模型以進行文本分類
深度學習模型為NLP領域做出了重大貢獻，為一些常見任務提供了較先進的結果。但是，模型通常從頭開始訓練，這需要大量數據并且需要相當長的時間。
Howard和Ruder提出了一種歸納遷移學習方法，稱為通用語言模型微調（ULMFiT）。主要思想是微調預訓練的語言模型，以使其適應特定的NLP任務。這是一種精明的方法，使我們能夠處理我們沒有大量數據的特定任務。
他們的方法優于六個文本分類任務的結果，將錯誤率降低了18-24％。關于訓練數據的數量，結果也非常驚人：只有100個標記樣本和50K未標記樣本，該方法實現了與10K標記樣本從頭開始訓練的模型相同的性能。
同樣，這些結果證明遷移學習是該領域的關鍵概念。你可以在這里查看他們的代碼和預訓練模型。
最后的想法
與去年的情況一樣，2018年深度學習技術的使用持續增加。特別是，今年的特點是遷移學習技術越來越受到關注。從戰略角度來看，這可能是我認為今年較好的結果，我希望這種趨勢在將來可以繼續下去。
我在這篇文章中沒有探討的其他一些進展同樣引人注目。例如，強化學習的進步，例如能夠擊敗Dota 2的職業玩家的驚人的OpenAI Five機器人。另外，我認為現在球CNN，特別有效的分析球面圖像，以及PatternNet和PatternAttribution，這兩種技術所面臨的神經網絡的一個主要缺點：解釋深層網絡的能力。
上述所有技術發展對業務應用程序的影響是巨大的，因為它們影響了NLP和計算機視覺的許多領域。我們可能會在機器翻譯、醫療診斷、聊天機器人、倉庫庫存管理、自動電子郵件響應、面部識別和客戶審查分析等方面觀察到改進的結果。
從科學的角度來看，我喜歡Gary Marcus撰寫的深度學習評論。他清楚地指出了當前深度學習方法的局限性，并表明如果深度學習方法得到其他學科和技術的見解（如認知和發展心理學、符號操作和混合建模）的補充，人工智能領域將獲得相當大的收益。無論你是否同意他，我認為值得閱讀他的論文。
聲明：文章收集于網絡，如有侵權，請聯系小編及時處理，謝謝！
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4859.html
摘要：年深度學習取得的驚人突破將在年以一種非常有力的方式延續下去。整理了一份年深度學習的預測清單。谷歌將繼續以的開發項目給世界帶來驚喜。深度學習發現了通用函數近似器。深度學習研究信息將減少年對于從事深度學習研究的人來說已經很困難了。 【網易智能訊1月4日消息】我有一種預感，2018年可能是一切都發生戲劇性變化的一年。2017年深度學習取得的驚人突破將在2018年以一種非常有力的方式延續下去。...
摘要：年深度學習取得的驚人突破將在年以一種非常有力的方式延續下去。整理了一份年深度學習的預測清單。谷歌將繼續以的開發項目給世界帶來驚喜。深度學習發現了通用函數近似器。深度學習研究信息將減少年對于從事深度學習研究的人來說已經很困難了。 【網易智能訊1月4日消息】我有一種預感，2018年可能是一切都發生戲劇性變化的一年。2017年深度學習取得的驚人突破將在2018年以一種非常有力的方式延續下去。...
摘要：年深度學習取得的驚人突破將在年以一種非常有力的方式延續下去。整理了一份年深度學習的預測清單。谷歌將繼續以的開發項目給世界帶來驚喜。深度學習發現了通用函數近似器。深度學習研究信息將減少年對于從事深度學習研究的人來說已經很困難了。 【網易智能訊1月4日消息】我有一種預感，2018年可能是一切都發生戲劇性變化的一年。2017年深度學習取得的驚人突破將在2018年以一種非常有力的方式延續下去。...
摘要：自我沉淀工作有周報月總結季度年終等各種總結，那么自我學習呢也一樣，今天寫下的點滴，就是對明天的自己最好的饋贈禮物。 showImg(https://segmentfault.com/img/bVbm9ZZ?w=1008&h=298); 前言 歲月不居，時節如流，轉眼間都到2019年1月中旬了，時間過的好快，說好的周末睡到自然醒，但還是跟以往一樣，到上班時間就醒了，這算不算心里只有工作呢...
摘要：未來中國人工智能市場規模將不斷攀升。根據新一代人工智能發展規劃，年中國人工智能的技術與應用水平將發展至世界先進水平，同時核心產業規模超過億。年，中國人工智能領域融資額高達億元。 showImg(https://segmentfault.com/img/remote/1460000019136345); 作為新一輪產業變革的核心驅動力和引領未來發展的戰略技術，國家高度重視人工智能產業的發...
閱讀 2857·2021-11-22 13:54
閱讀 3521·2021-11-16 11:44
閱讀 1369·2021-09-07 10:19
閱讀 1469·2019-08-29 17:30
閱讀 3195·2019-08-29 11:33
閱讀 3542·2019-08-26 12:18
閱讀 2885·2019-08-26 11:53
閱讀 1335·2019-08-26 10:47
