資訊專欄INFORMATION COLUMN
摘要：近年來，深度學習在計算機感知自然語言處理和控制方面取得了重大進展。位列新澤西州的發明家名人堂，并獲得年神經網絡先鋒獎年杰出研究獎年終身成就獎和來自墨西哥的名譽博士學位。
Yann Lecun是卷積網絡模型的發明者，該模型被廣泛地應用于模式識別應用中，因此他也被稱為卷積網絡之父，是公認的世界人工智能三巨頭之一。 2018年11月08日，他來到加州大學圣巴巴拉分校，為在場師生作了一場關于自監督學習的前沿報告，近日他在twitter上公開了報告的全程錄像以及Slides全文，現為大家編譯如下。
介紹：
11月08日，應加州大學圣巴巴拉分校，統計與應用概率學系（Department of Statistics and Applied Probability）邀請，Facebook副總裁兼人工智能科學家、紐約大學數據科學中心創始主任Yann Lecun為在場師生做了一場自監督學習的前沿報告。
近年來，深度學習在計算機感知、自然語言處理和控制方面取得了重大進展。但幾乎所有這些成功都在很大程度上依賴于有監督學習，在監督學習中，機器被要求預測人類提供的標簽信息，或通過無模型的強化學習方法，不斷的嘗試各種行為空間的動作，以期達到收益（reward）較大化。這導致了監督學習需要大量的標記樣本，使得它只適用于特定的任務。而強化學習即使在簡單的學習任務中，也需要與環境進行大量的交互。相比之下，動物和人類似乎只通過觀察和偶爾的互動便學會了大量與任務無關的關于世界如何運轉的知識。動物學習新任務所需要的訓練樣本，以及與世界的互動都非常的少。
我們甚至能在30個小時的練習中，學會如何駕駛飛機。那么人類和動物是如何進行有效的學習呢？這里將提出一個假設：即預測模型中的自監督學習，是人工智能方法中必不可少的一部分。有了這些模型，人們就可以預測結果并計劃如何行動，好的預測模型可能是直覺、推理和“常識”的基礎，讓我們能夠填補缺失的信息：從過去和現在的經驗中預測未來，或從嘈雜的世界中推斷當前的狀態。有人可能會說，預測是智力的本質，在簡要介紹了深度學習的現狀之后，我們將討論一些有前途的自監督學習的原則和方法。
作者簡介：
在人工智能研究領域，Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio一直被公認為深度學習三巨頭。
Yann LeCun，自稱中文名“楊立昆”，計算機科學家，被譽為“卷積網絡之父”，為卷積神經網絡（CNN，Convolutional Neural Networks）和圖像識別領域做出了重要貢獻，以手寫字體識別、圖像壓縮和人工智能硬件等主題發表過 190 多份論文，研發了很多關于深度學習的項目，并且擁有14項相關的美國專利。他同Léon Bottou和Patrick Haffner等人一起創建了DjVu圖像壓縮技術，同Léon Bottou一起開發了一種開源的Lush語言，比Matlab功能還要強大，并且也是一位Lisp高手。（Backpropagation，簡稱BP）反向傳播這種現階段常用來訓練人工神經網絡的算法，就是 LeCun 和其老師“神經網絡之父”Geoffrey Hinton 等科學家于 20 世紀 80 年代中期提出的，而后 LeCun 在貝爾實驗室將 BP 應用于卷積神經網絡中，并將其實用化，推廣到各種圖像相關任務中。
Yann LeCun 也是Facebook人工智能研究院院長，紐約大學的 Silver 教授，隸屬于紐約大學數據科學中心、Courant 數學科學研究所、神經科學中心和電氣與計算機工程系。加盟Facebook之前，Lecun已在貝爾實驗室工作超過20年，期間他開發了一套能夠識別手寫數字的系統，叫作LeNet，用到了卷積神經網絡，已開源。他在 1983 年在巴黎 ESIEE 獲得電子工程學位，1987 年在 Université P&M Curie 獲得計算機科學博士學位。在完成了多倫多大學的博士后研究之后，他在 1988 年加入了 AT&T 貝爾實驗室（AT&T Bell Laboratories /Holmdel, NJ），在 1996 年成為 AT&T Labs-Research 的圖像處理研究部門主管。2003 年，他加入紐約大學獲得教授任職，并在 NEC 研究所（普林斯頓）呆過短暫一段時間。2012 年他成為紐約大學數據科學中心的創辦主任。2013 年末，他成為 Facebook 的人工智能研究中心（FAIR）負責人，并仍保持在 NYU 中兼職教學。從 2015 到 2016 年，Yann LeCun 還是法蘭西學院的訪問學者。
LeCun 是 ICLR 的發起人和常任聯合主席（general co-chair），并且曾在多個編輯委員會和會議組織委員會任職。他是加拿大高級研究所（Canadian Institute for Advanced Research）機器與大腦學習（Learning in Machines and Brains）項目的聯合主席。他同樣是 IPAM 和 ICERM 的理事會成員。他曾是許多初創公司的顧問，并是 Elements Inc 和 Museami 的聯合創始人。LeCun 位列新澤西州的發明家名人堂，并獲得 2014 年 IEEE 神經網絡先鋒獎（Neural Network Pioneer Award）、2015 年 IEEE PAMI 杰出研究獎、2016 年 Lovie 終身成就獎和來自墨西哥 IPN 的名譽博士學位。
視頻地址：
https://ucsb.app.box.com/s/msam98ewhhk48t60p75glvm9h0fv57fl
內容大綱：
1、深度學習現狀
2、強化學習進展
3、距離真正的人工智能，我們錯過了什么？
4、可微分編程：深度學習與推理的結合
5、學習真實世界的預測模型
6、對抗訓練
7、采用對抗訓練的視頻預測方法
8、語義分割中的視頻預測方法
9、Stochastic Latent-Variable Forward Model：目標編碼網絡
10、AI對未來的影響
內容全文：
聲明：文章收集于網絡，如有侵權，請聯系小編及時處理，謝謝！
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4832.html
摘要：無監督式學習是突破困境的關鍵，采用無監督學習的對抗訓練讓擁有真正自我學習的能力。如何讓擁有人類的常識認為要用無監督式學習。強化學習是蛋糕上不可或缺的櫻桃，所需要資料量可能大約只有幾個，監督式學習 6 月 29 日，臺灣大學。卷積神經網絡之父、FacebookAI 研究院院長 Yann LeCun 以「Deep Learning and the Path to AI」為題，對深度學習目前的發展...
摘要：幾乎沒有人比歲的更能與深度學習緊密地聯系在一起。他于年成為紐約大學教授，并從此引領了深度學習的發展。最近，深度學習及其相關領域已然成為最活躍的計算機研究領域之一。 本文原載IEEE，作者Lee Gomes，由機器之心翻譯出品，參與成員：電子羊、翬、泥泥劉、赤龍飛、鄭勞蕾、流明。人工智能經歷了幾次低潮時期，這些灰暗時光被稱作「AI寒冬」。這里說的不是那段時期，事實上，人工智能如今變得異常火熱，...
摘要：主流機器學習社區對神經網絡興趣寡然。對于深度學習的社區形成有著巨大的影響。然而，至少有兩個不同的方法對此都很有效應用于卷積神經網絡的簡單梯度下降適用于信號和圖像，以及近期的逐層非監督式學習之后的梯度下降。 我們終于來到簡史的最后一部分。這一部分，我們會來到故事的尾聲并一睹神經網絡如何在上世紀九十年代末擺脫頹勢并找回自己，也會看到自此以后它獲得的驚人先進成果。「試問機器學習領域的任何一人，是什...
摘要：多加了這兩層卷積層和匯集層是卷積神經網絡和普通舊神經網絡的主要區別。卷積神經網絡的操作過程那時，卷積的思想被稱作權值共享，也在年和關于反向傳播的延伸分析中得到了切實討論。 導讀：這是《神經網絡和深度學習簡史》第二部分，這一部分我們會了解BP算法發展之后一些取得迅猛發展的研究，稍后我們會看到深度學習的關鍵性基礎。神經網絡獲得視覺隨著訓練多層神經網絡的謎題被揭開，這個話題再一次變得空前熱門，羅森...
摘要：人工智能的主流算法深度學習的歷史，堪稱也是深度學習三劍客和共同走過的年艱難而輝煌的不悔人生。之后使用一種稱為監督學習的方法來訓練感知器，以正確區分不同形狀。表示，多層次神經網絡的結構并不會使感知器強大到有實用價值。 人工智能的主流算法Deep Learning深度學習的歷史，堪稱Deep History, 也是深度學習三劍客Geoff Hinton, Yann LeCun 和Yoshua B...
閱讀 2609·2021-11-17 17:00
閱讀 1863·2021-10-11 10:57
閱讀 3716·2021-09-09 11:33
閱讀 911·2021-09-09 09:33
閱讀 3550·2019-08-30 14:20
閱讀 3311·2019-08-29 11:25
閱讀 2796·2019-08-26 13:48
閱讀 734·2019-08-26 11:52
