資訊專欄INFORMATION COLUMN
摘要：今日，在第屆神經信息處理系統大會中，百度首席科學家吳恩達教授發表演講利用深度學習開發人工智能應用的基本要點。為了方便讀者學習和收藏，雷鋒網特地把吳恩達教授的做為中文版。吳恩達先講述了常見的深度學習模型，然后再著分析端到端學習的具體應用。
今日，在第 30 屆神經信息處理系統大會（NIPS 2016）中，百度首席科學家吳恩達教授發表演講：《利用深度學習開發人工智能應用的基本要點（Nuts and Bolts of Building Applications using Deep Learning）》。
為了方便讀者學習和收藏，雷鋒網特地把吳恩達教授的PPT 做為中文版。
此外，吳恩達教授曾在今年 9 月 24/25 日也發表過同為《Nuts and Bolts of Applying Deep Learning》的演講(1小時20分鐘)，以下是 YouTube 鏈接：
https://www.youtube.com/watch?v=F1ka6a13S9I
一、深度學習為何崛起
吳恩達在開場提到：深度學習為何這么火？
答案很簡單：
第一是因為規模正在推動深度學習的進步。
從傳統算法到小型神經網絡、中型神經網絡最后演化為現在的大型神經網絡。
第二：端到端學習的崛起
從下圖中的上半部分可以看出，傳統端到端學習是把實體數據表達成數字數據，輸出數字值作為結果。如退昂識別最后以整數標簽輸出為結果。
而現在的端對端學習更為直接純粹，如機器翻譯：輸入英語文本，輸出法語文本；語音識別：輸入音頻，輸出文本。但端對端學習需要大量的訓練集。
吳恩達先講述了常見的深度學習模型，然后再著分析端到端學習的具體應用。
二、主要的深度學習模型
普通神經網絡
?順序模型 ? (1D ?順序) ?RNN, ?GRU, ?LSTM, ?CTC, ?注意力模型?
?圖像模型 ?2D 和 ?3D 卷積神經網絡?
先進/未來 技術：無監督學習（稀疏編碼 ICA, ?SFA,）增強學習
三、端到端學習應用案例：
語音識別
傳統模型：語音→運算特征—（人工設計的 MFCC 特征）→音素識別器—（音素識別）→最終識別器→輸出。
端到端學習：音頻→學習算法→轉錄結果；在給定了足夠的有標注數據（音頻、轉錄結果）時，這種方法的效果會很好。
自動駕駛
傳統模型：攝像頭圖像→檢測汽車+檢測行人→路徑規劃→方向控制。
端到端學習：攝像頭圖像→學習算法→方向控制。
自動駕駛對安全有極高要求，因此需要極高的較精確度。采取純粹的端到端學習十分有挑戰性。只在有足夠（x，y）的數據，來學習足夠復雜的函數的情況下，端到端學習才有效果。
四、機器學習策略
你經常有很多改進 AI 系統的主意，應該怎么做？好的戰略能避免浪費數月精力做無用的事。
以語音識別為例，可以把原語音數據分割成：
60% 訓練集（訓練模型）
20% 開發集（開發過程中用于調參、驗證等步驟的數據集）
20% 測試集（測試時所使用的數據集）
這里面普及幾個概念：
人類水平的誤差與訓練集的誤差之間的差距是可避免的偏差，這部分誤差可以通過進一步的學習/模型調整優化來避免。
訓練集和開發集之間的差距稱為方差，其因為跑了不同的數據從而導致誤差率變化。
上述兩種偏差合在一起，就是偏差-方差權衡（bias-variance trade-off）。
機器學習的基本方案
自動數據合成示例
不同訓練、測試集的分布
假設你想要為一個汽車后視鏡產品，開發語音識別系統。你有 5000 小時的普通語音數據，還有 10 小時的車內數據。你怎么對數據分組呢？這是一個不恰當的方式：
不同訓練和測試集分配
更好的方式：讓開發和測試集來自同樣的分配機制。
五、機器學習新方案
普通人類、偏差、方差分析
人類的表現水平
當機器學習在處理某項任務上比人類表現還差時，你經常會看到最快的進步。
機器學習超越人后，很快就會靠近貝葉斯最優誤差線。
可以依靠人類的直覺：（i）人類提供加標簽的數據。（ii）進行錯誤分析，來理解人是怎么對樣本正確處理的（iii）預估偏差/方差。比如，一項圖像識別任務的訓練誤差 8%， 開發誤差 10%，你應該怎么處理？
六、人工智能產品管理
新的監督DL算法的存在，意味著對使用 DL開發應用的團隊合作，我們在重新思考工作流程。產品經理能幫助 AI 團隊，優先進行最出成果的機器學習任務。比如，對于汽車噪音、咖啡館的談話聲、低帶寬音頻、帶口音的語音，你是應該提高語音效果呢，還是改善延遲，縮小二進制，還是做別的什么？
今天的人工智能能做什么呢？這里給產品經理一些啟發：
如果一個普通人完成一項智力任務只需不到一秒的思考時間，我們很可能現在，或者不遠的將來，用 AI 把該任務自動化。
對于我們觀察到的具體的、重復性的事件（比如用戶點擊廣告；快遞花費的時間），我們可以合理地預測下一個事件的結果（用戶是否點擊下一個此類廣告）。
產品經理和研究員、工程師該如何分工
商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4425.html
摘要：是你學習從入門到專家必備的學習路線和優質學習資源。的數學基礎最主要是高等數學線性代數概率論與數理統計三門課程，這三門課程是本科必修的。其作為機器學習的入門和進階資料非常適合。書籍介紹深度學習通常又被稱為花書，深度學習領域最經典的暢銷書。 showImg(https://segmentfault.com/img/remote/1460000019011569); 【導讀】本文由知名開源平...
摘要：值得一提的是每篇文章都是我用心整理的，編者一貫堅持使用通俗形象的語言給我的讀者朋友們講解機器學習深度學習的各個知識點。今天，紅色石頭特此將以前所有的原創文章整理出來，組成一個比較合理完整的機器學習深度學習的學習路線圖，希望能夠幫助到大家。 一年多來，公眾號【AI有道】已經發布了 140+ 的原創文章了。內容涉及林軒田機器學習課程筆記、吳恩達 deeplearning.ai 課程筆記、機...
摘要：在最近的會議上，吳恩達分享了關于深度學習的一些看法。深度學習較大的優勢在于它的規模，從吳恩達總結的下圖可以看出當數據量增加時，深度學習模型性能更好。深度學習模型如此強大的另一個原因，是端到端的學習方式。然而，深度學習卻使它有了一點變化。 在最近的 NIPS 2016 會議上，吳恩達分享了關于深度學習的一些看法。我們在此做一個整理。?深度學習較大的優勢在于它的規模，從吳恩達總結的下圖可以看出：...
摘要：的研究興趣涵蓋大多數深度學習主題，特別是生成模型以及機器學習的安全和隱私。與以及教授一起造就了年始的深度學習復興。目前他是僅存的幾個仍然全身心投入在學術界的深度學習教授之一。 Andrej Karpathy特斯拉 AI 主管Andrej Karpathy 擁有斯坦福大學計算機視覺博士學位，讀博期間師從現任 Google AI 首席科學家李飛飛，研究卷積神經網絡在計算機視覺、自然語言處理上的應...
摘要：年月在主辦的的演講，談數據科學家需要知道的深度學習知識。當時還演示了機器看圖說話，機器問答，，的效果。其中就是個，能實時對人臉做建模，替換其他的鬼臉，他開玩笑說趕在萬圣節之前上線，以后都不要買道具，一秒變鬼畜。 2015年12月 Andrew Ng在Import IO主辦的ExtractConf的演講，談數據科學家需要知道的深度學習知識。當時還演示了機器看圖說話，機器問答，Dulight，F...
閱讀 2814·2021-10-13 09:48
閱讀 3775·2021-10-13 09:39
閱讀 3584·2021-09-22 16:04
閱讀 1815·2021-09-03 10:48
閱讀 837·2021-08-03 14:04
閱讀 2357·2019-08-29 15:18
閱讀 3399·2019-08-26 12:19
閱讀 2868·2019-08-26 12:08
