資訊專欄INFORMATION COLUMN
摘要：深度神經網絡還不清楚如何來檢測參議員投票數據集中的關鍵影響者。目前還不清楚如何用深度神經網絡技術來推斷不在視頻中的投球手的存在。深度神經網絡在高維特征的處理上很糟糕，這一點不像算法強健的隨機森林，它需要重度調參。
1/ 深度學習做不了什么？這值得我們列一個清單，把嘗試過的失敗總結出來，以更好地指導算法開發。
2/ 對于輸入數據的細微抖動，深度學習就會出現算法失效的情況。想象一下，當顏色互換時，目標識別系統的崩潰程度。
3/ 基于梯度的學習相當緩慢，算法需要下降很多很多的梯度才能學會模式，用于高維預測則相當艱難。
4/ 深度學習在處理約束條件方面表現很差。不同于線性規劃，深度學習不容易找到能滿足約束條件的解決方案。
5/ 復雜模型的訓練很不穩定。神經圖靈機和生成式對抗網絡訓練起來很難，它們過于依賴隨機函數的初始化。
6/ 不像圖形模型，深度網絡不擅長跟真實世界建立聯系，無法提取出因果模型。
7/ 比如，要考慮關鍵影響者的監測問題。深度神經網絡還不清楚如何來檢測參議員投票數據集中的關鍵影響者。
8/ 強化學習方法過于挑剔。其性能太過依賴于調參技巧，盡管這一問題是特有的。
9/ 深度學習無法對未知的實體進行推斷。考慮棒球賽的場景：屏幕上的擊球手與屏幕外的投球手。
10/ 目前還不清楚如何用深度神經網絡技術來推斷不在視頻中的投球手的存在。
11/ 在線訓練深度網絡是不可能的，文章一開始就提到了訓練緩慢的問題，因而動態反應很難實現。
12/ 一般來說，智能行為的訓練只能離線進行。
13/ 人們經常提及深度網絡的可解釋性問題。我個人認為該問題遠沒有人們所想的那樣嚴重。
14/ 但是，對深度網絡進行審查也相當困難。我們如何才能確保偏見、種族主義不被深度學習學會？請參考word2vec的種族主義文章。
15/ 深度神經網絡不能簡單用來解決邏輯問題。3SAT求解器是有很強的能力，但很難被部署到深度網絡內。
16/ 深度神經網絡在高維特征的處理上很糟糕，這一點不像算法強健的隨機森林，它需要重度調參。
17/ 超參數搜索依舊很難用。從業者需要處理繁重的計算，或者對架構作大量的手工調整。
18/ 這不是一份詳盡的問題列表。上述問題都值得進一步思考與深入研究。
19/ 其中至關重要的一點是：到底這些難題是深度網絡所固有的缺陷？還是屬于我們要在工程上去克服的挑戰？
20/ 說實話，這很難回答。其中一些問題可能被很快解決。如部署更多的硬件，就有可能實現自動化超參數搜索。
21/ 在架構方面，還有一些自動歸一化和處理高維數據的早期嘗試，所以特征處理也有可能得到改善。
22/ 然而，邏輯、約束條件、隱藏結構和審查方面的問題，則要隱藏得更深。
23/ 不過我更希望被打臉，深度學習領域的人們往往天賦異稟，且極具想象力。
24/ 此外，GPU版的摩爾定律依然在起作用（至于說能持續多久，TPU和定制硬件是否真能幫我們解決問題，只有到時候才能知道了）。
25/ 所以，我對這些挑戰持相對樂觀的態度。盡管如此，我還是懷疑深度網絡不足以實現通用人工智能。
26/ 當然這可能是我個人的偏見。專家們在技術細節上研究多了，往往會在預測大局上表現拙劣。
27/ 從而導致我一葉障目，不見泰山。
28/ 我在拼命抑制把這推文風暴寫成正式文章的沖動。畢竟，我不知道是否還存在未能觸及的潛在話題。
29/ 最后，這里的探索和分析就先留給那些有心的讀者來做練習。
說明：本文是我一次推文風暴的改編和展開。感謝在Twitter上評論過我的那些人，他們在我最初的思路上給出了很多有意思的見解。
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4562.html
摘要：我認為對機器學習開發者來說，是一個了不起的工具集。這個帖子發出后得到了很多機器學習研究者和開發者的關注，他們紛紛跟貼談論自己的想法和經驗不只是關于和，討論中還涉及到更多工具。 Theano、TensorFlow、Torch、MXNet 再到近日比較熱門的 PyTorch 等等，深度學習框架之間的比較一直以來都是非常受人關注的熱點話題。機器之心也曾發表過多篇相關的介紹和對比文章，如《主流深度學...
摘要：在普通的全連接網絡或中，每層神經元的信號只能向上一層傳播，樣本的處理在各個時刻獨立，因此又被成為前向神經網絡。不難想象隨著深度學習熱度的延續，更靈活的組合方式更多的網絡結構將被發展出來。 從廣義上來說，NN(或是更美的DNN)確實可以認為包含了CNN、RNN這些具體的變種形式。在實際應用中，所謂的深度神經網絡DNN，往往融合了多種已知的結構，包括卷積層或是LSTM單元。這里的DNN特指全連接...
摘要：注意目前發現有其他人以團隊名義進行招聘，發出的郵箱皆為私人郵箱。為防止在投遞簡歷出現誤會，在此提醒各位注意團隊沒有以任何個人名義或郵箱進行招聘。的面試過程我們一般會有輪面試，對于高級別的工程師可能會有輪面試。 fex-team/interview-questions 注意 目前發現有其他人以 FEX 團隊名義進行招聘，發出的郵箱皆為私人郵箱。 為防止在投遞簡歷出現誤會，在此提醒各位注意...
摘要：注意目前發現有其他人以團隊名義進行招聘，發出的郵箱皆為私人郵箱。為防止在投遞簡歷出現誤會，在此提醒各位注意團隊沒有以任何個人名義或郵箱進行招聘。的面試過程我們一般會有輪面試，對于高級別的工程師可能會有輪面試。 fex-team/interview-questions 注意 目前發現有其他人以 FEX 團隊名義進行招聘，發出的郵箱皆為私人郵箱。 為防止在投遞簡歷出現誤會，在此提醒各位注意...
摘要：注意目前發現有其他人以團隊名義進行招聘，發出的郵箱皆為私人郵箱。為防止在投遞簡歷出現誤會，在此提醒各位注意團隊沒有以任何個人名義或郵箱進行招聘。的面試過程我們一般會有輪面試，對于高級別的工程師可能會有輪面試。 fex-team/interview-questions 注意 目前發現有其他人以 FEX 團隊名義進行招聘，發出的郵箱皆為私人郵箱。 為防止在投遞簡歷出現誤會，在此提醒各位注意...
閱讀 2620·2021-10-12 10:12
閱讀 778·2019-08-29 17:25
閱讀 2782·2019-08-29 17:24
閱讀 3204·2019-08-29 17:19
閱讀 1792·2019-08-29 15:39
閱讀 3031·2019-08-26 16:50
閱讀 1984·2019-08-26 12:17
閱讀 2694·2019-08-26 12:16
