資訊專欄INFORMATION COLUMN
摘要：作為工程師的我們，怎樣才能確保在網絡訓練過程中不存在偏見和種族歧視深度神經網絡很難用來解決邏輯問題。深度神經網絡在處理大維度的特征數據方面效果不佳。
認臉、翻譯、合成語音……深度學習在很多問題上都取得了非常好的成績。
那么，還有什么問題不能用深度學習來解決呢？
斯坦福大學在讀博士Bharath Ramsundar列出了以下15個方面，希望能對今后的算法開發有所幫助。
以下為譯文：
1. 眾所周知，深度學習方法很難學習到輸入樣本的微小變化。當樣本的顏色交換時，所構建的目標識別系統可能會完全崩潰。
2. 基于梯度的網絡訓練過程相當緩慢。一般按照固定模式來實現多種梯度下降方法，但是這種方法很難用于高維數據的預測。
3. 深度學習方法在處理條件約束方面的效果也不佳，不能像線性規劃方法那樣，能快速找到滿足約束的解決方案。
4. 在訓練復雜模型時，網絡相當不穩定。通常不能很好地訓練神經圖靈機和GAN網絡，嚴重依賴網絡的初始化方式。
5. 深層網絡能較好地應用于圖像處理和自然語言分析中，但是不適合現實世界的實際問題，如提取因果結構等等。
6. 在實際應用中，要考慮關鍵影響者檢測的問題。在參議員投票的數據集中，應該如何檢測出關鍵影響者，深度神經網絡DNN還不能應用于此方面。
7. 強化學習（Reinforcement Learning）方法對輸入數據非常挑剔，實際性能主要取決于調參技巧，雖然這個特殊問題僅存在于這個方面。
8. 深度學習方法不容易理解未知實體，比如說當棒球擊球手在視頻中，深度學習不知道如何推斷出屏幕外還有個投手。
9. 實時訓練深層網絡幾乎不可能，因此很難進行動態調整，上文已經提到網絡訓練緩慢的問題。
10. 一般來說，網絡需通過離線訓練后才能進行智能辨識。
11. 人們經常提出一些對深層網絡的理論解釋。但這可能不是一個大問題，人們才是一個真正的大問題。
12. 目前很難確定深層網絡學習到了什么。作為工程師的我們，怎樣才能確保在網絡訓練過程中不存在偏見和種族歧視？
13. 深度神經網絡很難用來解決邏輯問題。3SAT求解器具有很強的能力，但是很難應用到深層網絡。
14. 深度神經網絡在處理大維度的特征數據方面效果不佳。這種方法與強大的隨機森林方法不同，在訓練前需要大量的特征調整。
15. 深度網絡的超參數優化研究仍然處于起步階段。研究者需要完成大量的計算或是手動調整許多網絡結構。
以上這些并不是一個完整的列表，但是我覺得這些都是值得思考的問題。在這些問題的基礎上，要思考：
這些問題是深層神經網絡本身存在的問題，還是要被克服的工程挑戰？
這些都很難說，其中的一些問題可能會得到解決，比如更多性能優秀的硬件被開發用于超參數自動搜索。有一些早期結構可以用來自動歸一化和處理大維度的特征數據，因此處理特征的問題可能有所改善。
然而，邏輯、約束、隱藏結構和網絡審查等問題可能會進行更深入的研究。我很愿意看到大家對這些問題提出質疑，深度學習的研究者通常都是很有才華和想象力的。摩爾定律仍然適用于GPU性能曲線，TPU和定制硬件還需要多久才能上市？
所以我對這些挑戰持樂觀態度。盡管如此，我還是懷疑深度神經網絡不足以實現通用人工智能，當然，這可能只是我的偏見，事件上的專家可能是預測上的菜鳥，我們花了太多時間鉆研技術。
千萬不要只知其然，而不知其所以然！
我不想把這個隨筆寫成一篇文章，不確定是否有未知的主題還未被列出。
最后，作者還說，把這篇隨筆送給聰明的讀者。
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4587.html
摘要：值得一提的是每篇文章都是我用心整理的，編者一貫堅持使用通俗形象的語言給我的讀者朋友們講解機器學習深度學習的各個知識點。今天，紅色石頭特此將以前所有的原創文章整理出來，組成一個比較合理完整的機器學習深度學習的學習路線圖，希望能夠幫助到大家。 一年多來，公眾號【AI有道】已經發布了 140+ 的原創文章了。內容涉及林軒田機器學習課程筆記、吳恩達 deeplearning.ai 課程筆記、機...
摘要：年基于云平臺的需求，和排他數據庫的利潤增長，破天荒的推出了版本，并補丁從到到版本。破局阿里云，快速布置裝備了最最新版服務器，能上網就能訪問。為您找項目保駕護航支持訪問。裝了新版本，專門對外開發，給行業內外各兄弟們研究學習使用。各位同行，各位SAP圈內外兄弟姐妹們： SAP從R2 R3版本，演繹到ECC6 版本，并堅持20年不變版本而增發補丁EHP1-EHP8。2016年,基于云平臺的需求，...
摘要：由吳恩達領導的斯坦福大學機器學習小組，研發出一種新的深度學習算法，可以診斷種類型的心律失常。吳恩達表示，機器學習模型可以比專家更較精確的診斷心律失常。這項研究可能是機器學習徹底改變醫療行業的標志之一。 由吳恩達領導的斯坦福大學機器學習小組，研發出一種新的深度學習算法，可以診斷14種類型的心律失常。吳恩達表示，機器學習模型可以比專家更較精確的診斷心律失常。這項研究可能是機器學習徹底改變醫療行業...
摘要：生成你的明星臉介紹，叫做生成對抗網絡。改進損失函數為了訓練過程穩定，生成高質量的圖像，論文中采用自定義梯度懲罰來代替對抗誤差損失其中表示真實和生成圖像之間均勻采樣的直線，試驗時。 StarGAN——生成你的明星臉 1 GAN 介紹 GAN，叫做生成對抗網絡 (Generative Adversarial Network) 。其基本原理是生成器網絡 G(Generator) 和判別器網...
閱讀 2234·2021-11-17 09:33
閱讀 2774·2021-11-12 10:36
閱讀 3395·2021-09-27 13:47
閱讀 884·2021-09-22 15:10
閱讀 3485·2021-09-09 11:51
閱讀 1392·2021-08-25 09:38
閱讀 2757·2019-08-30 15:55
閱讀 2608·2019-08-30 15:53
