資訊專欄INFORMATION COLUMN
摘要：論文鏈接會上其他科學家認為反向傳播在人工智能的未來仍然起到關鍵作用。既然要從頭再來，的下一步是什么值得一提的是，與他的谷歌同事和共同完成的論文已被大會接收。
三十多年前，深度學習著名學者 Geoffrey Hinton 參與完成了論文《Experiments on Learning by Back Propagation》，提出了反向傳播這一深刻影響人工智能領域的方法。今天的他又一次呼吁研究者們對反向傳播保持懷疑態度，并準備在理論體系上推倒重來。
Geoffrey Hinton 很是懷疑當前干著粗重活的人工智能
1986 年，Geoffrey Hinton 與別人合作了一篇論文（《Experiments on Learning by Back Propagation》）；三十多年后，這篇論文成為了人工智能爆發的中心。但是 Hinton 說他先前的突破性方法應該擯棄，轉而去發現一種通向 AI 的新路徑。Hinton，這位多倫多大學的榮譽退休教授兼谷歌研究員，說道他現在「深度懷疑」反向傳播，正是這一笨重方法催生出了當今 AI 領域的絕大多數進展，包括圖像與語音識別。「我的觀點是擯棄一切，從頭再來。」Hinton 說。
論文《Experiments on Learning by Back Propagation》鏈接：http://www.cs.toronto.edu/~fritz/absps/bptr.pdf
會上其他科學家認為反向傳播在人工智能的未來仍然起到關鍵作用。但是 Hinton 認為，要想實現實質進展，必須創造全新的方法。「Max Planck 說：科學每經歷一次葬禮就前進一步。未來依靠對我所說的一切持懷疑態度的研究生。」
運作機制：在反向傳播中，標簽或「權重」用于在類腦神經層中展示圖像或聲音。權重可以逐層調整，直到該網絡能夠在最少錯的情況下執行智能功能。
但是 Hinton 認為這樣是為了讓神經網絡自行做到「無監督學習」，他說：「我猜想這意味著拋棄反向傳播，這不是大腦工作的方式，很明顯我們并不需要標注所有數據。」
axios 文章中 Hinton「擯棄一切，從頭再來」的觀點，在推特上引起了熱烈反響，Pedro Domingos、李飛飛等多人轉推。李飛飛評論道：「反向傳播非常重要，它就像是飛機上的勞斯萊斯引擎，雖然飛機無法做到像飛鳥一樣機敏而靈活。」她又說：「贊同 Hinton 關于沒有工具是永恒的觀點，甚至反向傳播或者深度學習也不例外。因此，基礎研究的繼續異常重要。」Gary Marcus 也對這一觀點做出了回應：「深度學習并不完美，我們需要另起爐灶。Hinton 佐證了我二十年前講過的這句話。」
既然要從頭再來，Hinton 的下一步是什么？值得一提的是，Hinton 與他的谷歌同事 Sara Sabour 和 Nicholas Frosst 共同完成的論文《Dynamic Routing Between Capsules》已被 NIPS 2017 大會接收。研究人員提出的容器（capsule）概念正是 Hinton 對于未來人工智能形態的探索。不可否認的是，在無監督學習的道路上，我們還有很長的一段路要走。
論文：Dynamic Routing Between Capsules
大會論文鏈接：https://nips.cc/Conferences/2017/Schedule?showEvent=9167
摘要：capsule 是一組神經元，其活動向量展示特定實體類型的實例化參數，如對象或對象部分。我們使用活動向量的長度表征實體存在的概率，縱向代表實例化參數。同一水平的活躍 capsule 通過變換矩陣對更高級別的 capsule 的實例化參數進行預測。當多個預測一致時，更高級別的 capsule 變的活躍。我們展示了判別訓練的多層 capsule 系統在 MNIST 數據集上達到了頂尖的性能，比識別高度重疊的數字的卷積網絡的性能優越很多。為了達到這些結果，我們使用迭代的路由協議機制：較低級別的 capsule 偏向于將輸出發送至高級別的 capsule，有了來自低級別 capsule 的預測，高級別 capsule 的活動向量具備大標量積。?
原文鏈接：https://www.axios.com/ai-pioneer-advocates-starting-over-2485537027.html
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4608.html
摘要：然而反向傳播自誕生起，也受到了無數質疑。主要是因為，反向傳播機制實在是不像大腦。他集結了來自和多倫多大學的強大力量，對這些替代品進行了一次評估。號選手，目標差傳播，。其中來自多倫多大學和，一作和來自，來自多倫多大學。 32年前，人工智能、機器學習界的泰斗Hinton提出反向傳播理念，如今反向傳播已經成為推動深度學習爆發的核心技術。然而反向傳播自誕生起，也受到了無數質疑。這些質疑來自各路科學家...
摘要：在最近的一次人工智能會議上，表示自己對于反向傳播非常懷疑，并提出應該拋棄它并重新開始。在人工智能多年的發展過程中，反向傳播已經成為了深度學習不可或缺的一部分。最后，我們會將這些規則組合成可用于任意神經網絡的反向傳播算法。 現在的深度學習發展似乎已經陷入了大型化、深度化的怪圈，我們設計的模型容易被對抗樣本欺騙，同時又需要大量的訓練數據——在無監督學習上我們取得的突破還很少。作為反向傳播這一深度...
摘要：的研究興趣涵蓋大多數深度學習主題，特別是生成模型以及機器學習的安全和隱私。與以及教授一起造就了年始的深度學習復興。目前他是僅存的幾個仍然全身心投入在學術界的深度學習教授之一。 Andrej Karpathy特斯拉 AI 主管Andrej Karpathy 擁有斯坦福大學計算機視覺博士學位，讀博期間師從現任 Google AI 首席科學家李飛飛，研究卷積神經網絡在計算機視覺、自然語言處理上的應...
摘要：近日，該論文的一作終于在上公開了該論文中的代碼。該項目上線天便獲得了個，并被了次。 當前的深度學習理論是由Geoffrey Hinton大神在2007年確立起來的，但是如今他卻認為，CNN的特征提取層與次抽樣層交叉存取，將相同類型的相鄰特征檢測器的輸出匯集到一起是大有問題的。去年9月，在多倫多接受媒體采訪時，Hinton大神斷然宣稱要放棄反向傳播，讓整個人工智能從頭再造。10月，人們關注已久...
摘要：在最近的一次大會上，表示，他對反向傳播深表懷疑，并認為我的觀點是將它完全摒棄，然后重新開始。相對于對象函數計算反向傳播。通常，目標函數是預測分布與實際分布之間差異的量度。所以也許無監督的學習不需要目標函數，但是它仍然可能需要反向傳播。 Geoffrey Hinton終于公開闡述了他對那些早已令許多人惶恐不安的事物的看法。在最近的一次AI大會上，Hinton表示，他對反向傳播深表懷疑，并認為：...
閱讀 2545·2023-04-26 01:44
閱讀 2558·2021-09-10 10:50
閱讀 1411·2019-08-30 15:56
閱讀 2250·2019-08-30 15:44
閱讀 512·2019-08-29 11:14
閱讀 3417·2019-08-26 11:56
閱讀 3018·2019-08-26 11:52
閱讀 908·2019-08-26 10:27
