資訊專欄INFORMATION COLUMN
摘要：然而反向傳播自誕生起，也受到了無數(shù)質(zhì)疑。主要是因?yàn)?，反向傳播機(jī)制實(shí)在是不像大腦。他集結(jié)了來自和多倫多大學(xué)的強(qiáng)大力量，對(duì)這些替代品進(jìn)行了一次評(píng)估。號(hào)選手，目標(biāo)差傳播，。其中來自多倫多大學(xué)和，一作和來自，來自多倫多大學(xué)。
32年前，人工智能、機(jī)器學(xué)習(xí)界的泰斗Hinton提出反向傳播理念，如今反向傳播已經(jīng)成為推動(dòng)深度學(xué)習(xí)爆發(fā)的核心技術(shù)。
然而反向傳播自誕生起，也受到了無數(shù)質(zhì)疑。這些質(zhì)疑來自各路科學(xué)家，也來自Hinton自己。
主要是因?yàn)?，反向傳播機(jī)制實(shí)在是不像大腦。
去年九月，Hinton站在眾人面前，親口說出他對(duì)反向傳播“深感懷疑”，并且振臂一呼的號(hào)召：“我的觀點(diǎn)是把它全部拋掉，重頭再來?！?/p>
他不止這么說，也在親自踐行。
這些年來，科學(xué)家們也為反向傳播尋找了不少“生物學(xué)上更合理”、也就是更像大腦工作機(jī)制的替代品。但這些是通往未來的道路么？
Hinton決定親自嘗試一下。他集結(jié)了來自DeepMind和多倫多大學(xué)的強(qiáng)大力量，對(duì)這些替代品進(jìn)行了一次評(píng)估。結(jié)論是：
在比較復(fù)雜的分類任務(wù) (如ImageNet) 里，那些更像大腦機(jī)制的算法，都遠(yuǎn)不及反向傳播。
對(duì)比測(cè)試
在Hinton參與的新論文Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures里，反向傳播的挑戰(zhàn)者包括：
1號(hào)選手，目標(biāo)傳播 (Target-Propagation，TP) 。
2號(hào)選手，反饋對(duì)比 (Feedback Alignment，F(xiàn)A) 。
3號(hào)選手，目標(biāo)差傳播 (Difference Target Propagation，DTP) 。
三位選手，還各自擁有幾種變體。
加上守擂方反向傳播，四者挑戰(zhàn)的有MNIST、CIFAR以及最難的ImageNet這幾個(gè)分類數(shù)據(jù)集。
誰的學(xué)習(xí)能力，能更好地推廣到復(fù)雜的數(shù)據(jù)集里，就代表它更有潛力，去解釋大腦的運(yùn)作。
先來看MNIST和CIFAR兩項(xiàng)比賽的成績。
下劃線加粗為較佳
無論是在全連接 (Fully-Connected) 還是局部連接 (Locally-Connected) 的神經(jīng)網(wǎng)絡(luò)中，反向傳播的表現(xiàn)都是較好的。
除此之外，用BP訓(xùn)練的CNN，擁有共享權(quán)重 (Shared Weights) ，也能有效提升模型的表現(xiàn)。
這一點(diǎn)值得注意，是因?yàn)镃NN在生物學(xué)意義上，有一個(gè)“不太可取”的特性，就是權(quán)重共享。
因?yàn)?，每個(gè)神經(jīng)元的權(quán)值，都需要非常較精確地傳遞開來，這個(gè)操作在自然界里太不現(xiàn)實(shí)。
不過，數(shù)據(jù)證明，權(quán)重共享并不是“不可取”。它的存在，大大減少了自由參數(shù)，讓模型的學(xué)習(xí)能力更容易向復(fù)雜任務(wù)中推廣。于是，BP ConvNet擊敗了親近自然的方法，和它們更加自然的變體。
說到更加復(fù)雜的任務(wù)，下一個(gè)比賽場地，就是ImageNet數(shù)據(jù)集了。
遺憾的是，在ImageNet這座大山面前，所有的方法成績都不理想。
但在所有的不理想中間，反向傳播的表現(xiàn)依然優(yōu)于其他選手，且以卷積網(wǎng)絡(luò)的版本為最優(yōu)。
也就是說，即便無法像人類一樣輕取復(fù)雜問題，反向傳播依然離這個(gè)目標(biāo)更近，加上共享權(quán)重就更近。
研究團(tuán)隊(duì)在論文中說，如果想從生物學(xué)上，找到學(xué)習(xí)效果更好的算法，反向傳播的挑戰(zhàn)者們還有很長的路要走。
不論是現(xiàn)有的“生物學(xué)合理”的算法，還是大家要找的新方法。
是啊，路還長，這次的比賽成績也只是階段性結(jié)果。
未來，翹首以待。
論文
為了完成這個(gè)研究，來自多家著名機(jī)構(gòu)的學(xué)者，組成了一個(gè)特混戰(zhàn)隊(duì)。
其中Hinton來自多倫多大學(xué)和Google Brain，Sergey Bartunov（一作）和Adam Santoro來自DeepMind，Blake A. Richards來自多倫多大學(xué)。Timothy P. Lillicrap來自DeepMind和UCL。
外界對(duì)這篇論文也有一些很強(qiáng)烈的贊譽(yù)之聲。
譬如，有人說這是一個(gè)偉大的研究，隨著時(shí)間的推移，這些討論會(huì)變得越來越有意思；也有人說被這個(gè)研究驚到了。
當(dāng)然，也有人持保留意見。
不知道你會(huì)怎么認(rèn)為，去讀Paper吧。
這篇評(píng)估了反向傳播各路替代品的論文是：
Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures
作者：Sergey Bartunov, Adam Santoro, Blake A. Richards, Geoffrey E. Hinton, Timothy Lillicrap
最近這篇論文也發(fā)到了arXiv上，大家有空可以看一看。
傳送門：
https://arxiv.org/pdf/1807.04587.pdf
特立獨(dú)行
Hinton從來都不是一個(gè)跟隨主流的人。他聲名煊赫的整個(gè)家族都彌漫著這樣的一種氣質(zhì)。
1972年，25歲的Hinton在愛丁堡大學(xué)攻讀博士學(xué)位，并把神經(jīng)網(wǎng)絡(luò)作為研究重點(diǎn)。導(dǎo)師幾乎每周都會(huì)提醒他在浪費(fèi)時(shí)間。然而Hinton不為所動(dòng)。
實(shí)際上幾十年來，Hinton一直徘徊在人工智能研究的邊緣地帶。他像一個(gè)局外人一樣堅(jiān)守著一個(gè)簡單的觀點(diǎn)：計(jì)算機(jī)可以像人類一樣思考，依靠直覺而不是規(guī)則。
一直到大約2009年前后，神經(jīng)網(wǎng)絡(luò)才又引發(fā)更多人的關(guān)注。談到那些灰暗的日子，Hinton給出了這樣的回答：
“是什么支持著你不放棄？”
“其他人都錯(cuò)了。”
“我們本來在體制之外，力圖證明傳統(tǒng)路線是錯(cuò)的，然而有趣的是，轉(zhuǎn)眼間我們成了正統(tǒng)?！盚inton的學(xué)生、OpenAI創(chuàng)始人Ilya Sutskever說。
作為機(jī)器學(xué)習(xí)的先鋒，Hinton從中開辟了“深度學(xué)習(xí)”這個(gè)子領(lǐng)域，這讓計(jì)算機(jī)可以自動(dòng)建立起一層層的智慧。
得益于近年來計(jì)算力的猛增，深度學(xué)習(xí)成為主流方法，從我們智能手機(jī)里的語音識(shí)別、圖像探測(cè)到亞馬遜為你推薦的圖書，都離不開它。
因?yàn)榛加醒g盤突出，坐下變成一種痛苦，從2005年開始，Hinton就不再坐著了，工作時(shí)就一直站著。而現(xiàn)在站立工作，似乎也是一種風(fēng)潮。
“我領(lǐng)先于潮流，”Hinton說。
聲明：文章收集于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系小編及時(shí)處理，謝謝！
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://specialneedsforspecialkids.com/yun/4786.html
摘要：近幾年以卷積神經(jīng)網(wǎng)絡(luò)有什么問題為主題做了多場報(bào)道，提出了他的計(jì)劃。最初提出就成為了人工智能火熱的研究方向。展現(xiàn)了和玻爾茲曼分布間驚人的聯(lián)系其在論文中多次稱，其背后的內(nèi)涵引人遐想。 Hinton 以深度學(xué)習(xí)之父 和 神經(jīng)網(wǎng)絡(luò)先驅(qū) 聞名于世，其對(duì)深度學(xué)習(xí)及神經(jīng)網(wǎng)絡(luò)的諸多核心算法和結(jié)構(gòu)（包括深度學(xué)習(xí)這個(gè)名稱本身，反向傳播算法，受限玻爾茲曼機(jī)，深度置信網(wǎng)絡(luò)，對(duì)比散度算法，ReLU激活單元，Dropo...
摘要：本文試圖揭開讓人迷惘的云霧，領(lǐng)悟背后的原理和魅力，品嘗這一頓盛宴。當(dāng)然，激活函數(shù)本身很簡單，比如一個(gè)激活的全連接層，用寫起來就是可是，如果我想用的反函數(shù)來激活呢也就是說，你得給我解出，然后再用它來做激活函數(shù)。 由深度學(xué)習(xí)先驅(qū) Hinton 開源的 Capsule 論文 Dynamic Routing Between Capsules，無疑是去年深度學(xué)習(xí)界最熱點(diǎn)的消息之一。得益于各種媒體的各種...
摘要：在最近的一次人工智能會(huì)議上，表示自己對(duì)于反向傳播非常懷疑，并提出應(yīng)該拋棄它并重新開始。在人工智能多年的發(fā)展過程中，反向傳播已經(jīng)成為了深度學(xué)習(xí)不可或缺的一部分。最后，我們會(huì)將這些規(guī)則組合成可用于任意神經(jīng)網(wǎng)絡(luò)的反向傳播算法。 現(xiàn)在的深度學(xué)習(xí)發(fā)展似乎已經(jīng)陷入了大型化、深度化的怪圈，我們?cè)O(shè)計(jì)的模型容易被對(duì)抗樣本欺騙，同時(shí)又需要大量的訓(xùn)練數(shù)據(jù)——在無監(jiān)督學(xué)習(xí)上我們?nèi)〉玫耐黄七€很少。作為反向傳播這一深度...
摘要：有幾次，人工智能死在人工神經(jīng)網(wǎng)絡(luò)上。在過去十年中，他一直在舉辦為期一周的有關(guān)神經(jīng)網(wǎng)絡(luò)的暑期學(xué)校，我曾經(jīng)拜訪過。神經(jīng)網(wǎng)絡(luò)壓縮信息之后，這些信息無法復(fù)原。 魔法已經(jīng)進(jìn)入這個(gè)世界。如今，許多美國人口袋里裝著薄薄的黑色平板，這些機(jī)器接入遙遠(yuǎn)的數(shù)字云和衛(wèi)星，它們解碼語言、通過攝像頭觀察并標(biāo)記現(xiàn)實(shí)，挖掘個(gè)人數(shù)據(jù)，它們以某種方式理解、預(yù)測(cè)著我們的心愿。傾聽、幫助著人類。因?yàn)榕c多倫多大學(xué)有個(gè)約會(huì)，這個(gè)夏天，...
摘要：在最近的一次大會(huì)上，表示，他對(duì)反向傳播深表懷疑，并認(rèn)為我的觀點(diǎn)是將它完全摒棄，然后重新開始。相對(duì)于對(duì)象函數(shù)計(jì)算反向傳播。通常，目標(biāo)函數(shù)是預(yù)測(cè)分布與實(shí)際分布之間差異的量度。所以也許無監(jiān)督的學(xué)習(xí)不需要目標(biāo)函數(shù)，但是它仍然可能需要反向傳播。 Geoffrey Hinton終于公開闡述了他對(duì)那些早已令許多人惶恐不安的事物的看法。在最近的一次AI大會(huì)上，Hinton表示，他對(duì)反向傳播深表懷疑，并認(rèn)為：...
閱讀 810·2021-11-22 15:25
閱讀 1408·2021-09-08 09:45
閱讀 1685·2021-09-02 09:46
閱讀 1299·2019-08-30 15:56
閱讀 1528·2019-08-29 15:14
閱讀 1159·2019-08-29 13:06
閱讀 2010·2019-08-29 12:34
閱讀 1400·2019-08-26 12:14
