資訊專欄INFORMATION COLUMN
摘要：長期以來，困擾人工神經網絡的難題就是如何設計出一套系統，不僅能夠自行學習，而且在嘗試新事物時，仍然記得曾經學過的東西。
DeepMind的研究人員指出，讓系統學會「記憶」是一塊全新的研究領域，他們正在試圖解決這個難題。這篇文章正好談到這個問題并介紹了當前的研究進展。
雖然諸多科技大佬（譬如Musk、霍金）都悲觀的認為，人類終究會被自己制造出來的數字「生物」奴役。但現在，即便是最復雜的計算機，也無法與人類大腦比肩，其中一個原因就是那些模仿人腦的神經網絡還無法像人類那樣進行記憶，但好（壞）消息是，的研究正在改變這種狀況。
長期以來，困擾人工神經網絡的難題就是如何設計出一套系統，不僅能夠自行學習，而且在嘗試新事物時，仍然記得曾經學過的東西。神經網絡輸入時，它會在數字神經元與輸出方案之間建立聯系。而當它學習新事物時，神經網絡不得不重新建立新的聯系，同時有效覆蓋舊的聯系。
這被稱之為「災難性忘卻」（catastrophic forgetting），儼然成了人工智能實現與真實世界與時俱進路上的絆腳石。之前解決這個問題的一個方法是將神經網絡接入一個外部記憶裝置，這個裝置儲存著機器學習過的一切信息。但是，問題在于，神經網絡能夠自己學會記憶嗎？
既然人工神經網絡的靈感源自生物學，當一個集合了法國、挪威和美國研究人員的國際團隊試圖從動物大腦獲取的靈感，利用模塊化（modularity）來解決「災難性忘卻」的難題，也就不足為奇了。
這個方法的出發點在于，動物大腦由許多緊密的神經元（組成某個團簇的神經元也和其他團簇松散相連）團簇模塊組成。通過將神經網絡劃分為若干模塊，動物能夠學習更多的東西，那么通過這個辦法，人工神經網絡的「記憶」研究能有新突破嗎？
圖片來自視頻截圖
在最近發布在PLoS Computational Biology（這是一份面向計算生物學的月刊，創立于2005年——譯者注）上的一篇論文中，研究人員展現了如何將動物進化原則以及現代記憶學習理論運用到神經網絡，從而讓虛擬大腦中產生模塊。
科學家認為，受生物學啟發的第一個設計原則是大腦記憶成分布狀。當你回想某些信息時，并不存在一個供你提取信息的「中央記憶銀行」。研究人員面臨的第一個任務就是按照下述方式復制神經網絡——當大腦處理某個任務時，關閉某些神經元；在大腦處理其他任務時，再將關閉的神經元打開，在此過程中，將神經網絡分割成若干模塊 （segmenting the network into modules）。
第二個啟發點則是隨著時間的推移，在大腦內部建立連接需要一定成本，比如能量。通過為神經網絡連接活動設定「成本」，研究人員迫使神經網絡節約用于處理輸入的節點，并以此鼓勵上述分割設計。由于「成本」很高，
網絡也不會變成一團亂的糾纏節點。
第三個原則就是人類、動物心理學中的一個古老原則：獎懲效應——通過獎勵鼓勵學習。換句話說，通過一定手段對神經網絡的節點進行獎懲，鼓勵神經網絡僅學習那些符合獎勵信號要求的輸出。
最后，在神經網絡學習如何完成兩種不同的任務時，研究人員讓網絡自主地進化與變化，利用前述三種設計原則引導神經網絡進化出最終組織形式。
結果，研究人員發現，分割（segmentation）和迫使減少連接的壓力，使得神經網絡最終進化成一種高度模塊化的網絡，它能在學習其他技能時，記住之前學到的一切。
這正是邁向能夠進化、學習新事物的神經網絡的一步，同時也是人工智能能與真實世界與時俱進的關鍵一步。但是，當神經網絡學習如何新事物的時候，可能需要重復十幾次這樣的學習過程。
讓數字大腦學會「記憶」，可不是件容易的事兒。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4290.html
摘要：接上文深度學習和的聯合綜述上卷積神經網絡卷積神經網絡被設計用來處理到多維數組數據的，比如一個有個包含了像素值圖像組合成的一個具有個顏色通道的彩色圖像。近年來，卷積神經網絡的一個重大成功應用是人臉識別。 三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度學習領域的地位無人不知。為紀念人工智能提出60周年，的《Nature》雜志專門開辟了一個人工智能 +...
摘要：深度學習現在被視為能夠超越那些更加直接的機器學習的關鍵一步。的加入只是谷歌那一季一系列重大聘任之一。當下谷歌醉心于深度學習，顯然是認為這將引發下一代搜索的重大突破。移動計算的出現已經迫使谷歌改變搜索引擎的本質特征。 Geoffrey Hiton說：我需要了解一下你的背景，你有理科學位嗎？Hiton站在位于加利福尼亞山景城谷歌園區辦公室的一塊白板前，2013年他以杰出研究者身份加入這家公司。H...
閱讀 3870·2021-09-10 11:22
閱讀 2324·2021-09-03 10:30
閱讀 3659·2019-08-30 15:55
閱讀 1870·2019-08-30 15:44
閱讀 839·2019-08-30 15:44
閱讀 581·2019-08-30 14:04
閱讀 3041·2019-08-29 17:18
閱讀 1262·2019-08-29 15:04
