資訊專欄INFORMATION COLUMN
摘要：近日，發布了其關于神經網絡可解釋性的研究成果，他們通過刪除網絡中的某些神經元組，從而判定其對于整個網絡是否重要。泛化性良好的網絡對于刪除神經元的操作更具適應性。通過刪除單個神經元和神經元組，我們測量了破壞網絡對性能的影響。
深度學習算法近年來取得了長足的進展，也給整個人工智能領域送上了風口。但深度學習系統中分類器和特征模塊都是自學習的，神經網絡的可解釋性成為困擾研究者的一個問題，人們常常將其稱為黑箱。但理解深度神經網絡的工作原理，對于解釋其決策方式，并建立更強大的系統至關重要。
近日，DeepMind 發布了其關于神經網絡可解釋性的研究成果，他們通過刪除網絡中的某些神經元組，從而判定其對于整個網絡是否重要。核心發現有如下兩點：
可解釋的神經元（例如“貓神經元”）并不比難以解釋的神經元更重要。
泛化性良好的網絡對于刪除神經元的操作更具適應性。
以下內容來自 DeepMind，人工智能頭條翻譯。
深度神經網絡由許多獨立的神經元組成，這些神經元以復雜且反直覺的方式結合起來，進而解決各種具有挑戰性的任務。這種復雜性賦予了神經網絡強大的功能，但也使其成為一個令人困惑且不透明的黑箱。
理解深度神經網絡的工作原理，對于解釋其決策、建立更強大的系統至關重要。想象一下，在不了解各個齒輪如何裝配的情況下，制造一塊鐘表的難度會有多大。在神經科學和深度學習領域中，理解神經網絡的一種方法是研究單個神經元的作用，特別是那些容易解釋的神經元。
我們即將在第六屆國際學習表征會議（ICLR）上發表關于單一方向泛化重要性的研究，它采用了一種受實驗神經科學啟發的方法——探索損傷的影響——來確定深層神經網絡中的小組神經元的重要性，以及更容易解釋的神經元的重要性是否更高。
通過刪除單個神經元和神經元組，我們測量了破壞網絡對性能的影響。在實驗中，我們有兩個驚人的發現：
之前的許多研究都試圖去理解容易解釋的個體神經元（例如“貓神經元”，或者說深層網絡中只有對貓的圖像有反應的神經元），但是我們發現這些可解釋的神經元并不比難以解釋的神經元更重要。
與只能對已經見過的圖像進行分類的網絡相比，對未見過的圖像也能正確分類的網絡對神經元缺失有著更好的彈性。換句話說，泛化性良好的網絡比泛化性差的網絡對單方向的依賴性要小很多。
“貓神經元”或許更容易解釋，但是它們的重要性并不會更高
在神經科學和深度學習中，容易解釋的神經元（“選擇性”神經元）已經被廣泛分析，它們只對單一輸入類別的圖像（例如狗）有積極回應。在深度學習中，這導致了研究者對貓神經元（cat neurons）、情感神經元（sentiment neurons）和括號神經元（parentheses neurons）的重視。然而，與大多數具有低選擇性、更令人費解、難以解釋的活性的神經元相比，這些為數不多的具有高選擇性神經元的相對重要性仍然未知。
與那些對看似隨機的圖像集作出積極或消極回應的令人困惑的神經元相比，具有清晰回應模式（比如只對“狗”積極回應，對其他一切類別消極回應）的神經元更容易解釋。
為了評估神經元的重要性，我們測量了刪除神經元后，神經網絡在圖像分類任務中的性能變化。如果一個神經元是非常重要的，刪除它應該會產生嚴重的后果，而且網絡性能會大大降低，而刪除一個不重要的神經元應該沒有什么影響。神經科學家通常進行類似的實驗，盡管他們不能達到這些實驗所必需的細粒度精度，但是在人工神經網絡中則很容易實現。
刪除神經元對簡單神經網絡影響的概念圖。顏色越深，代表神經元越活躍。你可以在原網頁上嘗試單擊隱藏層神經元刪除它們，并查看輸出神經元的活動變化。請注意，僅刪除一個或兩個神經元對輸出的影響很小，而刪除大多數神經元的影響很大，并且某些神經元比其他神經元更重要！
令人驚訝的是，我們發現選擇性和重要性之間沒有什么關系。換句話說，“貓神經元”并不比令人困惑的神經元更重要。這一發現與神經科學最近的研究成果相呼應，后者已經證明，令人困惑的的神經元實際上可以提供相當多的信息。為了理解深度神經網絡，我們的研究不能只局限于最容易解釋的神經元。
雖然“貓神經元”可能更容易記解釋，但它們并不比令人困惑且沒有明顯偏好的神經元更加重要。
泛化能力更強的網絡更不容易崩潰
雖然我們希望創建智能系統，但是只有當這個系統能夠泛化到新的場景時，我們才能稱之為智能系統。例如，如果一個圖像分類網絡只能對它見過的特定的狗的圖像進行分類，卻認不出同一只狗的圖像時，這個網絡就是無用的。這些系統只有在對新的實例進行智能分類時，才算是有作用的。
伯克利、Google Brain、DeepMind 最近合作發表的一篇論文在 ICLR 2017 上獲得了較佳論文。該論文表明，深度網絡可以簡單地記住每一幅圖像，而不是以更人性化的方式學習（例如，理解“狗”的抽象概念）。
然而，關于神經網絡是否學習到了決定泛化能力的解，我們一直沒有明確的答案。通過逐步刪除越來越大的神經元群，我們發現，相比簡單地記憶先前在訓練中看到的圖像的網絡，泛化良好的網絡對刪除神經元的魯棒性強得多。換句話說，泛化能力更強的網絡更不容易崩潰（盡管這種情況可能發生）。
隨著越來越多的神經元群被刪除，泛化良好的網絡的性能下降速度明顯更慢。
通過這種方式測量神經網絡的魯棒性，我們可以評估這個網絡是否在利用我們不希望的記憶能力在“作弊”。理解網絡在記憶時如何是變化的，將有助于我們建立泛化能力更好的新網絡。
受神經科學啟發的分析方法
這些發現證明了，使用實驗神經科學啟發的技術可以幫助我們理解神經網絡的能力。使用這些方法，我們發現高選擇性的獨立神經元并不比非選擇性神經元更重要，并且泛化良好的網絡比簡單地記憶訓練數據的網絡對獨立神經元的依賴性更小。這些結果暗示，獨立神經元的重要性可能遠不如我們認為的那么重要。
通過解釋所有神經元的作用，而不僅僅是那些容易理解的神經元，我們希望更好地理解神經網絡的內部工作原理，并且利用這種理解來構建更智能和更通用的系統。
閱讀完整論文：https://arxiv.org/abs/1803.06959
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4753.html
摘要：深度學習現在被視為能夠超越那些更加直接的機器學習的關鍵一步。的加入只是谷歌那一季一系列重大聘任之一。當下谷歌醉心于深度學習，顯然是認為這將引發下一代搜索的重大突破。移動計算的出現已經迫使谷歌改變搜索引擎的本質特征。 Geoffrey Hiton說：我需要了解一下你的背景，你有理科學位嗎？Hiton站在位于加利福尼亞山景城谷歌園區辦公室的一塊白板前，2013年他以杰出研究者身份加入這家公司。H...
摘要：康納爾大學數學博士博士后則認為，圖神經網絡可能解決圖靈獎得主指出的深度學習無法做因果推理的核心問題。圖靈獎得主深度學習的因果推理之殤年初，承接有關深度學習煉金術的辯論，深度學習又迎來了一位重要的批評者。 作為行業的標桿，DeepMind的動向一直是AI業界關注的熱點。最近，這家世界最較高級的AI實驗室似乎是把他們的重點放在了探索關系上面，6月份以來，接連發布了好幾篇帶關系的論文，比如：關系歸...
摘要：第二次則是今年初，論文被深度學習盛會拒絕。表示遺憾乃至憤怒的人不在少數。他認為，使從其他學術實驗室中脫穎而出的，是它的跨領域文化。騰訊也在籌建人工智能實驗室，近期消息就會正式公布。 牛津大學和 DeepMind 的研究人員合作，開發出一款能夠閱讀唇語的系統，這個名叫 Watch, Attend and Spell（WAS）的軟件在實際表現中遠遠超越了人類專家的水平。研究人員使用計算機視覺和機...
摘要：年的深度學習研討會，壓軸大戲是關于深度學習未來的討論。他認為，有潛力成為深度學習的下一個重點。認為這樣的人工智能恐懼和奇點的討論是一個巨大的牽引。 2015年ICML的深度學習研討會，壓軸大戲是關于深度學習未來的討論。基于平衡考慮，組織方分別邀請了來自工業界和學術界的六位專家開展這次圓桌討論。組織者之一Kyunghyun Cho（Bengio的博士后）在飛機上憑記憶寫下本文總結了討論的內容，...
摘要：有一些缺陷并不完善，但是這個學生所提交的用深度學習所預測的轉向角還是不錯的。 本文作者：奧利弗 · 卡梅隆（Oliver Cameron），現Udacity無人駕駛領導人，前YCombinator孵化創業公司創始人。有許多人分析過深度學習重要性以及它是怎樣風靡世界的，我十分贊同他們的說法。研究/應用深度學習時使我感覺自己最像個魔術師，我清楚地知道在未來的三年里，任何一個偉大的軟件都將被深度學...
閱讀 3196·2021-11-08 13:18
閱讀 1353·2021-10-09 09:57
閱讀 1182·2021-09-22 15:33
閱讀 3959·2021-08-17 10:12
閱讀 5053·2021-08-16 11:02
閱讀 2676·2019-08-30 10:56
閱讀 962·2019-08-29 18:31
閱讀 3250·2019-08-29 16:30
