資訊專欄INFORMATION COLUMN
摘要：近日，團隊提出了基于近鄰節點注意機制的網絡架構，可用于處理復雜不規則結構的計算圖，并在三種困難的基準測試中得到了業內較佳水平，研究人員稱該模型有望在未來處理任意不規則結構圖。
近日，Bengio 團隊提出了基于近鄰節點注意機制的網絡架構 GAT，可用于處理復雜、不規則結構的計算圖，并在三種困難的基準測試中得到了業內較佳水平，研究人員稱該模型有望在未來處理任意不規則結構圖。該論文現已提交至 ICLR 2018 大會。
卷積神經網絡已成功應用于解決圖像分類、語義分割、機器翻譯等問題，其中背后的數據表證有著網格狀的結構。這些結構通過把學習到的參數應用到所有的輸入位置，能高效的重復使用局部過濾器。
然而，許多有趣任務的數據并不能表示為網格狀的結構，而是分布在不規則的區域。這就像是 3D 網格、社交網絡、通信網絡、生物網絡或者大腦連接組一樣。這樣的數據通常用圖（graph）的形式表示。
目前的文獻中，已經有很多嘗試來拓展神經網絡以解決圖隨意的架構。早期的研究使用遞歸神經網絡在圖域中把數據直接表達為有向非循環圖。圖神經網絡網絡（GNN）首次出現于 Gori 等人（2005）與 Scarselli 等人（2009）的論文，把它作為遞歸神經網絡的泛化形式，能夠直接處理更普遍的圖類，比如循環圖、有向和無向的圖。GNN 包括一個迭代過程，來傳播節點狀態直到平衡；然后是一個神經網絡，基于其狀態為每個節點生成一個輸出；之后，這種思路被 Li 等人（2016）采用并改進，提出在傳播步驟中使用門控循環單元（Cho et al.,2014)。
因此，把卷積泛化到圖域中一直是個引發研究者興趣的課題。在這個方面的進步通常可被歸類為光譜方法與非光譜方法。
在這篇論文中，作者們提出了一種基于注意機制的架構，能夠完成圖結構數據的節點分類。該方法的思路是通過注意其鄰位節點，計算圖中每個節點的隱藏表征，還帶有自注意策略。這種注意架構有多重性質：
（1）運算高效，因為臨近節點對可并行；
（2）可以通過對近鄰節點指定任意的權重應用于不同 degree 的圖節點；
（3）該模型可以直接應用于歸納學習問題中，其中包括了需要將模型泛化到此前未見的圖的任務。
作者們提出的通過節點連接共享神經網絡計算的方法和關系網絡（Santoro et al., 2017）的形式類似，其中對象之間的關系（用卷積神經網絡提取圖像中的區域特征）通過應用一種共享機制將所有的對象兩兩配對然后聚合而成。他們在三種有挑戰性的基準測試上驗證了提出的方法：Cora 和 Citeseer 引用神經網絡數據集和一個蛋白質與蛋白質相互作用的數據集，新方法在這些測試中均獲得了當前較佳的結果，展現了基于注意的模型處理任意結構圖的潛力。
論文：Graph Attention Networks
論文鏈接：https://arxiv.org/abs/1710.10903
我們提出了圖注意網絡（graph attention networks，GATs），這是一種新型的神經網絡架構，用于處理圖結構化的數據（graph-structured data），利用隱藏的自注意層克服了過去的基于圖卷積或其近似的方法的缺點。這些層的節點可以注意近鄰節點的特征，通過將這些層堆疊起來，我們可以為不同節點的近鄰指定不同的權重，而不需要耗費任何繁重的矩陣計算（比如矩陣求逆），也不需要預先知道圖的結構。通過這種方法，我們同時解決了多個基于頻譜的圖神經網絡的關鍵挑戰，并準備將模型應用于歸納問題以及直推問題。我們的 GAT 模型在三種公認的直推和歸納圖基準測試中取得了當前較佳的結果：Cora 和 Citeseer 引用神經網絡數據集和一個蛋白質與蛋白質相互作用的數據集（其中的測試圖在訓練過程中完全不可見）。
GAT 的架構
圖 1. 左方：GAT 模型中應用的注意機制 a(W~hi ,W~hj )，通過一個權重向量參數化~a ∈ R^2F"。右方：節點 1 對其近鄰節點的多頭注意（其中 K=3 heads）。不同的箭頭格式和顏色表示獨立的注意計算。來自每個頭的聚合特征連接或平均后得到 ~h1"。
表 1：實驗中使用的數據集。
表 2：對 Cora 和 Citeseer 數據集的實驗結果（分類準確度）的總結。
表 3：對 PPI 數據集的實驗結果（微平均的 F1 分數）的總結。
圖 2. 在 Cora 數據集上對一個預訓練的 GAT 模型的第一個隱藏層的計算特征表示的 t-SNE 圖。節點顏色表示類別。邊的粗細表示節點 i 和 j 之間的聚合歸一化注意系數，由所有 8 個注意頭計算得出：
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4653.html
摘要：神經網絡在自然語言處理方面，未來有巨大的應用潛力。講座學者之一與深度學習大神蒙特利爾大學學者在大會上發表了論文，進一步展現神經機器翻譯的研究結果。那些指令的語義就是習得的進入嵌入中，來較大化翻譯質量，或者模型的對數似然函數。 在 8月7日在德國柏林召開的2016 計算語言學(ACL)大會上，學者Thang Luong、Kyunghyun Cho 和 Christopher D. Mannin...
摘要：另外，當損失函數接近全局最小時，概率會增加。降低訓練過程中的學習率。對抗樣本的訓練據最近信息顯示，神經網絡很容易被對抗樣本戲弄。使用高度正則化會有所幫助，但會影響判斷不含噪聲圖像的準確性。 由 Yoshua Bengio、 Leon Bottou 等大神組成的講師團奉獻了 10 天精彩的講座，劍橋大學自然語言處理與信息檢索研究組副研究員 Marek Rei 參加了本次課程，在本文中，他精煉地...
摘要：深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。深度學習的概念由等人于年提出。但是自年以來，機器學習領域，取得了突破性的進展。 深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。深度學習是無監督學習的一種。 深度學習的概念源于人工神經網絡的研究。含多隱層的多層感知...
摘要：八月初，我有幸有機會參加了蒙特利爾深度學習暑期學校的課程，由最知名的神經網絡研究人員組成的為期天的講座。另外，當損失函數接近全局最小時，概率會增加。降低訓練過程中的學習率。對抗樣本的訓練據最近信息顯示，神經網絡很容易被對抗樣本戲弄。 8月初的蒙特利爾深度學習暑期班，由Yoshua Bengio、 Leon Bottou等大神組成的講師團奉獻了10天精彩的講座，劍橋大學自然語言處理與信息檢索研...
摘要：因為深度學習的正統觀念在該領域已經很流行了。在機器和深度學習空間中進行的大多數數學分析傾向于使用貝葉斯思想作為參數。如果我們接受了目前深度學習的主流觀點任何一層的微分都是公平的，那么或許我們應該使用存儲多種變體的復分析。 深度學習只能使用實數嗎？本文簡要介紹了近期一些將復數應用于深度學習的若干研究，并指出使用復數可以實現更魯棒的層間梯度信息傳播、更高的記憶容量、更準確的遺忘行為、大幅降低的網...
閱讀 680·2021-09-30 09:47
閱讀 2873·2021-09-04 16:40
閱讀 856·2019-08-30 13:18
閱讀 3452·2019-08-29 16:22
閱讀 1555·2019-08-29 12:36
閱讀 586·2019-08-29 11:11
閱讀 1478·2019-08-26 13:47
閱讀 1132·2019-08-26 13:32
