摘要：反向傳播提供了一個機器學習答案，然而就像下一段討論的那樣，它并非生物學上可信的。尋找一個生物學上可信的機器學習方法進行深度網絡中的信任分配是一個主要的長期問題，也是此論文貢獻的方向。

作者：Yoshua Bengio、Dong-Hyun Lee、Jorg Bornschein、Thomas Mesnard、Zhouhan Lin

摘要

神經科學家長期以來批評深度學習算法與當前的神經生物學知識彼此不相容的現狀。我們探索了更加符合生物學邏輯的深度表征學習版本，本文主要關注無監督式學習，但是也關注開發一個能解釋監督式、無監督式和強化學習的學習機制。我們要討論的第一點是，基礎的管理突觸權重更新（依賴于動作電位尖峰時間的突觸可塑性）的學習規則源于一個簡單的很有意義的機器學習觀點更新規則，并且，只要神經的動態活動能將激發率推向更好地某些目標函數值（可能是監督式、無監督式或獎賞驅動的），就能用梯度下降法將該學習規則集成到這些目標函數中。第二個主要觀點是，這與變分 EM 法的形式相對應，也就是使用神經動力學實現的近似而非較精確的事后估值。本文的另一個貢獻是，需要在上面的變分解釋（ ?variational interpretation ?）中更新隱藏層的梯度可以使用近似值來估算，只需要將激活的信息向前和向后傳播，并且需要成對的層來學習形成降噪自動編碼器。最后，我們拓展了關于自動編碼器的概率論解釋，從而證明基于降噪自動編碼器的生成式解釋的改進抽樣計劃是正確的，而且我們用生成式學習任務證實了這些想法。

導語

深度學習和人工神經網絡已經從大腦獲得靈感，但大部分是在計算表現形式上的靈感（大多是生物學的，比如 spike 的存在留待考慮）。然而，如今缺少的是對生物神經元中存在的學習規則的一個可信的機器學習說明，從而能夠解釋一個深度神經網絡有效的聯合訓練，也就是通過一個神經連接長鏈說明信任分配（credit assignment）。因此，解決信任分配難題也意味著確認神經元與權重，這二者與得到想要的輸出和改變參數有關。反向傳播提供了一個機器學習答案，然而就像下一段討論的那樣，它并非生物學上可信的。尋找一個生物學上可信的機器學習方法進行深度網絡中的信任分配是一個主要的長期問題，也是此論文貢獻的方向。

首先，讓我們思考一下依賴看起來生物學可信的機制的頂尖的深度學習算法，比如梯度反向傳播，這一機制也就是計算一個關于神經激活和參數的目標函數梯度。下列是有關反向傳播的生物學可信性的難題：（1）反向傳播計算（從輸出層到更低的隱層）是純線性的，然而生物神經元是交錯線性和非線性操作的。（2）如果大腦中存在的已知反饋通道（它們自己的突觸，或者可能是自己的神經元）被用于通過反向傳播來傳送信任分配，他們就需要有關操作點（operating point）上非線性關系衍生物的準確知識，在前饋通道上對應的前饋計算上使用到這一操作點。（3）相似的，這些前饋通道也要使用準確的前饋連接的對稱權重（有同樣連接、轉置）。（4）真正的神經元通過（可能是隨機的）二進制值（尖峰）通信，而不是完全的連續值。（5）計算必須要精準的在時間上對應前饋和反向傳播階段之間的替換物（因為后者需要前者的結果）。（6）輸出目標出自哪里不清楚。此論文中提出的這一方法意圖解決所有的這些問題，盡管一些可能的生物實現還留有一些問題，而且更多需要考慮的生物學的細節在此論文中并未涉及到。

注意反向傳播不只被用于經典的監督學習，也被用于很多無監督學習算法，包括所有類型的自動編碼器：稀疏自動編碼器（Ranzato et al., 2007; Goodfellow et al., 2009），降噪自動編碼器（Vincent et al., 2008），收縮自動編碼器（Rifai et al., 2011）以及更近期的變分自動編碼器（Kingma、Welling, 2014）。其他不依賴反向傳播的無監督學習算法，比如各種玻爾茲曼機器學習算法（Hinton and Sejnowski, 1986; Smolensky, 1986; Hinton et al., 2006; Salakhutdinov and Hinton, 2009）。玻爾茲曼機可能是最我們目前知道的進行深度架構的最生物學可信的學習算法，但就這一點而言，他們也有數個問題，比如獲取對稱權重的權重傳輸問題（上面的問題 3），以及正相 vs 反相的同步問題（類似于上面的問題 5）。

在 Sec.2 中我們首先提出了一個在生物突觸中觀察到的主要學習規則的解釋：脈沖時間相關的突觸可塑性（STDP）受到了先前思路的啟發（Xie and Seung, 2000; Hinton, 2007），我們首先通過直觀的參數和模擬展示，如果神經元只被一個既不增加也不降低神經元激發率的，與有關神經元電勢的目標函數梯度成正比的前饋信號驅動的情況下，STDP 能被看做隨機梯度下降。

在 Sec.3 中，我們展現了 STDP 的首次機器學習釋義，帶來了通過多層的有效信用分配。我們首先表示，上面關于 STDP 的解釋表明神經動態（它在神經激活中由于反饋和側壁連接創造了以上變化）相當于對神經結構的推論，這種結構更符合彼此以及觀察值（輸入、目標或獎勵）。當玻爾茲曼機不需要獲得來自一個 MCMC 平穩分布（ stationary distribution）的表征樣本時，這個觀點類似于對玻爾茲曼機推論的解釋。除了 Hinton 的提議，它天然表明訓練流程對應 EM 的一個變分形式（Neal and Hinton, 1999），可能基于 MAP（maximum a posteriori）或者 MCMC （Markov Chain Monte-Carlo）近似。

在 Sec.4 中，我們展示了這一數學框架如何表示對一個帶有很多潛在變量層的深度直接生成式網絡的訓練流程。然而，上面的解釋仍然需要計算一些梯度。另一貢獻（Sec.6）是表明人們能夠通過一個只涉及普通神經計算并且沒有明確派生物的近似值來評估這些梯度，這追隨了先前在目標傳播（Bengio, 2014; Lee et al., 2014）上的研究。我們引入了一個新的針對差異目標傳播（Lee et al., 2014）的 justification，利用了這樣的一個事實：提出的學習機制能被解釋為訓練一個降噪自動編碼器。就像在 Sec.5 中討論的，這一模型的解釋提供了從中采樣的不同方式，而且我們發現能夠獲得更好的樣本。

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754