資訊專欄INFORMATION COLUMN
摘要：卷積滿足交換操作，因此在一般的維空間輸入，自編碼可以被用來訓練解碼編碼。事實上，解碼卷積的超參數是由編碼框架確定的由于卷積跨越每個特征圖，并且產生具有的維度，因此經過濾波器之后產生相同的空間范圍。
作者：chen_h
微信號 & QQ：862251340
微信公眾號：coderpai
簡書地址：https://www.jianshu.com/p/ec4...
這篇教程是翻譯Paolo Galeone寫的卷積自編碼分析教程，作者已經授權翻譯，這是原文。
卷積操作符會對輸入信號進行濾波操作，以便提取其內容的一部分。在傳統的方法中，自編碼沒有考慮到信號可以被看做是和其他信號的和。相反，卷積自編碼就是使用卷積操作來做信號的疊加之和。他們對一組簡單的輸入信號進行編碼，然后對這些信號再進行重新建模。
卷積在一般連續狀態，卷積被定義為兩個函數（信號）被反轉和移位之后的乘積的積分：
作為結果，卷積操作會產生一個新的函數（信號）。卷積滿足交換操作，因此：
在一般的 n 維空間輸入，自編碼可以被用來訓練解碼（編碼）。實際上，自編碼通常用于對二維的，有限和離散輸入信號進行特征提取，比如數字圖像。
在二維離散空間，卷積操作可以被定義如下：
因為圖像的范圍有限，所以該公式可以變為：
其中：
O(i, j) 表示輸出像素，位置是 (i, j)
2k+1 是表示矩形奇數卷積核的一條邊
F 表示卷積核
I 表示輸入圖像
對于圖1所示，單個卷積核操作在輸入圖像 I 的每個位置 (i, j) 進行卷積操作。
從圖2可以很容易的看出，卷積操作的結果取決于卷積核的值。根據不同的卷積核設置，每個卷積核可以用于不同的圖像處理任務，比如去噪，模糊處理等等....
離散二維卷積操作有兩個附加參數：水平和垂直移動步數。它們是在執行單個卷積步驟之后，沿著圖像 I 的各個維度跳過的像素的數量。通常，水平和垂直移動步數是相等的，它們被標記為 S 。
對于一個正方形的圖像 Iw = Ih （這是為了簡單描述，如果要擴充到一般的矩陣圖像，非常方便），以步數 2k+1 ，進行二維的離散卷積操作之后，我們可以得到如下的圖像 O ：
到目前為止，我們已經利用了單個卷積核對圖像進行灰度級（單通道）操作的情況。如果輸入圖像具有多個通道，即 D 個通道，那么卷積算子沿著每一個通道都要進行操作。
一般規則下，一個卷積核的輸出通道數必須和輸入圖像的通道數一樣。所以可以概括為，離散二維的卷積是將信號進行堆疊處理。
各個維度上的卷積長方體完全可以由三元組 (W, H, D) 來表示，其中：
W≥1 表示長度
H≥1 表示高度
D≥1 表示深度
很明顯，一個灰度圖像可以看做是深度 D = 1 的長方體，而RGB圖像可以看做是深度 D = 3 的長方體。
一個卷積核也可以看做是一個具有深度 D 的卷積核。特別地，我們可以將圖像和濾波器視為單通道圖像/濾波器的集合（與順序無關）。
如果我們考慮圖像的深度，那么以前的卷積公式可以概括為：
在圖像上進行卷積之后，得到的結果稱為激活圖（activation map）。激活圖是深度 D = 1 的長方體。
可能聽起來很奇怪，在一個三維圖像上的卷積得到的結果是一個二維的結果。實際上，對于具有深度 D 的輸入信號，卷積核執行精確的 D 個離散的二維卷積操作。所產生的D個二維的激活圖，之后將這D個激活圖進行處理，從而得到一個二維的卷積結果。以這種方式，所得到的激活圖 O 的每個單位 (i, j) 包含的信息是提取該位置所有信息的結果。
直觀地來說，可以將該操作認為是將輸入的RGB通道轉換成一個單通道進行輸出。
卷積自編碼卷積自編碼（CAE）從不同的角度來定義濾波器的任務：而不像平時我們遇到的那些工程上的卷積濾波器，它們的作用就是讓模型學習到最佳濾波器，從而使得重構誤差最小。然后，這些訓練好的濾波器就可以被使用到任何其他的計算機視覺任務。
目前利用卷積核進行無監督學習的最先進工具就是卷積自編碼（CAE）。一旦這些卷積核被訓練學習之后，它們將被應用到任何的輸入數據去進行特征提取。然后，這些特征就可以被用于任何的任務，例如分類問題。
CAE是卷積神經網絡（CNN）的一種類型：CNN和CAE之間最主要的區別在于前者是進行端到端的學習濾波器，并且將提取的特征進行組合從而用來分類。事實上，CNN通常被稱為是一種監督學習。相反，后者通常被用來訓練從輸入數據中提取特征，從而重構輸入數據。
由于它們的卷積性質，不管輸入數據的維度是多大，CAE產生的激活圖的數量都是相同的。因此，CAE完全忽略了二維圖像本身的結構，而是作為了一個通用特征提取器。事實上，在自編碼（AE）中，圖像必須被展開成單個向量，并且網絡對輸入向量的神經元個數有一定的約束。換句話說，AE迫使每個特征是全局的（即，跨越整個視野），所以它的參數中是存在冗余的，而CAE不是。
編碼器很容易理解，單個卷積濾波器不能學會提取圖像的各種各樣的模式。為此，每個卷積層是由 n 個（超參數）卷積核組成的，每個卷積核的深度是 D ，其中 D 表示輸入數據的通道數。
因此，每個具有深度 D 的輸入數據
和一組 n 個卷積核
之間進行的卷積操作，從而產生一組 n 個激活圖，或者等價的特征圖。當然，最后產生的特征圖的通道數還是 n ，具體如下：
為了提高網絡的泛化能力，每個卷積都會被非線性函數 a 激活，以這種方式訓練，得到的網絡可以學習輸入數據的一些非線性特性：
其中，bm^(1) 表示第 m 個特征圖的偏差，引入術語 zm 是對 AE 中保持相同的變量名稱。
所產生的激活圖是對輸入數據 I 進行的一個重新編碼，使其可以在低維空間表示。重構好之后的數據維度并不是原來 O 的維度，但是參數的數量是從Om 中學習來的，換句話說，這些參數就是 CAE 需要學習的參數。
由于我們的目標是從所產生的特征圖中對輸入數據 I 進行重構。因此我們需要一個解碼操作。卷積自編碼是一個完全的卷積網絡，因此我們的解碼操作可以進行再次卷積。
細心的讀者可能認為卷積操作減少了輸出的空間范圍，因此不可能使用卷積來重建具有相同輸入空間范圍的信息。
這是完全正確的，但是我們可以使用輸入填充來解決這個問題。如果我們用零向輸入數據 I 進行填充，則經過第一個卷積之后的結果具有比輸入數據 I 大的空間范圍，經過第二個卷積之后就可以產生具有和原始空間 I 相同的空間范圍了。
因此，我們想要輸入填充的零是這樣的：
從公式1可以看出，我們想要對 I 填充 2(2k+1)-2 個零（每一個邊填充 (2k+1) -1 個），以這種方式，卷積編碼將產生數據的寬度和高度等于：
解碼器所產生的 n 個特征圖 zm = 1, ..., n 將被用作解碼器的輸入，以便從該壓縮的信息中重建輸入圖像 I 。
事實上，解碼卷積的超參數是由編碼框架確定的：
由于卷積跨越每個特征圖，并且產生具有 (2k+1, 2k+1, n) 的維度，因此經過濾波器 F(2) 之后產生相同的空間范圍 I 。
需要學習的濾波器的數量：D個，因為我需要重構具有深度 D 的輸入圖像。
因此，重構的圖像 I_ 是特征圖的維度 Z = {zi = 1}^n 和該卷積濾波器 F(2) 之間的進行卷積的結果。
根據前面計算的零進行填充，那么導致解碼卷積之后產生的維度是：
我們的目標是使得輸入的維度等于輸出的維度，然后可以用任何的損失函數來進行計算，例如 MSE：
下一篇，我們來講怎么利用 TensorFlow 來實現CAE。
作者：chen_h
微信號 & QQ：862251340
簡書地址：https://www.jianshu.com/p/ec4...
CoderPai 是一個專注于算法實戰的平臺，從基礎的算法到人工智能算法都有設計。如果你對算法實戰感興趣，請快快關注我們吧。加入AI實戰微信群，AI實戰QQ群，ACM算法微信群，ACM算法QQ群。長按或者掃描如下二維碼，關注 “CoderPai” 微信號（coderpai）
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/41148.html
摘要：自編碼器的一個非常受歡迎的使用場景是圖像處理。這個自編碼器就稱之為卷積自編碼器，使用卷積自編碼器卷積自編碼器可以用于圖像的重構工作。網絡架構卷積自編碼器的編碼部分將是一個典型的卷積過程。 作者：chen_h微信號 & QQ：862251340微信公眾號：coderpai簡書地址：https://www.jianshu.com/p/250... 介紹和概念 自動編碼器（Auto-enc...
摘要：淺層結構化預測方法有損失的條件隨機域，有的較大邊緣馬爾可夫網絡和隱支持向量機，有感知損失的結構化感知深層結構化預測圖變換網絡圖變換網絡深度學習上的結構化預測該圖例展示了結構化感知損失實際上，使用了負對數似然函數損失于年配置在支票閱讀器上。 卷積網絡和深度學習的動機：端到端的學習一些老方法：步長內核，非共享的本地連接，度量學習，全卷積訓練深度學習缺少什么？基礎理論推理、結構化預測記憶有效的監督...
摘要：深度學習方法是否已經強大到可以使科學分析任務產生最前沿的表現在這篇文章中我們介紹了從不同科學領域中選擇的一系列案例，來展示深度學習方法有能力促進科學發現。 深度學習在很多商業應用中取得了前所未有的成功。大約十年以前，很少有從業者可以預測到深度學習驅動的系統可以在計算機視覺和語音識別領域超過人類水平。在勞倫斯伯克利國家實驗室（LBNL）里，我們面臨著科學領域中最具挑戰性的數據分析問題。雖然商業...
摘要：近幾年，深度學習高速發展，出現了大量的新模型與架構，以至于我們無法理清網絡類型之間的關系。是由深度學習先驅等人提出的新一代神經網絡形式，旨在修正反向傳播機制。當多個預測一致時本論文使用動態路由使預測一致，更高級別的將變得活躍。 近幾年，深度學習高速發展，出現了大量的新模型與架構，以至于我們無法理清網絡類型之間的關系。在這篇文章中，香港科技大學（HKUST）助理教授金成勳總結了深度網絡類型之間...
閱讀 3157·2023-04-25 18:22
閱讀 2390·2021-11-17 09:33
閱讀 3307·2021-10-11 10:59
閱讀 3238·2021-09-22 15:50
閱讀 2810·2021-09-10 10:50
閱讀 860·2019-08-30 15:53
閱讀 449·2019-08-29 11:21
閱讀 2909·2019-08-26 13:58
