摘要：所學習的濾波器組被期望為編碼一些合適數量類別的普通圖像編碼判別信息在不同視覺等級分層提取圖案。特別是，在新框架的每一層，可共享的濾波器共同學習那些相似模式的類。除了減小特征維度，共享濾波器也可以導致特征更魯棒。

今天我們來談談深度學習過程中的一些判別與共享關系。這也是一篇不錯的paper（來自模式識別），并且通過實現和改進真的可以有一個較好的提升。

在圖像表示中，為了編碼類的相關性和類的具體信息，文章提出了一個深度判別和可共享的特征學習一個新局部特征的學習方法。該方法旨在分層學習特征變換濾波器組，將原始像素圖像塊變換為特征。

所學習的濾波器組被期望為：

（1）編碼一些合適數量類別的普通圖像；

（2）編碼判別信息;

（3）在不同視覺等級分層提取圖案。

特別是，在新框架的每一層，可共享的濾波器共同學習那些相似模式的類。濾波器的判別能力，通過使同一類的特征更加相近，而不同類的特征彼此遠離來完成的。此外，還提出了兩種選擇方法的模型，為了更有效地迭代選擇訓練數據和有效地學習。根據實驗結果，新框架可以達到非常有好的性能。

現在特征學習方法目的在于從原始像素圖像數據中去自動學習數據自適應圖像表示，然而這些方法在數據中提取和組織判別信息較差，大多數的學習框架都用無監督方式，但沒有考慮到類標簽的信息，這可是圖像分類的關鍵。所以提出了在已存在的類別組中編碼可共享信息，且判別模式在特征學習過程中擁有具體類。

于是建立一個多層特征學習框架：深度判別和共享的特征學習。

目的：分層學習變換濾波器組去將局部圖像塊的像素值變換為特征。在下圖中，每一個特征學習層，目的是去學習一個過完備濾波器組，其可能涉及到不同類的塊差異，同時在相似類中保持共享相關性和每一個類的判別力。直觀地，這目標可以通過隨機尋找訓練塊，對每個類多帶帶學習濾波器組，然后連接在一起來完成。

但是有3個問題：

有些模式在一些類中是共享的，重復學習濾波器相當于類似的模式既沒有內存壓縮也沒有效計算，同時特征維度隨著類的數量成線性增長；

判別力不能被充分利用，因為類的具體特征是普遍的且不明顯，不需與其他類比較；

圖像被噪聲和無意義的塊影響，從隨機采樣的圖像塊中學習濾波器將會增加學習成本并降低性能。

訓練過程：

a）原始圖像輸入或前層特征的輸出，稠密提取圖像塊或局部特征（黃色塊）；b）選擇樣本訓練（紅色快）；

c）進行新框架訓練模塊并學習濾波器組。

測試過程：

d）應用所學習的濾波器組W到原始輸入圖像或前層特征，對當前層稠密提取新框架特征；

e）進行LLC和SPM，然后變換局部特征到全局圖像表示，并應用線性SVM去做最后的分類。

在新框架模塊中，在全局濾波器組W中w1，w2，...，wD表示濾波器。在訓練步驟，對于每一層，強制它去激活一個小子集的濾波器（被激活的濾波器已經用不同顏色強調），不同類可以分享相同的濾波器。最后，一個圖像塊Xi的新框架特征可以表示為fi=F(WXi)。

為了學習緊致和有效的濾波器組，在學習過程中，每一類都只能激活全局濾波器的一個子集。除了減小特征維度，共享濾波器也可以導致特征更魯棒。圖像屬于不同類但是分享了相同的信息（例如在圖像中，計算機房和辦公室都含有電腦和桌子）。信息共享的數量取決于不同類之間的相似性。所以允許濾波器可以共享，意味著相同的濾波器可以通過一些類被激活。于是引入了一個二進制選擇向量去自適應選擇哪一個濾波器去共享并在哪類中。

為了提高判別力，強制將來自相同類的特征去更接近，將來自不同類的特征去遠離。（例如，與辦公室里書架相對應的塊在計算機房很難找到）。然而來自相同類的局部塊是非常多樣化的。

因此，提出去測量相似性，通過強制一個塊相似于相同類訓練樣本的一個子集。與此同時，不是所有不同類的局部塊都需要分離。因此減少判別條件，允許通過不同類去共享相似的塊，重點分離不相似的塊。

為了提高濾波器的質量和學習過程的效率，提出兩個樣本選擇方案去選擇有效地訓練數據。所提出的方法目的是去除普遍存在于不同類的訓練塊的噪聲，并選擇包含共享和判別的模式作為訓練數據去學習濾波器組。拓展單層特征學習模塊到分層結構。建立了3層學習框架。在結構中，先從小的原始像素值圖像塊（16x16）學習特征；然后對于更高的層，用一個大的區域（32x32和64x64，分別為第二層和第三層）卷積前層特征作為輸入去PCA，并用降維數據（設置所有層維度都是300）作為輸入去訓練當前層的濾波器組（設置每一層去學習400個濾波器）；最后結合3層所有學習到的特征作為新框架特征。

特征學習

直接從圖像像素值中學習特征已經形成了熱門的研究。這些方法能夠學習數據自適應特征，它們很容易被擴展到分層結構中并學習多層圖像的表示。

大多數都采用無監督方法去學習濾波器為了特征提取，但是該文章堅信判別信息才是分類的關鍵，并且判別的模式可以被學習用于圖像表示；

ConvNets主要集中在逐步學習多層視覺模式，該文章的新框架主要集中在編碼共享和判別的不同類的相關性到每一層的特征變換；

許多深度特征學習框架專注于高層圖像表示，低層特征相對較弱，但該文章的新框架專注于編碼類層次判別和共享的特性在塊層次的局部特征。

判別訓練

新框架專注于判別的學習濾波器，其將局部圖像塊變換為特征，并允許共享不同類之間的局部特征變換濾波器。所提出的樣本選擇方法可以得到更多提供信息的局部塊層次的訓練數據對于特征學習模塊。

有些作者，在中層的目標部分濾波器被共享去表示大量的目標類對于目標檢測，但是該文章只用弱監督圖像層標簽，并建立一個基于近鄰的較大邊緣方法去學習判別的特征變換矩陣。

深度判別和共享的特征學習

詳細介紹新框架，然后提供一個交替優化策略。

單層新框架學習構成

全局無監督項

為了確保學習的濾波器組能夠在原始數據進行特征變換后保存信息，引入全局構建項并建立一個自動編碼：

共享模式學習項

上述全局無監督項可以達到較好的結果，但類信息沒有被利用，類信息也是分類關鍵的問題，因此提出編碼共享信息，其存在相似類之間，利用這些類的訓練數據去共同學習共享的濾波器。

為實現目標，對每個類引入稀疏二進制向量ac∈RD去指示 每行的選擇狀態，類c的共享約束項如下：

其中，Wc表示類別c選定的濾波器，Nc是類c訓練塊的數量。||ac||0項是用來強制稀疏，所以只有少數W的行被激活。

算法1：深度判別和共享特征學習

判別信息編碼項

為了增強特征的判別力，進一步引入一個假設項，就是判別特征應該更接近相同類的特征。假設三個狀態{Xi,Xi+,Xi-}，其中Xi表示訓練塊，Xi+表示從相同類隨機選擇的“正”塊，Xi-表示從另一些類隨機選擇的“負”塊，采用基于‘塊到類（patch-to-class）’距離度量的最近鄰方法。

其中K表示為最近鄰塊集合中最近鄰的數量，本文固定其為5，且δ表示為間隔，該文章設置它為1。

優化新框架目標函數

結合上述三個學習構成，構成完整的新框架目標函數：

需要同時優化全局濾波器變換矩陣W和類的具體濾波器選擇向量ac。該函數不能同時優化，如果固定其中一個，則目標函數成為凸函數。于是本文采用一個交替優化策略去迭代更新W和ac。

樣本選擇模型

學習特征不僅依賴于學習結構與參數，而且還依賴于輸入數據的質量。為了選擇訓練塊集，且其含有潛在的共享和判別模式，同時也不包括常見的噪聲塊。為了這個目的，提出兩個有判別的樣本訓練數據選擇方法：最近鄰法（NN）和支持向量機（SVM）。

1) ?最近鄰法（NN）

本文選擇最近鄰方法去刪除在許多類可能普遍存在的塊，定義最后的“到達分數”如下：

2)SVM

SVM方法比NN方法快且內存消耗小,但是有較小的性能下降。用線性SVM去迭代改善選擇方法對于每一次聚類，主要有2步驟：

基于NN與基于SVM樣本選擇對比

做了簡單的比較：性能、計算成本和內存成本

1）性能：NN有1-3%的提升、SVM有0.15-1.5%的提升；

2）計算成本：對于NN最耗時是算法2中的第一步：覆蓋集搜索，對于SVM最耗時的是算法3中的第2、3步：SVM訓練和測試最耗時，但是采用了GPU并行計算，簡短很多時間，所以SVM耗時少；

3）內存成本：對于NN，需要所有訓練塊都在內存中，為了讓每一個塊被覆蓋集搜索到，為了減低內存成本，我們被X分成幾個子群，

NN的方法可以達到較高的較精確度，但是SVM方法可以處理速度快且用較小的內存成本，但是性能會有一點下降。

實驗與分析

數據集和實驗設置

數據集：Scene 15、UIUC Sports和MIT Indoor?

1）Scene 15：包括4485張圖像，15類室外與室內場景圖，每一類有200-400張灰色圖像。每一類用100張訓練，其余測試；

2）UIUC Sports：包括1579張圖像，8類體育分類，每一類包括137-250張圖像。每一類用70張訓練，其余測試；

3）MIT Indoor：包括15620張圖像，67類室內場景。每一類用80張訓練，20張測試；

4）PASCAL VOC 2012：有5717張訓練圖像包括了13609個目標，有5823張驗證圖像包括了13841個目標。一共有標簽圖像11540，沒有用額外的訓練數據。在測試過程中，10991未標簽的圖像被提供，通過上傳分類的分數到PASCAL VOC評估服務器得到分類結果。

為了變換局部特征到全局圖像表示，利用LLC框架和SPM。相結合可以導致良好的分類結果。

LLC：利用局部約束線性編碼去編碼局部特征，進行較大池化和線性SVM；

SPM：利用粗糙的空間結構信息，把來自不同空間池化區域的池化特征全部鏈接。

與其他特征比較

1）hang-crafted 特征：SIFT、HOG、LBP、GIST和CENTRISY；

2）無監督方式的基本特征，沒有編碼判別或共享信息，用隨機權重和RICA方法來提取特征；

3）先進的Caffe特征。

可視化比較：

左邊為重構獨立成分分析，右邊為新框架模型。

最終的結果（VOC 2012）：

聲明：文章收集于網絡，如有侵權，請聯系小編及時處理，謝謝！

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754