摘要：行為識別包含兩個研究方向個體行為識別與群體行為事件識別。同時，隨著行人智能分析與群體事件感知的需求與日俱增，一系列行為分析與事件識別算法在深度學習技術的推動下應運而生。

行為識別是指通過分析視頻、深度傳感器等數據，利用特定的算法，對行人的行為進行識別、分析的技術。這項技術被廣泛應用在視頻分類、人機交互、安防監控等領域。行為識別包含兩個研究方向：個體行為識別與群體行為（事件）識別。近年來，深度攝像技術的發展使得人體運動的深度圖像序列變得容易獲取，結合高精度的骨架估計算法，能夠進一步提取人體骨架運動序列。利用這些運動序列信息，行為識別性能得到了很大提升，對智能視頻監控、智能交通管理及智慧城市建設等具有重要意義。同時，隨著行人智能分析與群體事件感知的需求與日俱增，一系列行為分析與事件識別算法在深度學習技術的推動下應運而生。下面將介紹我們的相關研究。

圖1 行為識別的定義及應用領域

基于層級化循環神經網絡的人體骨架運動序列行為識別?

目前基于人體骨架的行為識別方法主要可分為兩類：1）基于局部特征的方法：該類方法是對序列中的各時刻的人體骨架的局部幾何結構做特征提取，然后利用詞包（Bag of Words, BoW）模型結合時間金字塔（Temporal Pyramid, TP）或是結合動態時間規整（Dynamic Time Warping, DTW）進行識別，該類方法沒有或是只能局部考慮運動序列的時序信息，其識別過程更多地依賴局部靜態結構特征；2）基于序列狀態轉移的方法：該類方法主要是利用HMM 對行為演化的動態過程進行建模，其兩個主要不足是不僅需要對序列做預對齊，同時還需要估計狀態轉移過程的遷移概率，這本是兩個比較困難的問題，其識別的精度也往往偏低。本研究主要基于微軟的Kinect 和運動捕獲系統提取的人體骨架運動序列，結合人體運動的相對性，提出了基于遞歸神經網絡的人體骨架運動序列的行為識別模型。提出的模型首先對已經提取好的人體骨架姿態序列中節點坐標進行歸一化，以消除人體所處空間位置對識別過程的影響，利用簡單平滑濾波器對骨架節點坐標做平滑濾波以提高信噪比，最后將平滑后的數據送入一個層次化雙向遞歸神經網絡同步進行深度特征表達提取、融合及識別，同時提供了一種層次化單向遞歸神經網絡模型以應對實際中的實時分析需求。該方法主要優點是根據人體結構特征及運動的相對性，設計端到端的分析模式，在實現高精度識別率的同時避免復雜的計算，便于實際應用。本工作及其擴展版本先后發表在CVPR-2015及IEEE TIP-2016上。

圖2 基于層級化RNN的人體骨架序列行為識別示意圖

基于雙流循環神經網絡的行為識別

由于深度傳感器的成本的降低和實時的骨架估計算法的出現，基于骨架的行為識別研究越來越受歡迎。傳統方法主要基于手工特征設計，對行為中運動的表達能力有限。最近出現了一些基于循環神經網絡的算法，可以直接處理原始數據并預測行為。這些方法只考慮了骨架坐標隨著時間的動態演變，而忽略了它們在某一個時刻的空間關系。在本文中，我們提出一種基于雙流循環神經網絡的方法如圖三，分別對骨架坐標的時間動態特性和空間相對關系建模。對于時間通道，我們探索了兩種不同的結構：多層循環神經網絡模型和層次化的循環神經網絡模型。對于空間通道，我們提出兩種有效的方法把坐標的空間關系圖轉換為關節點的序列，以方便輸入到循環神經網絡中。為了提高模型的泛化能力，我們探究了基于三維坐標變換的數據增強技術，包括旋轉、縮放和剪切變換。 在深度視頻的行為識別標準數據庫的測試結果顯示，我們的方法對于一般行為，交互式行為和手勢的識別結果都有相當大的提高。該工作已被CVPR-2017接收。

圖3 基于雙流RNN的骨架的行為識別方法

基于類相關玻爾茲曼機的視頻事件分析

我們研究了有監督模型中的視頻表達學習，以期望利用類標簽學到更有區分力的表達，可同時用于視頻分類和檢索。我們知道，由于低層視覺特征與類標簽之間的語義鴻溝、高維低層特征對后續分析所產生的計算代價以及有標簽訓練樣本的缺乏，在不受控制的網絡視頻中分析無結構的群體行為和事件是一個非常具有挑戰性的任務，如圖四所示。為了克服這些困難，我們希望能夠學習一個含有語義信息的緊湊中層視頻表達。因此，我們提出了一種新的有監督概率圖模型：類相關受限玻爾茲曼機(Relevance Restricted Boltzmann Machine, ReRBM)，學習一種低維的隱語義表達用于復雜行為和事件分析。提出的模型在受限玻爾茲曼機（RBM）的基礎上進行了一些關鍵性擴展：1）將稀疏貝葉斯學習與RBM結合來學習具有區分力的與視頻類相關的隱含特征；2）將RBM中的二進制隨機隱含單元替換為非負線性單元來更好的解釋復雜視頻內容，并使得變分推理能夠適用于提出的模型；3）開發了有效的變分EM算法用于模型的參數估計和推理。我們在三個具有挑戰性的標準視頻數據集(Unstructured Social Activity Attribute、Event Video和Hollywood2)上對提出的模型進行了評估。實驗結果表明，相比其他的一些隱變量概率圖模型如圖五所示，提出的模型所學到的類相關特征提供了對視頻數據更具有區分力的語義描述，在分類準確率和檢索精度上獲得了較好結果，特別是在使用很少有標簽訓練樣本的情況下。這項工作發表在機器學習、神經信號處理領域較高級國際會議NIPS 2013上，其擴展后的版本被計算機視覺領域較高級國際期刊IJCV 2016發表。

圖 4 不同類型的活動

（簡單動作、結構化活動、非結構化群體事件）

圖5 基于類相關受限玻爾茲曼機的視頻表達

采用雙通道卷積神經網絡的基于行走行為的身份識別

基于行走行為的身份識別，即步態識別一般指的是給定一個步態序列，要求從一個匹配庫中找出與之最相似的序列，從而確定所給定序列中人的身份。步態是遠距離、非受控情況下可感知的生物特征，使用范圍可遠達50米，在遠距離大范圍的視覺監控場合具有不可替代的應用前景和研究價值。我們提出的方法處理的是預先提取好的步態能量圖（Gait Energy Images，GEI），步態能量圖是將視頻序列中提取出的行人剪影對齊后沿時間維度平均得到的一種2D的灰度圖像。首先，考慮到基于步態能量圖的步態識別中局部細節差異的重要性，多點的局部比較應該會優于一次全局比較;其次，兩個處于不同視角的樣本可能會在表觀上出現巨大的差異，如果只考慮比較單元自己的局部區域，將很難捕捉到足夠的信息進行比較；另外還需要判別式地學習特征和比較模型。以上的三點都可以在一個深度卷積神經網絡中實現，從而我們提出了基于上下文的跨視角步態識別方法如圖六所示，在極為困難的同時跨視角和行走狀態的任務中，也能夠達到足夠讓人接受的識別效率。相關成果已發表在IEEE TMM-2015與TPAMI-2017上。

圖6 步態識別流程圖與提出的模型結構圖

參考文獻

[1] Yong Du, Wei Wang, and Liang Wang. Hierarchical Recurrent Neural Network for Skeleton Based Action Recognition. IEEE Conferenceon Computer Vision and Pattern Recognition (CVPR). 2015.

[2] Yong Du, Yun Fu, Liang Wang. Representation Learning of Temporal Dynamics for Skeleton-Based Action Recognition. IEEE Transactionson Image Processing (TIP). 2016.

[3] Hongsong Wang and Liang Wang. Modeling Temporal Dynamics and Spatial Configurations of Actions Using Two-Stream Recurrent Neural Networks. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017.

[4] Fang Zhao, Yongzhen Huang, Liang Wang, Tieniu Tan. Relevance Topic Model for Unstructured Social Group Activity Recognition. Advances in Neural Information Processing Systems (NIPS). 2013.

[5] Fang Zhao, Yongzhen Huang, Liang Wang, Tao Xiang, and Tieniu Tan. Learning Relevance Restricted Boltzmann Machine for Unstructured Group Activity and Event Understanding. International Journal of Computer Vision (IJCV).2016.

[6] Zifeng Wu, Yongzhen Huang, Liang Wang. Learning Representative Deep Features for Image Set Analysis. IEEE Transactions on Multimedia (TMM). 2015.

[7] Zifeng Wu, Yongzhen Huang, Liang Wang, Xiaogang Wang, and Tieniu Tan. A Comprehensive Study on Cross-View Gait Based Human Identification with Deep CNNs. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). 2017.

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754