摘要：月日下午，趙之健在七牛架構(gòu)師實(shí)踐日第二十九期進(jìn)行了多維度融合賦能視頻的實(shí)踐為題的實(shí)戰(zhàn)分享。本文主要分享了七牛人工智能實(shí)驗(yàn)室在視頻方面的一些工作，分別有兩個(gè)關(guān)鍵詞一個(gè)是多維度融合，另外一個(gè)關(guān)鍵詞是視頻。

6 月 30 日下午，趙之健在七牛架構(gòu)師實(shí)踐日第二十九期進(jìn)行了《多維度融合賦能視頻 AI 的實(shí)踐》為題的實(shí)戰(zhàn)分享。
?

作者簡(jiǎn)介：
?

??
趙之健，七牛人工智能實(shí)驗(yàn)室資深算法工程師，?七牛視頻算法和算法工程化負(fù)責(zé)人。擁有近十年從事于計(jì)算機(jī)視覺(jué)和人工智能相關(guān)的算法研究的經(jīng)歷，在圖像相關(guān)如人臉識(shí)別，圖像分類，工業(yè)自動(dòng)化，視頻分析等領(lǐng)域擁有豐富的研發(fā)經(jīng)驗(yàn)，研發(fā)的產(chǎn)品涉及安防，軍事，移動(dòng)互聯(lián)網(wǎng)，工業(yè) 4.0 等多個(gè)領(lǐng)域，曾帶隊(duì)獲得 ACM Muliti-media 大規(guī)模視頻分類競(jìng)賽亞軍。
?
本文主要分享了七牛人工智能實(shí)驗(yàn)室在視頻 AI 方面的一些工作，分別有兩個(gè)關(guān)鍵詞：一個(gè)是多維度融合，另外一個(gè)關(guān)鍵詞是視頻 AI?。
?
首先介紹一下七牛 ATLAB，幫助大家了解人工智能實(shí)驗(yàn)室。
?
這個(gè)實(shí)驗(yàn)室成立僅兩年的時(shí)間，主要的任務(wù)是在整個(gè)七牛云的平臺(tái)上，為廣大的客戶提供一些人工智能方面的服務(wù)。在 ATLAB 之前，七牛的整個(gè)多媒體服務(wù)是通過(guò) DORA 這個(gè)產(chǎn)品給大家做展現(xiàn)。了解過(guò)七牛云整個(gè)系統(tǒng)的人應(yīng)該都知道 DORA 是一個(gè)包羅萬(wàn)象的東西。之所以起名叫 DORA 是因?yàn)橄Ｍ芟穸呃?A 夢(mèng)一樣，萬(wàn)能口袋里有各種東西，給大家?guī)?lái)無(wú)限的可能。整個(gè)平臺(tái)做得很大，每天的請(qǐng)求量大概在百億級(jí)的水平。
?
它的基礎(chǔ)架構(gòu)包括三層：首先是底下會(huì)依托整個(gè)七牛的基礎(chǔ)服務(wù)，包括云存儲(chǔ)和容器計(jì)算以及日志服務(wù)；還有上面提供圖片和視頻 API，包括圖片的裁剪、縮放、瘦身之類的同步 API 和視頻轉(zhuǎn)覽之類的 API，為大家提供一些音視頻的服務(wù)，這是最初 DORA 整個(gè)設(shè)計(jì)的初衷。
??

?
ATLAB 整個(gè)人工智能實(shí)驗(yàn)室就是基于整個(gè) DORA 之后，在上面繼續(xù)布了一套 AI 的引擎，里面會(huì)包括一些鑒黃、物體檢測(cè)以及圖片相關(guān)的一些 AI 引擎和 AI 的深度學(xué)習(xí)平臺(tái)，這樣就稱它為 DORA++ 。通過(guò) atlab.ai 這個(gè)網(wǎng)址，就可以看到整個(gè)AI 引擎的 DEMO，里面會(huì)有一些類似這樣的展示。
?
包括我們做了很久的圖片鑒黃服務(wù)、物體場(chǎng)景檢測(cè)識(shí)別服務(wù)、人臉檢測(cè)服務(wù)，還有最后是一個(gè)圖片分割的服務(wù)。現(xiàn)在整個(gè) ATLAB 圖片 AI，支持了包括 11000 類的圖片分類、3000 類的檢測(cè)、20 類比較精細(xì)的鑒黃、400 類的場(chǎng)景以及人臉相關(guān)的服務(wù)，其中人臉識(shí)別在百萬(wàn)人臉底庫(kù)中的首選識(shí)別率已經(jīng)逼近 99%。
?

?
我們?yōu)槭裁匆鲆曨l？
?

?
隨著通信技術(shù)的發(fā)展，我們研究的一些事物的對(duì)象是會(huì)隨著通信技術(shù)的發(fā)展發(fā)生改變的。遙想當(dāng)年還是直板機(jī)諾基亞的時(shí)候，2G GPRS 網(wǎng)絡(luò)的時(shí)候，QQ 能夠聊天發(fā)短信就足以滿足，因?yàn)楫?dāng)時(shí)的通信技術(shù)不足以支持你發(fā)更多的信息。而到了 3G、4G 年代，大家用的更多的是微信，交流更多的是圖片和一些短視頻等，所以我們 AI 研究的對(duì)象，就開(kāi)始向圖片發(fā)展。未來(lái)可能會(huì)到 5G 時(shí)代，數(shù)據(jù)傳輸速度會(huì)從原來(lái)的 10M 變成 10G 的水平，比如一些實(shí)時(shí)的視頻通話，一些直播的應(yīng)用，肯定會(huì)成為我們未來(lái)研究的很重要的對(duì)象。因此，隨著通信技術(shù)的發(fā)展，視頻總有一天會(huì)成為整個(gè)人工智能研究比較重要的對(duì)象。
?
圖片 AI 就是隨著深度學(xué)習(xí)技術(shù)的發(fā)展和非常廣大的數(shù)據(jù)級(jí)的推動(dòng)。視頻跟圖片相比，視頻本身有很多自己的特點(diǎn)，生搬硬套圖片那一套可能并不實(shí)用。
?
首先視頻內(nèi)容的多樣性，視頻和圖片一樣具有內(nèi)容的多樣性。而且有些分析的類別可能是在視頻里才會(huì)有的。包羅到整個(gè)生活當(dāng)中的方方面面。所有生活中的內(nèi)容，都可能成為我們視頻處理的對(duì)象。
?
其次就是現(xiàn)有視頻產(chǎn)生的場(chǎng)景的復(fù)雜性，現(xiàn)今視頻產(chǎn)生的場(chǎng)景大概分為：視頻監(jiān)控、直播，還有一些電視臺(tái)的媒體，這三個(gè)場(chǎng)景是視頻比較多的情況。僅僅是在這三大場(chǎng)景里面，也存在廣泛的多樣性。例如在視頻監(jiān)控的場(chǎng)景下，由于這些視頻部署的對(duì)象不同，會(huì)導(dǎo)致所有部署的攝像頭，位置高度以及它關(guān)心的對(duì)象有所不同，會(huì)導(dǎo)致處理的復(fù)雜性。同樣的多樣性也會(huì)在直播場(chǎng)景，遇到比如說(shuō)有主播、演唱會(huì)、球賽，包括喬布斯的發(fā)布會(huì)之類的各種各樣的場(chǎng)景。這些可能是視頻處理起來(lái)比較難的一些方面。當(dāng)然在媒體行業(yè)，也會(huì)有新聞、綜藝、電視劇、電影這樣不同類型的場(chǎng)景。
??
視頻跟圖片的區(qū)別，還有最重要的一點(diǎn)是只有當(dāng)你看到視頻的最后一秒，你才知道這個(gè)視頻發(fā)生了什么。像球賽這張圖展示的一樣，大多數(shù)人可能都會(huì)覺(jué)得這個(gè)球進(jìn)了，但是他偏偏就都踢在橫梁上。時(shí)序性的信息是視頻獨(dú)有的，這與圖片完全不同。
?

?
最后說(shuō)到的是視頻數(shù)據(jù)量的問(wèn)題。視頻如果簡(jiǎn)單一點(diǎn)理解，就可以看成是一連串圖片的集合。那么我們比較了一下，現(xiàn)在市面上常見(jiàn)公開(kāi)的數(shù)據(jù)級(jí)，前兩個(gè)一個(gè)是檢測(cè)的數(shù)據(jù)級(jí)、一個(gè)是分類的數(shù)據(jù)級(jí)。可見(jiàn)，它在一百萬(wàn)量情況下的大小，大概是 100 個(gè) G 左右，而視頻僅僅只有十幾萬(wàn)的數(shù)據(jù)就可以達(dá)到 T 級(jí)的水平，也就是說(shuō)視頻的數(shù)據(jù)量相對(duì)于圖片來(lái)說(shuō)是爆炸式的，處理的時(shí)候也是難點(diǎn)。
?
以上是第一個(gè)關(guān)鍵詞的內(nèi)容。
?
?

?
我們?cè)趺从萌诤系姆绞饺プ鲆曨l？
?
首先來(lái)談?wù)劊谧龇诸惖臅r(shí)候，如何使用多維度的特征這樣一個(gè)融合層次，去完成對(duì)視頻的分析。去年 6 月份，在剛開(kāi)始從事視頻研究時(shí)，我們打算從視頻競(jìng)賽入手開(kāi)始研究視頻的一些算法。
?

?
在當(dāng)時(shí) ACM（ LSVC2017 ）舉辦了一個(gè)視頻分類的比賽，包含 500 個(gè)不同的類，幾十萬(wàn)的視頻。那個(gè)視頻標(biāo)注，就是一個(gè)視頻整段的標(biāo)注，沒(méi)有把事件具體發(fā)生的片段標(biāo)出來(lái)，這個(gè)難度是比較高的。當(dāng)時(shí)我們的想法是我們?nèi)ピ囁土私馕覀兒褪澜缱钕冗M(jìn)的水平相差有多少的態(tài)度去參加了比賽，主要使用的方法是通過(guò)一個(gè)特征融合的方法去完成比賽。
?
首先我們用了一些很深的深度學(xué)習(xí)圖片用的網(wǎng)絡(luò)去提了一系列特征。
?

?
然后用了一個(gè)時(shí)序編碼，用詞袋模型推因出的 NETVLAD 的模型，核心思想是把視頻長(zhǎng)度不同的特征段變成等長(zhǎng)的特征，相當(dāng)于把長(zhǎng)度五花八門的特征都變得一樣長(zhǎng)，做了這樣一個(gè)編碼的工作。同時(shí)還進(jìn)行了一些簡(jiǎn)單的擴(kuò)充，相當(dāng)于在之前設(shè)定編碼的時(shí)候，加入了一些我們自己設(shè)計(jì)的結(jié)構(gòu)。
?

?
然后設(shè)計(jì)了一些 fusion 的方法，其中一個(gè)比較有特點(diǎn)的是 一個(gè) early fusion Net-VLAD，相當(dāng)于我們不是在最終分類的時(shí)候才將我們特征的結(jié)果做一個(gè)融合，而是在特征層面就把它進(jìn)行融合，這樣融合的好處是，可以大量減少最后這一層 FC 的參數(shù)量，使整個(gè)模型推理更快。
??

??
這是最終比賽的結(jié)果，可以看到 map 從最初跑的 0.68，到最后可以達(dá)到我們提交的 0.87，通過(guò)特征融合的方式可以極大地提高整個(gè)視頻分類的準(zhǔn)確度的。這就是我們最終的成績(jī)，稍稍落后阿里拿了第 2 名。
?
雖然最終的成績(jī)還可以，但是在整個(gè)比賽過(guò)程中，我們遇到了非常多的問(wèn)題。數(shù)據(jù)量特別大的時(shí)候，下載數(shù)據(jù)就花了一個(gè)星期，處理預(yù)處理又花了一個(gè)星期，整個(gè)時(shí)間非常耗時(shí)。整個(gè)視頻訓(xùn)練，要讓它能夠變得更快，我們就必須要整成一套流式的訓(xùn)練平臺(tái)，相當(dāng)于從視頻端輸進(jìn)去大家就開(kāi)始訓(xùn)練，然后通過(guò)多維度的工具鏈的融合，使整個(gè)訓(xùn)練速度加速，這樣才可能訓(xùn)練出更好的模型。
?
下面介紹一下七牛云整個(gè)的深度學(xué)習(xí)平臺(tái)。
?

?
上面一套最開(kāi)始傳統(tǒng)模型發(fā)布的流程，它就包括整個(gè)數(shù)據(jù)級(jí)的整理、下載、標(biāo)注，再做一些預(yù)處理，手工搭平臺(tái)，再訓(xùn)練最終交付出去。我們的深度學(xué)習(xí)平臺(tái)，就是將上面過(guò)程中可以自動(dòng)化的事情，全部用自動(dòng)化的手段實(shí)現(xiàn)，這樣導(dǎo)致整個(gè)的訓(xùn)練過(guò)程，可以減少大概 80% 的人力和 50% 的時(shí)間。這是比賽時(shí)候就想做的事情，整個(gè)融合的工具鏈的入口是我們開(kāi)發(fā)的 VOTT 標(biāo)注的平臺(tái)，在這個(gè)平臺(tái)上可以很方便地標(biāo)注各種視頻片段的信息和一些視頻類別的標(biāo)簽，然后通過(guò)這個(gè)進(jìn)度條拖、拽等，可以很方便地找到你想標(biāo)注的內(nèi)容。
?

?
然后就是整套大規(guī)模的流式訓(xùn)練平臺(tái)。整個(gè)平臺(tái)我們拆成了四個(gè)部分：第一個(gè)部分是一些視頻解碼，存儲(chǔ)解碼等；第二個(gè)部分是一些特征提取的功能；第三個(gè)部分是模型訓(xùn)練；第四個(gè)部分是模型的融合。整個(gè)把它拆分成了四個(gè)完全獨(dú)立的部分，它們之間互不相干，數(shù)據(jù)進(jìn)來(lái)之后就可以進(jìn)行源源不斷的流式訓(xùn)練。
??
整個(gè)存儲(chǔ)和編碼解碼用的是 ALLUXIO 和 NVIDIA ?提供的 NVVL 工具。這個(gè)工具的好處是：它可以調(diào)用 GPU 上的解碼器，將視頻解碼的信息直接存儲(chǔ)在 GPU 上，省去了從 ?CPU 到 GPU 的拷貝過(guò)程，從而加快了整個(gè)訓(xùn)練的過(guò)程。
??
特征提取集群，是將原始的視頻轉(zhuǎn)化成我們要的例如單幀圖像，多幀圖像和光流之類的訓(xùn)練用的素材，然后拿來(lái)訓(xùn)練。同時(shí)我們發(fā)現(xiàn)圖像對(duì)視頻的表述，是比較局限的。有些時(shí)候還需要聲音、文本這樣的信息，這些額外信息的加入也可以提高我們訓(xùn)練的效果，所以一并把它們放在集群里。
??

?
這次最新的 CVPR 的比賽中，我們只花了七天七模型就完成了整個(gè)比賽，結(jié)果也不算太好，就拿了個(gè)第三名。七天七模型主要包括 TSN I3D non-local 等視頻專用的模型，就不再是之前圖片相關(guān)的網(wǎng)絡(luò)，我們的技術(shù)報(bào)告鏈接在圖片上，可以通過(guò)這個(gè)就詳細(xì)地了解模型的一些情況和技術(shù)報(bào)告。
?
有了這個(gè)快速訓(xùn)練模型的能力之后，我們?cè)谝曨l分析可以去哪里落地。于是就會(huì)跟很多客戶討論，你們對(duì)視頻有什么需求和要求，他們提到有一個(gè)視頻通用結(jié)構(gòu)化的需求。這個(gè)需求是指，有時(shí)候需要對(duì)視頻里面的內(nèi)容進(jìn)行一些搜索，搜索里面一些敏感的人、敏感的事、或者是一些特定的物體。但肯定不能每次搜索的時(shí)候，就把整個(gè)視頻全部拉回來(lái)跑一遍，畢竟這個(gè)成本是不能承受的。那么就需要把一個(gè)視頻轉(zhuǎn)成一個(gè)通用的結(jié)構(gòu)化的可以搜索的一些東西去做這么一件事。
?

?
不同的客戶，對(duì)于視頻結(jié)構(gòu)化的需求有不同的理解。比如一些媒體的客戶，內(nèi)容很合適他們的硬性要求，他對(duì)于里面出現(xiàn)的一些比如涉黃的內(nèi)容，是比較敏感的，他需要這樣一個(gè)東西；還有一些敏感人物是不能出現(xiàn)的，這是特別硬性的要求；另外還有一個(gè)要求，就是希望視頻可以分門別類的分在提前預(yù)先設(shè)定好的類別下面。
?
之前這些事情都是人做的，比如《奔跑吧兄弟》就希望分在綜藝的類別下，這是用戶的需求。如果在安防的監(jiān)控場(chǎng)景下，需求就可能是希望能夠在杭州市全部的攝像頭里面找到某一輛紅顏色的車。這就需要做一個(gè)快速的搜索，同時(shí)把無(wú)關(guān)的信息全部壓縮掉，不必存這么多視頻，只要存下解構(gòu)化的信息就可以，能不能從這些解構(gòu)化的信息里面做一些預(yù)測(cè)，這是用戶的需求。所以整個(gè)的需求，會(huì)分成很多種類型。
?
怎么樣描述一個(gè)視頻？比方說(shuō)《葉問(wèn)》這個(gè)電影，可以從幾個(gè)方面找到它。
?
??首先，搜索功夫片或者甄子丹這個(gè)人，都可能會(huì)搜到他。另外還有一個(gè)是一句非常有名的臺(tái)詞 “ 我要打十個(gè) ”，可能也會(huì)搜索到。你搜索一個(gè)視頻，可能從視頻整體去搜索到它，或者從關(guān)鍵人物可以描述它，或者通過(guò)一些動(dòng)作或者事件也可以找到它。這三個(gè)層級(jí)都是視頻結(jié)構(gòu)化需要做的事情，所以提出這樣一個(gè)多層級(jí)的視頻結(jié)構(gòu)化架構(gòu)。里面會(huì)有整段視頻的結(jié)構(gòu)化，還有一些關(guān)鍵人物的結(jié)構(gòu)化和事件行為的結(jié)構(gòu)化。
?
只有多維的技術(shù)相融合，才能完成多維度視頻結(jié)構(gòu)化這件事情。首先視頻整體結(jié)構(gòu)化就需要視頻整理分類的能力；視頻人物結(jié)構(gòu)化，就需要有人，有檢測(cè)跟蹤的能力；事件檢測(cè)化，就需要檢測(cè)里面的事件和鏡頭分割的能力，有了這樣的能力以后，才能完成整個(gè)多維的結(jié)構(gòu)化的事情。

產(chǎn)品在這里不一一列舉，直接跳到我們做的一些視頻結(jié)構(gòu)化的 DEMO。
?

?
第一個(gè)是視頻中人臉結(jié)構(gòu)化的 DEMO。這是給電視臺(tái)做的，需求是把里面的人全部結(jié)構(gòu)化，方便后續(xù)搜索。經(jīng)過(guò)整理下來(lái)的功能，第一是要實(shí)現(xiàn)人臉的檢測(cè)和上傳，把人臉的信息存下來(lái)；第二是要識(shí)別里面一些敏感人物，包括一些政治人物；第三是要把普通的人物，即不敏感的人歸到一起，只要做這三個(gè)功能。
?

?
最終結(jié)果是這樣的，這是在這個(gè)視頻里面找到的人；這些綠色區(qū)域，就是這個(gè)人出現(xiàn)在視頻當(dāng)中的時(shí)間。如果當(dāng)你需要很方便地去看這個(gè)人在視頻中出現(xiàn)的片段，只需要把這個(gè)鼠標(biāo)點(diǎn)到跟它相關(guān)的內(nèi)容上面，就會(huì)自動(dòng)地播放跟這個(gè)人相關(guān)的事件和工作。這是整個(gè)視頻人臉結(jié)構(gòu)化的項(xiàng)目。
?

?
第二個(gè)是我們做了一個(gè)點(diǎn)球事件識(shí)別的 DEMO。可以看到這個(gè)曲線就表示的是這個(gè)事件，這個(gè)視頻上點(diǎn)球的概率是多少。當(dāng)出現(xiàn)點(diǎn)球的時(shí)候，這個(gè)事情會(huì)超過(guò)這個(gè)紅線，是一個(gè)預(yù)測(cè)值，超過(guò)這個(gè)紅線的時(shí)候就會(huì)知道點(diǎn)球事件發(fā)生了。我們訓(xùn)練模型經(jīng)過(guò)測(cè)試之后，整場(chǎng)球賽可以把點(diǎn)球都找出來(lái)，誤檢很少，整個(gè)的效果還可以。
?
但是大家看到這個(gè)點(diǎn)球 DEMO 會(huì)覺(jué)得，點(diǎn)球 DEMO 有點(diǎn) low，因?yàn)橹荒芨嬖V你這個(gè)時(shí)候發(fā)生的點(diǎn)球，唯一能做的是把整個(gè)賽季的視頻跑遍，然后做成一個(gè)點(diǎn)球合集，然后一直看。為什么會(huì)導(dǎo)致這個(gè)東西好像沒(méi)什么用呢？
?
經(jīng)過(guò)分析我們發(fā)現(xiàn)，一場(chǎng)很好的球賽，它不僅僅包括球場(chǎng)上的一些事件，還要包括整個(gè)教練員的排兵布陣，包括一些明星球員的超神的發(fā)揮和一些球隊(duì)與球隊(duì)之間的歷史和恩怨等。整個(gè)事件加在一起，才會(huì)是一場(chǎng)比較精彩的球賽。而只有足球事件是可以用視頻結(jié)構(gòu)化的方法得到，而剩下的這些東西，則需要一些知識(shí)圖譜和自然語(yǔ)言處理的東西，我們必須要把多維的信息融合起來(lái)，才能得到一個(gè)完整的東西。
?

??
所以我們就重新設(shè)計(jì)了一個(gè)點(diǎn)球的架構(gòu)，將爬蟲(chóng)爬到的關(guān)于足球的知識(shí)，經(jīng)過(guò)數(shù)據(jù)清洗跟合并之后，建成了球星人臉庫(kù)和知識(shí)圖譜。當(dāng)處理視頻的時(shí)候，不僅檢測(cè)球場(chǎng)上的事件，還對(duì)球場(chǎng)上的人進(jìn)行識(shí)別，通過(guò)與球星人臉庫(kù)和知識(shí)圖譜的相互調(diào)用，就會(huì)得到一些歷史的數(shù)據(jù)。之后就將歷史數(shù)據(jù)跟球場(chǎng)事件做一個(gè)綜合的展示。這樣就相當(dāng)于有多維度的信息了。我們第二個(gè)版本可以達(dá)到的效果是：當(dāng)梅西踢點(diǎn)球的時(shí)候，就可以在左上角顯示出來(lái)他是誰(shuí)、他是哪個(gè)國(guó)家的、他之前踢進(jìn)了多少球、這樣整個(gè)演示的內(nèi)容就顯得豐滿一些。
?
通過(guò)我們一年多來(lái)的一些實(shí)踐，我們認(rèn)為多帶帶的內(nèi)容可能沒(méi)有很好地解決實(shí)際當(dāng)中視頻的需求，我們需要結(jié)合各種各樣多維度的包括知識(shí)、技術(shù)、能力、產(chǎn)品之類的內(nèi)容，去把它打一個(gè)包，才能整體地解決一些視頻上的問(wèn)題。所以在我們未來(lái)的產(chǎn)品架構(gòu)里面，會(huì)帶上學(xué)習(xí)引擎，同時(shí)也會(huì)帶上我們各種識(shí)別引擎，還有我們自己視頻的一些引擎，經(jīng)過(guò)合力才能成為一個(gè)比較好的視頻產(chǎn)品。
?
我們一直堅(jiān)信視頻肯定是未來(lái)的大勢(shì)所趨，總有一天所有的智能分析都要走上視頻的道路，希望七牛云在這方面做的產(chǎn)品，可以給大家一個(gè)更好的視頻的 AI 的體驗(yàn)。
?
?
推薦閱讀
博士們竟然玩起了涂鴉：基于手繪草圖的圖像檢索技術(shù)研究
?
深度學(xué)習(xí)技術(shù)的實(shí)踐與分享 |七牛云架構(gòu)師實(shí)踐日第 28 期