摘要：可預(yù)見的未來(lái)激情賽事已經(jīng)過(guò)半，阿里云視頻技術(shù)在本次世界杯中也成功落地，而這并不是結(jié)局，這是將視頻應(yīng)用于體育行業(yè)以及更多其他行業(yè)的開端。

本屆世界杯互聯(lián)網(wǎng)直播的順利進(jìn)行，離不開各大云計(jì)算廠商的支持。在這其中，阿里云是當(dāng)之無(wú)愧的“C位“，除了優(yōu)酷外，阿里云還支撐了CNTV、CCTV5客戶端，為全網(wǎng)70%的世界杯直播流量保駕護(hù)航。

對(duì)于世界杯這種超大觀看量級(jí)、超強(qiáng)影響力的重要體育賽事，阿里云一直致力研究的AI技術(shù)一定不會(huì)缺席。

如何用AI替代傳統(tǒng)的內(nèi)容加工模式，高效地產(chǎn)出比賽集錦并將精彩內(nèi)容快速呈現(xiàn)給觀眾呢？世界杯期間，阿里云聯(lián)合阿里巴巴機(jī)器智能技術(shù)實(shí)驗(yàn)室，利用“視頻AI+云剪輯+媒資管理”的技術(shù)，實(shí)時(shí)產(chǎn)生精彩集錦和球星集錦，滿足球迷們的重溫賽事和追星的需求，本文將揭曉技術(shù)實(shí)現(xiàn)過(guò)程。

首先，要做的事情是讓機(jī)器比人更懂視頻。通過(guò)對(duì)過(guò)去多屆世界杯的多場(chǎng)賽事，以及上萬(wàn)篇足球或世界杯相關(guān)文稿的學(xué)習(xí)，阿里云視頻AI對(duì)球場(chǎng)、球員、比賽機(jī)制、特定行為等都有了全面的理解，所以它具備像觀眾一樣去客觀地認(rèn)知和感受每一場(chǎng)世界杯球賽的能力。

其次，大量的標(biāo)注工作也是必不可少的，包括對(duì)幀圖景深、位置、事件、紅黃牌、不同角色行為、禁區(qū)危險(xiǎn)畫面及球星人臉的標(biāo)注，也包含對(duì)音頻中關(guān)鍵詞、音頻事件等的標(biāo)注。

最后，便是準(zhǔn)確地提取“精彩”的內(nèi)容。在這個(gè)環(huán)節(jié)，算法和工程上進(jìn)行了多處創(chuàng)新。包括：

1、將視頻進(jìn)行多模態(tài)分析，從視頻畫面、音頻、文字等多個(gè)維度提取關(guān)鍵信息，再通過(guò)融合或者相互校驗(yàn)，大幅度提高鎖定精彩內(nèi)容的準(zhǔn)確性。

2、將音頻的信息分析和視頻行為分析結(jié)果取權(quán)重融合判斷，將視頻時(shí)域、空域網(wǎng)絡(luò)權(quán)重與音頻事件、ASR網(wǎng)絡(luò)自適應(yīng)累加，從而對(duì)射門、進(jìn)球、犯規(guī)、精妙傳球等精彩鏡頭準(zhǔn)確捕獲；同時(shí)，結(jié)合實(shí)時(shí)事件信息分析結(jié)果進(jìn)行合理回溯或預(yù)測(cè)，完成事件提取，比如受傷、換人、過(guò)人等事件相關(guān)的回放、特寫、裁判行為抓取等。

3、利用多維數(shù)據(jù)進(jìn)行相互校驗(yàn)，結(jié)合事件回溯和預(yù)測(cè)技術(shù)，進(jìn)行進(jìn)一步的信息平滑處理，在直播過(guò)程中逐漸累積精彩集錦或球星集錦。

賽事精彩集錦是以比賽本身為核心，對(duì)精彩信息進(jìn)行定義、提取、匯聚與展示；而球星集錦是以特定球員為核心，獲取直播賽事中與球星相關(guān)的關(guān)鍵畫面或關(guān)鍵事件。這一技術(shù)不僅能為視頻生產(chǎn)方實(shí)時(shí)提供素材，也能快速呈現(xiàn)球星愛(ài)豆的精華鏡頭，讓球迷們過(guò)足眼癮。

簡(jiǎn)單來(lái)說(shuō)，球星集錦的實(shí)現(xiàn)通過(guò)對(duì)世界杯場(chǎng)景進(jìn)行深入理解和分析，從比賽視頻、解說(shuō)詞音頻、球星庫(kù)及人物場(chǎng)記等各個(gè)維度進(jìn)行識(shí)別與分析，并利用多模態(tài)融合技術(shù)，從而實(shí)現(xiàn)復(fù)雜場(chǎng)景下的集錦效果。

在視頻AI處理中，通過(guò)識(shí)別視頻中已注冊(cè)的球星并進(jìn)行人物追蹤，同時(shí)做了一定程度的容錯(cuò)處理和補(bǔ)償優(yōu)化，并針對(duì)不同位置的球星微調(diào)追蹤模型，最終對(duì)球星在視頻中出現(xiàn)的時(shí)間線、幅面坐標(biāo)及置信度進(jìn)行綜合的動(dòng)態(tài)分析。

在解說(shuō)詞AI處理中， 則使用了世界杯場(chǎng)景的語(yǔ)音識(shí)別模型，該模型對(duì)球員名稱、足球術(shù)語(yǔ)、解說(shuō)員的語(yǔ)速/語(yǔ)氣/語(yǔ)調(diào)等進(jìn)行了額外的訓(xùn)練和優(yōu)化，尤其是在聲學(xué)模型上針對(duì)足球場(chǎng)景下的球場(chǎng)及觀眾噪聲進(jìn)行了適應(yīng)性訓(xùn)練，使得其最終對(duì)世界杯解說(shuō)詞的識(shí)別準(zhǔn)確率提升了超過(guò)10個(gè)百分點(diǎn)。

云剪輯是生成球星集錦的最后一步，它能夠接收視頻AI輸出的最終時(shí)間線，對(duì)原始素材進(jìn)行剪切合并。云剪輯可根據(jù)需要來(lái)開啟并行剪輯模式，這種模式下，原始素材片段越多，剪輯倍速越高。另外，云剪輯還可接收高級(jí)剪輯參數(shù)，如在不同剪輯片段之間增加轉(zhuǎn)場(chǎng)，在球星首次特寫幀增加貼紙，增加背景音樂(lè)、片頭片尾等，豐富集錦的娛樂(lè)效果。

對(duì)于直播體育賽事，集錦視頻產(chǎn)出的高效性非常重要。這也是視頻AI真正可以替代人力發(fā)揮其價(jià)值的依據(jù)之一。而這對(duì)于視頻云的流傳輸、音視頻編解碼、直轉(zhuǎn)點(diǎn)以及云剪輯等技術(shù)能力都是極大的挑戰(zhàn)。

在保證實(shí)時(shí)性上，阿里視頻云利用直轉(zhuǎn)點(diǎn)技術(shù)，先碎片化進(jìn)行實(shí)時(shí)多模態(tài)分析，再結(jié)合事件回溯與預(yù)估，對(duì)精彩集錦進(jìn)行累積和快速調(diào)整，最終合理聚合產(chǎn)出優(yōu)質(zhì)集錦。

依靠強(qiáng)大的流媒體處理能力，可以保證每場(chǎng)比賽的精彩集錦以及所有球星集錦，在3-5分鐘內(nèi)生成，再由平臺(tái)快速發(fā)布出去。技術(shù)經(jīng)歷過(guò)無(wú)數(shù)次大“舞臺(tái)”的洗練，本次世界杯中，再一次完美地解決了這一問(wèn)題。

激情賽事已經(jīng)過(guò)半，阿里云視頻AI技術(shù)在本次世界杯中也成功落地，而這并不是結(jié)局，這是將視頻AI應(yīng)用于體育行業(yè)以及更多其他行業(yè)的開端。經(jīng)歷了對(duì)世界杯如此大型賽事的穩(wěn)定保障，阿里視頻云將更成熟、穩(wěn)定地去應(yīng)對(duì)賽事場(chǎng)景下的視頻分析與處理。AI技術(shù)也將滲透到各個(gè)行業(yè)中，幫助用戶有效提高視頻的生產(chǎn)效率，讓內(nèi)容更快、更準(zhǔn)、更優(yōu)。

除了視頻AI之外，阿里云在本次世界杯中用到的窄帶高清、50幀極清、CDN智能調(diào)度等技術(shù)，也為2018年的世界杯的廣大體育迷提供了更好的觀看體驗(yàn)。阿里云目前已經(jīng)是國(guó)內(nèi)視頻服務(wù)體量最大的云計(jì)算公司，客戶涵蓋社交、教育、電商、游戲等，未來(lái)也將不斷致力釋放技術(shù)紅利，幫助越來(lái)越多的客戶實(shí)現(xiàn)業(yè)務(wù)飛速增長(zhǎng)，站領(lǐng)行業(yè)“C位”。

本文作者：樰籬

閱讀原文

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。