摘要：阿里巴巴集團安全部今年在直播管控中的特色在于大量采用人工智能和深度學習等技術，配合優化后的高性能多媒體計算集群，大幅度降低人工審核成本的同時，提升了對內容風險的防控能力。

直播作為近來新興的互動形態和今年阿里巴巴雙十一的一大亮點，其內容風險監控是一個全新的課題，技術的挑戰非常大，管控難點主要包括業界缺乏成熟方案和標準、主播行為、直播內容不可控、峰值期間數千路高并發處理、對算法的高實時響應要求等等。

阿里巴巴集團安全部今年在直播管控中的特色在于大量采用人工智能和深度學習等技術，配合優化后的高性能多媒體計算集群，大幅度降低人工審核成本的同時，提升了對內容風險的防控能力。系統在峰值期間成功處理5400路直播視頻，以及共計25萬場粉絲連連看游戲，對違規內容進行警告或阻斷。主要技術體現在直播內容實時過濾以及多媒體處理集群的優化上。
?

在直播過程中一些主播為了達到吸引眼球，或者推銷商品的目的而做出違規的事情。另外，本次雙十一引入了買家之間的互動游戲：連連看，玩法是系統隨機抽取兩個游戲參與者，調起手機前置攝像頭拍攝視頻傳遞到對方手機展示。游戲雙方比賽干瞪眼、不許笑等動作。游戲的參與者并不會進行實人認證，需要對內容做實時的管控。雙十一期間預估高峰期會有5400路直播同時在線，而一個審核人員的極限承受能力大約是60路，需要大約90個審核人員同時在線審核，很浪費人力，并會因為人工因精力不集中而漏過風險內容，這就得靠人工智能技術來全面防控風險。

那么，直播中有哪些風險呢？

我們分析了淘寶直播開播以來的所有處罰記錄，以及在互聯網抓取的外部直播數據，發現惡性違規集中在色情低俗，以及敏感人物肖像兩個方面。因此，我們在對畫面內容做風險判斷時調用了兩個算法服務：視頻鑒黃和敏感人臉檢測。由此，實現99%的自動審核，只有約1%的視頻會流入到人工審核。
?

智能鑒黃，就是輸入一張圖片或視頻，算法模型返回一個0-100之間的分值。這個分值非線性地標示圖片含色情內容的概率：得分99及以上的圖片幾乎可以肯定是色情圖，可以機器自動處理；得分50-99的需要人工審核；得分50以下的認為是正常圖，因為50分及以上可以覆蓋>99%的色情圖片。智能鑒黃還有兩個特性：1）將60%以上的色情圖片集中在99及以上的分數段，也即機器可以自動處理掉大多數色情風險；2）需要人工審核的圖片占比非常低，在淘寶直播場景大約為0.1%。

智能鑒黃的原理是什么呢？

智能鑒黃是一個色情圖像智能識別引擎，為不同的場景和用戶提供了個性化的多尺度識別能力，識別準確率高達99.6%， 極大地降低了圖片內容管控的成本。我們基于深度學習算法構建了多層視覺感知機，采用改進的Inception神經網絡層以及多模型級聯，實現了快速地識別多尺度色情內容。智能鑒黃的生成具體步驟如下圖所示。

智能鑒黃模型生成步驟

1.1.1 明確分類標準

上面這張圖的步驟里，制定標準與標注數據的難度比訓練模型更大一些。因為現實世界是復雜的，不同的人對同一張圖片的認識往往不一樣。為了制定標準，運營與算法同學一起討論修訂了數次才有了初版，并且在后續打標過程中根據遇到的問題進行了幾次增補，標準才穩定下來。

1.1.2 收集樣本

樣本的獲取環節在此略過。數據的規模：考察了近2000網站，以及阿里生態體系積累的色情違規case，共計6000+萬疑似色情圖片，已經完成了1300+萬的高質量標注。這一塊是智能鑒黃最重要的基石。

1.1.3 樣本打標

互聯網上的內容重復度高，這6000+萬圖片中必然有相當比例的相同／相似圖片，為了節省標注資源，我們使用了圖像搜索技術進行去重，大約剩余2300萬圖片。圖搜是我們自己開發的基于局部特征視覺詞的針對圖像內容的搜索技術，可以檢出經過尺寸放縮、剪切、旋轉、部分遮擋、顏色變換、模糊等諸多處理后的目標圖像，效果如下圖所示。

圖像搜索引擎找相似圖的例子

阿里巴巴開發了高效率的打標平臺（mbox），提供了練習與考試功能作為標前的質量控制；提供校驗題的方式作為標中的質量控制，能夠自動化計算打標者的準確率，并能夠按照設置的條件終止低質量標注者的參與資格。我們觀察到，即便是熟練而負責的標注者，其錯誤率仍然在1%左右波動，因此我們使用訓練好的模型對打標樣本進行判斷，如果機器結果與人肉結果不一致則進行復標。這個過程反復進行，確保標注樣本的高質量。

樣本標注流程示意圖

1.1.4 模型訓練

標注的結果在次日凌晨自動回流到ODPS表中，可隨時讀取數據進行訓練。訓練使用了開源的基于Caffe框架的代碼，并根據實際情況做了一些修改。第一次訓練時使用了大約100萬樣本，GPU機器單機單卡的情況下訓練時間長達近一個月。后來更換了網絡結構，并使用了Pluto團隊提供的訓練平臺，實現了多機多卡訓練，可以將千萬級別樣本的訓練時間控制在一周以下。

鑒黃模型生成系統示意圖

針對直播場景的管控尺度和時效性要求，我們設計了多階段分類模型，在召回率略有增加的同時，將響應時間降低了約30%。

多階段的分類模型

連連看游戲上線后，智能鑒黃迅速命中了數個暴露狂，圖片不宜展示。還抓取到商家的一些違規行為（醫療廣告露點、展示成人用品、展示大尺度圖片、著裝不正等），圖片略去。從違規case看，直播中的色情風險表現形式多樣，可能是翻拍屏幕、畫報、真人、成人用品、模型等等，姿態與動作也多種多樣。

在整個雙十一期間，因為色情低俗、著裝不整被處罰的直播一共82場，其中算法命中68場，抓取到了100%的色情低俗風險，以及80%以上著裝不正的違規（淘寶直播對著裝尺度很嚴格，某些大街上可見的著裝也屬于違規），而且僅需要審核約0.1%的截圖。在風險覆蓋和節省審核人力兩個方面都取得了成功。

1.2 敏感人臉檢測

直播中的敏感人物管控屬于人臉識別中（1：N）的問題，涉及人物載體形式多樣，如動漫、印刷品、PS處理、翻拍屏幕等。人像的表情、姿態、光照、距離、遮擋、模糊等均不可控。

檢測系統包括敏感人物入庫及用戶圖片查詢兩大模塊。其中敏感人物入庫包括特征提取以及索引的建立。用戶圖片進行查詢的時候，系統會返回與被查詢人臉最相似的人物圖片、名字及相似度，然后根據業務規則判斷是否命中敏感人物。數據庫由國內外各領域近2W知名人物人像圖片組成，并按敏感程度劃分不同等級，提供多層次的管控人名列表。

敏感人物識別主要包括兩部分技術，一是人臉的特征提取，二是檢索系統的構建。我們選用深度學習算法構建模型，采取五層卷積+兩層全鏈接的基礎網絡結構，并融合年齡+性別等屬性，融合回歸及分類多種損失函數進行訓練。這種multi-data， multi-task的訓練方式充分挖掘訓練數據的多維度信息，從而構建泛化性能更好的模型。

敏感人物識別技術架構圖

簡要描述一下索引算法的流程：

選一組哈希函數，將數據投影到離散的值上。所有的數據按哈希值分桶保存；

檢索時，被查詢數據使用相同的哈希函數計算桶編號，取出桶里所有的數據，計算距離，排序，輸出。

搜索性能：在百萬數據集上，單次查詢RT小于10ms，top10近鄰正確率90%（以遍歷檢索為基準）。

算法系統主要用來管控政治敏感人物肖像，以及明星形象冒用，整個雙十一期間算法系統命中產生的審核比為約0.01%。算法累計命中1613場直播，其中38場是正確命中。38場中，有17場背景包含管控人物形象，8場主播使用管控人物形象作為面具，7場與人民幣相關，2場利用管控人物做廣告，3場丑化管控人物，1場新聞類直播。 38場直播以業務管控標準判斷有14場違規。

在整個雙11期間，一共有15場涉及涉及99名核心管控人物的違規直播，只有1場未能被算法命中，算法整體召回率93.3%。。由于眾所周知的原因，政治敏感人物肖像的違規case不能展示。下面是一些用戶使用明星照片參與連連看游戲的case：

用戶冒用明星形象參與連連看游戲的示意圖

可能有人會覺得算法命中的準確率不高，這有兩方面的原因：

整體審核比很低，為了保障召回，所以將閾值設置得比較低；

由于管控人物中包含一些女明星，容易出現主播與明星撞臉的尷尬，比如下面兩位女主播很容易被識別為楊冪。

和明星撞臉的女主播

為了平衡管控的時效性和計算資源之間的矛盾沖突，在實際操作中，我們對直播流每5秒截幀一次，圖片保存在OSS上，同時推送消息給安全部接口。接口層將消息傳遞到規則層，在這里配置規則，決定截圖需要調用的算法，以及對算法返回的結果進行判斷，向審核系統發送消息。

直播管控整體系統框圖

我們面臨的問題是5400路并發視頻需要在5秒之內給出反饋，延時過長會錯造成風險外露。圖片算法服務本身相消耗計算資源多，是系統中的瓶頸，為此我們采取了以下應對手段。

同步接入算法服務是最簡單的也最容易維護的，但會面臨三個主要問題，1）同步接入給接入方帶來了更多資源消耗；2）一旦算法服務不正常，會影響主流程。3）圖片量已遠遠超過審核人力的極限，運營只能覆蓋一些潛在重點風險視頻，非重點風險視頻流不需要流入審核。因此，雖然異步接入也會帶來維護成本，但最終決定還是采用異步接入。

收到異步消息后，節點會調用算法服務，如果采用同步調用，會導致很多線程IO阻塞，需要大量的task,從而需要很多節點；采用異步回調服務，task線程可以立即回收，能減少很多task線程，從而節省節點。本項目中節省了約70%的節點。

在直播防控中單張截圖會調用2個算法，之前的模式是每張圖發2個消息。由于內部是可以并行且非阻塞過多個算法的，單張圖一個算法和多個算法成本一樣，所以我們將單張圖調用多個算法的多條消息合并成一條。吞吐翻倍，按qps評估的機器成本也減半。

雖然直播的峰值是5400路并發，考慮到截幀是每5秒進行一次，所以不必要按峰值準備容量。我們按照4s來平滑峰值，機器數也可以減少75%。除了常規的限流措施之外，考慮到審核頁面每5秒刷新，如果超過4s沒處理的消息選擇丟棄，可以避免突發的消息堆積造成雪崩。所有的出錯消息都會回寫入SLS并同步到ODPS,以便之后的排查、分析和恢復。同時，我們將應用部署在兩個機房來實現容災。

算法服務系統架構圖

上線之前按照電商圖片場景的經驗是95%的算法請求在3s之內返回，上線后實測98%的請求在600ms內返回，平均耗時200ms，并且資源消耗更低。雖然兩個場景不完全具有可比性，但至少說明我們的算法服務完全勝任直播防控的實時場景。

廣告來了，如何在降低成本的情況下，提高防控的時效和準確性？如何使用經受雙11直播內容風險防控的技術？

基于如上技術和算法，經過大量實踐檢驗的內容風險防控產品-阿里綠網(由阿里聚安全提供支持)，可使用戶通過低成本的一次接入，提供音視頻，圖片，文字等形式內容檢測，覆蓋暴恐，鑒黃，涉政，廣告等風險。也可以與OSS、ECS等云產品無縫對接。阿里綠網更是在節省90%以上的人力成本的同時，支持秒級返回結果，達到99%以上的準確率。更多產品信息或試用可參考：https://www.aliyun.com/produc...

作者：威視@阿里安全部，更多阿里的安全技術文章，請訪問阿里聚安全博客