摘要：人工智能技術(shù)的初步應(yīng)用隨著網(wǎng)絡(luò)強國戰(zhàn)略思想加強網(wǎng)絡(luò)內(nèi)容建設(shè)等指導(dǎo)思想的推出和強化，內(nèi)容安全已經(jīng)成為互聯(lián)網(wǎng)企業(yè)生存和發(fā)展的生命線。

歡迎訪問網(wǎng)易云社區(qū)，了解更多網(wǎng)易技術(shù)產(chǎn)品運營經(jīng)驗。

10月16日，2018年 AIIA人工智能開發(fā)者大會在蘇州舉辦。會議邀請了國內(nèi)外人工智能產(chǎn)業(yè)知名人物、國家政府主管部門、行業(yè)內(nèi)頂尖企業(yè)、知名學(xué)者代表、開源社區(qū)優(yōu)秀貢獻團隊及個人，共同交流了技術(shù)現(xiàn)狀趨勢、生態(tài)建設(shè)經(jīng)驗以及開源社區(qū)運營。

網(wǎng)易云易盾CTO朱浩齊

在《AI安全分論壇》，網(wǎng)易云易盾CTO朱浩齊受邀出席，并分享了《人工智能在內(nèi)容安全的應(yīng)用實踐》主題內(nèi)容。

隨著政策的收緊，“內(nèi)容安全”成為各大平臺、網(wǎng)站的“心病”。2017年以來，因為內(nèi)容安全問題而被勒令下架、停播、整改的事件相信各位還歷歷在目。伴隨著人工智能的快速發(fā)展，以往依靠人工審核的傳統(tǒng)方式已經(jīng)無法滿足龐大體量的平臺、網(wǎng)站的需求。

那么如何依靠人工智能避開“內(nèi)容安全”的坑？以下讓我們一探究竟。

人工智能技術(shù)的初步應(yīng)用

隨著網(wǎng)絡(luò)強國戰(zhàn)略思想、加強網(wǎng)絡(luò)內(nèi)容建設(shè)等指導(dǎo)思想的推出和強化，內(nèi)容安全已經(jīng)成為互聯(lián)網(wǎng)企業(yè)生存和發(fā)展的生命線。朱浩齊表示，國家多次強調(diào)互聯(lián)網(wǎng)不是法外之地，利用網(wǎng)絡(luò)散布色情材料、進行人身攻擊、兜售非法物品等言行要堅決管控，因此絕不能任其大行其道。

然而，傳統(tǒng)的內(nèi)容技術(shù)已難以滿足企業(yè)日益增長的安全需求，就拿圖像來說，傳統(tǒng)的色情識別技術(shù)為例，就經(jīng)常會存在誤判、錯判、漏判等情況。

而基于深度學(xué)習(xí)模型的圖像分類，則可以實現(xiàn)更高的準確率，以及圖像、內(nèi)容文本實時處理。實時圖像處理的背后是這樣的一個技術(shù)架構(gòu)在支撐：下載集群和并行計算，然后再經(jīng)過色情模型、暴恐模型、涉政模型、廣告模型等判斷處理，然后給出結(jié)果處理。這一套流程下來，平均時長僅在500ms以內(nèi)。

在文本內(nèi)容識別上，之前的傳統(tǒng)技術(shù)存在著各種各樣的問題：

變化多：垃圾變種形式多樣，內(nèi)容重復(fù)率低；規(guī)則系統(tǒng)需要及時維護龐大的規(guī)則庫才能較好的攔截，人工審核量巨大。

內(nèi)容短：1~2句話居多，詞匯量少；常規(guī)的文本分類模型不適用。

多語義：部分敏感詞有多重語義；容易誤判正常語境下的內(nèi)容

詞序敏感：同樣的詞在不同詞序下會有不同的語義；現(xiàn)有方法無法較好地處理這種問題。

而人工智能技術(shù)的應(yīng)用則可以進行準確實時的文本處理，包括垃圾內(nèi)容變種智能識別與修正、多意義上下文短文本垃圾檢測、Deep Learning垃圾檢測等。

具體是：

垃圾內(nèi)容變種智能識別與修正，能夠結(jié)合上下文，智能識別同音、拼音、形近、拆字、符號等變形內(nèi)容。

通過事先收錄的拼音庫、形近字庫、拆字庫、符號庫等字典，找出有變種嫌疑的內(nèi)容，再結(jié)合上下文語境信息，使用Machine Learning技術(shù)判斷是否變種并進行修正。

漢字有幾萬個，人工收集形近字耗時耗力，而且不全面。通過算法計算漢字的相似度，快速找出所有的形近字，再進行人工確認，保證精準度。

同樣一個“威”信，一個是“威”信的變種，一個不是，必須結(jié)合上下文語境進行判斷。

多意義上下文短文本垃圾檢測，使用語義向量的方法識別垃圾語境，再結(jié)合垃圾關(guān)鍵詞識別短文本垃圾，有效解決詞匯量少、多義詞等技術(shù)難點。

在這部分，基于深度學(xué)習(xí)模型的圖像分類，易盾會使用自主研發(fā)的rankDoc算法自動挖掘出不同垃圾類別的數(shù)據(jù)集。另外，還會在不同垃圾類別的數(shù)據(jù)集上分別學(xué)習(xí)詞向量模型，利用這些模型，結(jié)合機器學(xué)習(xí)方法在不同垃圾類別數(shù)據(jù)集上挖掘出每個詞對應(yīng)的上下文信息。

此外在檢測時，對包含敏感詞的文本會根據(jù)上下文信息和人工定制的規(guī)則，判斷敏感詞是否為垃圾語義，并進一步給出全文的檢測結(jié)果。

檢測樣例如下所示：

Deep Learning垃圾檢測，在語義向量、詞性識別等NLP技術(shù)的基礎(chǔ)上，利用RNN解決詞序敏感問題。

易盾對人工智能技術(shù)的再優(yōu)化和探索

但是僅依靠現(xiàn)有的人工智能技術(shù)是難以保證百分之百的內(nèi)容安全的，干擾、特征小、尺度等因素下，昵稱、頭像、彈幕、打招呼、圖床、足跡等等無孔不入的垃圾信息不斷侵蝕著內(nèi)容安全系統(tǒng)。因此，只有不斷進化才能在技術(shù)層面加強防御實力。

為此，網(wǎng)易云易盾在人工智能技術(shù)的定制、算法、工程等方面進行了繼續(xù)優(yōu)化。

首先是提供了更為精細粒度的分類模型，篩選內(nèi)容具體到6大類、20+場景、80+小類，在違規(guī)審查上更為嚴苛。此外，建立了人-物交互檢測網(wǎng)絡(luò)，關(guān)注人體有關(guān)部位及其附近物體，提取關(guān)鍵線索信息，能夠較好地識別出“人-動作-物體”三元組信息。

如上所示，人-物交互檢測模型在場景理解上的表現(xiàn)，包括視覺注意力機制（attention）、視覺關(guān)系檢測（visual relationship detection）以及“人-物”交互檢測（human-object interactions）。

通過持續(xù)的對抗訓(xùn)練，網(wǎng)易云易盾基于深度學(xué)習(xí)模型的圖像分類技術(shù)不僅可以解決微小擾動對于神經(jīng)網(wǎng)絡(luò)的欺騙，而且可以對模型上線流程、對抗樣本進行準確的穩(wěn)定性評估。

圖片來源：Beyond Adversarial Learning-Data Scaling Attacks in Deep Learning Applications

此外，音頻處理也是其中的重要影響因素。圖像分類技術(shù)能夠基于不同的語音場景分類，對語音事件進行檢測和識別，并且返回文本進行文本過濾。

基于以上的功能，網(wǎng)易云易盾還做了定制化的模型，根據(jù)業(yè)務(wù)需要，將圖像處理分為預(yù)處理、模型、策略三階段。預(yù)處理階段輸入圖像特征分析或質(zhì)量分析后，會根據(jù)需要進入基礎(chǔ)服務(wù)階段或定制服務(wù)階段。模型階段下，基礎(chǔ)分類網(wǎng)絡(luò)下數(shù)據(jù)將根據(jù)圖像全局特征網(wǎng)略、一般網(wǎng)絡(luò)、局部特征淺層網(wǎng)略進行模型整合和目標檢測，定制分類網(wǎng)絡(luò)則直接進入目標檢測。

此外，網(wǎng)易云易盾也在語種識別、處理效率、安全標準提升、審核團隊運營等方面不斷實現(xiàn)能力提升，包括增加或即將增加藏語、維語、泰語、印度語等語種識別；提升直播、短視頻的處理效率；密切配合監(jiān)管部門，不斷完善內(nèi)容安全標準；并且不斷優(yōu)化審核系統(tǒng)、培養(yǎng)審核團隊。

未來

未來，網(wǎng)易云易盾內(nèi)容安全服務(wù)會遵守跨媒體智能、用戶行為分析、高度定制化模型的技術(shù)路線，致力于實現(xiàn)更為精準高效的服務(wù)體系，滿足不同企業(yè)的業(yè)務(wù)所需：

跨媒體智能：理解文本、圖片、視頻、音頻的內(nèi)容后再進行安全分析；

用戶行為分析：收集更全面的用戶行為數(shù)據(jù)，配合用戶內(nèi)容數(shù)據(jù)進行審核過濾；
高度定制化模型：緊貼監(jiān)管部門政策法規(guī)、滿足客戶實際需求。

“作為網(wǎng)易云旗下的一站式安全服務(wù)，網(wǎng)易云易盾堅持提供可靠的內(nèi)容安全服務(wù)。”分享最后，朱浩齊談到，未來他們將繼續(xù)認真打磨細節(jié)，保持足夠的耐心來持續(xù)迭代產(chǎn)品，將這種工匠精神發(fā)揚光大。此外，“業(yè)務(wù)仍然重于技術(shù)”，技術(shù)會進步，業(yè)務(wù)才是核心。

網(wǎng)易云易盾依托團隊20年的技術(shù)積累及對網(wǎng)易數(shù)十條業(yè)務(wù)線的保障經(jīng)驗，擁有海量特征庫和成熟的安全機制，并結(jié)合超強云計算及人工智能技術(shù)，形成對游戲、金融、電商、娛樂等場景化解決方案，目前已服務(wù)集團內(nèi)外上千家客戶。

點擊免費體驗網(wǎng)易云易盾內(nèi)容安全解決方案。

更多網(wǎng)易技術(shù)、產(chǎn)品、運營經(jīng)驗分享請點擊。

文章來源： 網(wǎng)易云社區(qū)