摘要：阿里安全一直以來致力于用技術解決社會問題。為了增加對抗驗證碼的識別難度，又不影響正常用戶的體驗，算法專家們又在圖像區域和生成方式上進行了組合擴展，最終生成的對抗樣驗證碼有效抵御了黑灰產的批量破解，成為阿里業務安全的一道銅墻鐵壁。

我們知道，AI 技術將在很長一段時間占據互聯網技術時代的風口。但是，有代碼的地方就有缺陷，提到技術很難不講安全，那么AI會不會碰到安全問題呢？

試想一下，未來的某個早晨，當你像往常一樣打開無人駕駛的汽車車門，報出目的地，然后坐在后座上舒舒服服地瀏覽推送給你的各種新聞，汽車突然失控，在本該停止的紅燈前飛馳而過撞向了正在過馬路的行人，那將是怎樣一場災難。

人工智能技術給生活帶來便利的同時，其自身的安全問題（AI安全）也不容忽視，AI安全問題可以歸納為內外2方面原因：

自身缺陷導致的模型出錯：例如，模型結構本身存在缺陷、或者訓練數據和真實場景數據之間的偏差，都可能導致模型預測錯誤。

外部攻擊導致的模型風險：例如，來自外部的對抗樣本攻擊可誘使算法識別出現誤判漏判，輸出錯誤結果。

本文，我們會針對第2點的對抗樣本技術結合其在阿里巴巴安全領域中的實際應用給大家做展開介紹。

對抗樣本由 ChristianSzegedy[1]等人提出，他們發現通過深度神經網絡訓練得到的模型，在輸入與輸出之間的映射往往不是線性的。這樣就存在一個問題: 在輸入數據中通過故意添加肉眼不易察覺的細微擾動，可以生成對抗樣本，導致AI模型以高置信度給出一個錯誤的輸出。如下圖所示：

目前的對抗樣本根據是否需要指定攻擊的類目可以分為無目標攻擊(non-targeted attack)和目標攻擊(targeted attack)。前者不指定具體類目，只要讓AI識別錯誤即可。后者不僅需要使AI識別錯誤，還需要使AI識別到指定的類別。

生成對抗樣本，最直接的方法是在給定擾動量的范圍內修改樣本，使得修改后的樣本在AI模型上的損失函數最大化（非定向攻擊）或最小化（定向攻擊），這樣就可以把生成對抗樣本的問題歸納為空間搜索的優化問題。基于不同的優化算法，學術界提出了很多對抗樣本生成算法，有興趣的朋友可以自行檢索，此處不具體展開。

對抗樣本技術提出后引發了學術界和工業界對于深度學習模型在安全方面的廣泛關注，成為目前深度學習領域最火熱的研究課題之一，新的對抗攻擊方法不斷涌現，應用場景從圖像分類擴展到目標檢測等。

阿里安全一直以來致力于用技術解決社會問題。為了保障整個生態圈中7億多消費者和千萬商家的信息安全，AI技術很早就被應用到了阿里安全體系建設中。安全領域一個重要的特點就是存在很強的對抗性，日常防控中，黑灰產會嘗試使用各種對抗樣本攻擊我們部署的AI防控大壩。對此，一方面，阿里安全圖靈實驗室的算法專家們提出了若干種提升模型安全性能的方法，強化自身堡壘；另一方面，算法專家們也會以戰養戰，開展針對對抗樣本的攻防研究，利用對抗技術去防御攻擊者的模型。下面我們結合實際業務，介紹兩種對抗樣本的應用場景：

1.人臉識別

人臉識別技術已經在生活的各個場景普遍應用，手機解鎖要靠臉、移動支付要靠臉，機場安檢要靠臉……一臉走天下的時代逐漸到來。

然而，Bose 和 Aarabi[2]發現通過在原始圖像中加入人眼不可區分的微量干擾對人臉識別算法進行攻擊后，能夠使人臉無法被檢測算法定位到。如下圖所示，左列為原始圖像，檢測算法可以準確定位，右列為對抗樣本，已經成功繞開了人臉檢測算法，而在我們肉眼看來兩幅圖畫基本沒有差別。

更進一步，采用對抗樣本攻擊人臉識別系統，還可以使算法把人臉識別成指定的錯誤類別[3]。下圖第一列為目標類別，第2和第4列為原始樣本，對其加入干擾生成的對抗樣本在第3和第5列，它們均被算法錯誤識別為第一列目標類別。

2.對抗驗證碼

如同網絡通信的基礎安全設施——防火墻，互聯網業務安全也有其基礎安全設施——圖片驗證碼和短信驗證碼。互聯網業務廣泛使用圖形驗證碼用于區分人類和機器的操作行為，使用短信驗證碼過濾黑灰產批量賬號及提供二次校驗功能。現在隨著深度學習的門檻越來越低，黑灰產會利用深度學習技術構建模型自動識別驗證碼，突破算法模型設置的人機識別防線。下圖的文本驗證碼基本都可以被AI模型輕松識別。

針對文本驗證碼面臨的挑戰，阿里安全圖靈實驗室的算法專家們將原始驗證碼替換成增加擾動后的對抗驗證碼。為了增加對抗驗證碼的識別難度，又不影響正常用戶的體驗，算法專家們又在圖像區域和生成方式上進行了組合擴展，最終生成的對抗樣驗證碼有效抵御了黑灰產的批量破解，成為阿里業務安全的一道銅墻鐵壁。采用該組合擴展生成的對抗驗證碼如下圖所示：

針對點擊式的圖文驗證與行為輔助驗證碼，阿里安全圖靈實驗室的算法專家們首先在驗證碼中結合了NLP的問答技術，再將全部問答轉換成圖片，最后利用對抗技術生成對抗問答圖片。使用商業的OCR引擎進行對此類對抗問答圖片樣本進行識別測試，和原始樣本的識別率相比，對抗樣本的識別率大幅降低，且并沒有對用戶的體驗帶來很大的影響，由此可見AI結合安全能為業務帶來巨大的價值。

閱讀原文

本文來自云棲社區合作伙伴“?阿里技術”，如需轉載請聯系原作者。