摘要：現(xiàn)在，人臉識別的克星反人臉識別問世了。多倫多大學(xué)教授和研究生的團(tuán)隊(duì)開發(fā)了一種算法，可以動態(tài)地破壞人臉識別系統(tǒng)。因此，成功的攻擊需要同時欺騙所有對象方案。算法對抗生成器訓(xùn)練給定人臉檢測置信度的對抗成功率。

論文地址：

https://joeybose.github.io/assets/adversarial-attacks-face.pdf

在一些社交媒體平臺，每次你上傳照片或視頻時，它的人臉識別系統(tǒng)會試圖從這些照片和視頻中得到更多信息。比如，這些算法會提取關(guān)于你是誰、你的位置以及你認(rèn)識的其他人的數(shù)據(jù)，并且，這些算法在不斷改進(jìn)。

現(xiàn)在，人臉識別的克星——“反人臉識別”問世了。

多倫多大學(xué)Parham Aarabi教授和研究生Avishek Bose的團(tuán)隊(duì)開發(fā)了一種算法，可以動態(tài)地破壞人臉識別系統(tǒng)。

他們的解決方案利用了一種叫做對抗訓(xùn)練（adversarial training）的深度學(xué)習(xí)技術(shù)，這種技術(shù)讓兩種人工智能算法相互對抗。

現(xiàn)在，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)被應(yīng)用于各種各樣問題，如自動駕駛車輛、癌癥檢測等，但是我們迫切需要更好地理解這些模型容易受到攻擊的方式。在圖像識別領(lǐng)域，在圖像中添加小的、往往不可察覺的干擾就可以欺騙一個典型的分類網(wǎng)絡(luò)，使其將圖像錯誤地分類。

這種被干擾的圖像被稱為對抗樣本（ adversarial examples），它們可以被用來對網(wǎng)絡(luò)進(jìn)行對抗攻擊（adversarial attacks）。在制造對抗樣本方面已經(jīng)有幾種方法，它們在復(fù)雜性、計算成本和被攻擊模型所需的訪問級別等方面差異很大。

一般來說，對抗攻擊可以根據(jù)攻擊模型的訪問級別和對抗目標(biāo)進(jìn)行分類。白盒攻擊（white-box attacks）可以完全訪問它們正在攻擊的模型的結(jié)構(gòu)和參數(shù)；黑盒攻擊（black-box attacks）只能訪問被攻擊模型的輸出。

一種基線方法是快速梯度符號法（FGSM），它基于輸入圖像的梯度對分類器的損失進(jìn)行攻擊。FGSM是一種白盒方法，因?yàn)樗枰L問被攻擊分類器的內(nèi)部。攻擊圖像分類的深度神經(jīng)網(wǎng)絡(luò)有幾種強(qiáng)烈的對抗攻擊方法，如L-BFGS、acobian-based Saliency Map Attack(JSMA)、DeepFool和carlin - wagner等。然而，這些方法都涉及到對可能的干擾空間進(jìn)行復(fù)雜的優(yōu)化，這使得它們速度慢，計算成本高。

與攻擊分類模型相比，攻擊目標(biāo)檢測的pipeline要困難得多。較先進(jìn)的檢測器，例如Faster R-CNN，使用不同尺度和位置的對象方案，然后對它們進(jìn)行分類；其目標(biāo)的數(shù)量比分類模型大幾個數(shù)量級。

此外，如果受到攻擊的方案只是總數(shù)的一小部分，那么仍然可以通過不同的方案子集正確地檢測出受干擾的圖像。因此，成功的攻擊需要同時欺騙所有對象方案。

在這個案例中，研究人員證明了對較先進(jìn)的人臉檢測器進(jìn)行快速對抗攻擊是可能的。

研究人員開發(fā)了一種“隱私濾鏡”，可以干擾人臉識別算法。該系統(tǒng)依賴于2種AI算法：一種執(zhí)行連續(xù)的人臉檢測，另一種設(shè)計來破壞前者。

研究人員提出一種針對基于Faster R-CNN的人臉探測器的新攻擊方法。該方法通過產(chǎn)生微小的干擾（perturbation），當(dāng)將這些干擾添加到輸入的人臉圖像中時，會導(dǎo)致預(yù)訓(xùn)練過的人臉探測器失效。

為了產(chǎn)生對抗干擾，研究人員提出針對基于預(yù)訓(xùn)練Faster R-CNN人臉檢測器訓(xùn)練一個生成器。給定一個圖像，生成器將產(chǎn)生一個小的干擾，可以添加到圖像中以欺騙人臉檢測器。人臉檢測器只在未受干擾的圖像上進(jìn)行脫機(jī)訓(xùn)練，因此對生成器的存在渾然不覺。

隨著時間的推移，生成器學(xué)會了產(chǎn)生干擾，這種干擾可以有效地欺騙它所訓(xùn)練的人臉探測器。生成一個對抗樣本相當(dāng)快速而且成本低，甚至比FGSM的成本更低，因?yàn)闉檩斎雱?chuàng)建一個干擾只需要在生成器經(jīng)過充分的訓(xùn)練后進(jìn)行前向傳遞（ forward pass）。

兩個神經(jīng)網(wǎng)絡(luò)相互對抗，形成“隱私”濾鏡

研究人員設(shè)計了兩個神經(jīng)網(wǎng)絡(luò)：第一個用于識別人臉，第二個用于干擾第一個神經(jīng)網(wǎng)絡(luò)的識別人臉任務(wù)。這兩個神經(jīng)網(wǎng)絡(luò)不斷地相互對抗，并相互學(xué)習(xí)。

其結(jié)果是一個類似instagram的“隱私”濾鏡，可以應(yīng)用于照片，以保護(hù)隱私。其中的秘訣是他們的算法改變了照片中的一些特定像素，但人眼幾乎察覺不到這些變化。

“干擾性的AI算法不能‘攻擊’用于檢測人臉的神經(jīng)網(wǎng)絡(luò)正在尋找的東西。” 該項(xiàng)目的主要作者Bose說：“例如，如果檢測網(wǎng)絡(luò)正在尋找眼角，干擾算法就會調(diào)整眼角，使得眼角的像素不那么顯眼。算法在照片中造成了非常微小的干擾，但對于檢測器來說，這些干擾足以欺騙系統(tǒng)。”

算法1：對抗生成器訓(xùn)練

給定人臉檢測置信度的對抗成功率。α值是邊界框區(qū)域被分類為人臉之前的confidence threshold，右邊兩列表示600張照片中檢測到臉部的數(shù)量。

研究人員在300-W人臉數(shù)據(jù)集上測試了他們的系統(tǒng)，該數(shù)據(jù)集包含多種族，不同照明條件和背景環(huán)境的超過600張人臉照片，是一個業(yè)界的標(biāo)準(zhǔn)庫。結(jié)果表明，他們的系統(tǒng)可以將原本可檢測到的人臉比例從接近100%降低到0.5％。

所提出的對抗攻擊的pineline，其中生成器網(wǎng)絡(luò)G創(chuàng)建圖像條件干擾，以欺騙人臉檢測器。

Bose說：“這里的關(guān)鍵是訓(xùn)練兩個神經(jīng)網(wǎng)絡(luò)相互對抗——一個創(chuàng)建越來越強(qiáng)大的面部檢測系統(tǒng)，另一個創(chuàng)建更強(qiáng)大的工具來禁用面部檢測。”該團(tuán)隊(duì)的研究將于即將舉行的2018年IEEE國際多媒體信號處理研討會上發(fā)表和展示。

將300-W數(shù)據(jù)集的人臉檢測和相應(yīng)的對抗樣本進(jìn)行對比，這些樣本具有生成的干擾，沒有被Faster R-CNN人臉檢測器檢測到。被檢測到的人臉被包圍在具有相應(yīng)置信度值的邊界框中。 為了可視化，干擾被放大了10倍。

除了禁用面部識別之外，這項(xiàng)新技術(shù)還會干擾基于圖像的搜索、特征識別、情感和種族判斷以及其他可以自動提取面部屬性。

接下來，該團(tuán)隊(duì)希望通過app或網(wǎng)站公開這個隱私濾鏡。

“十年前，這些算法必須要由人類定義，但現(xiàn)在是神經(jīng)網(wǎng)絡(luò)自己學(xué)習(xí)——你不需要向它們提供任何東西，除了訓(xùn)練數(shù)據(jù)，”Aarabi說。“最終，它們可以做出一些非常了不起的事情，有巨大的潛力。”

原文：

https://www.eurekalert.org/multimedia/pub/171921.php

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754