摘要：論文可遷移性對抗樣本空間摘要對抗樣本是在正常的輸入樣本中故意添加細微的干擾，旨在測試時誤導機器學習模型。這種現象使得研究人員能夠利用對抗樣本攻擊部署的機器學習系統。

現在，卷積神經網絡（CNN）識別圖像的能力已經到了“出神入化”的地步，你可能知道在 ImageNet 競賽中，神經網絡對圖像識別的準確率已經超過了人。但同時，另一種奇怪的情況也在發生。拿一張計算機已經識別得比較準確的圖像，稍作“調整”，系統就會給出完全不同的結果，比如：

在左邊的圖像中，計算機認為圖像是“熊貓”（57.7%），到了右邊，就幾乎肯定圖像中顯示的是“長臂猿”（99.3%）了。這個問題在 Goodfellow 等人《Explaining and Harnessing Adversarial Examples》一文中提出。

“神經網絡很容易被騙過/攻擊”這個話題，近來得到了越來越多研究者的討論。

Szegedy 等人在《Intriguing properties of neural networks》一文中也提出了類似的例子。拿一張已經被正確分類的圖像（左欄），加以扭曲（中間），在人眼看來與原圖并無差異，但計算機會識別成完全不同的結果。

實際上，這樣的情況并不僅限于圖像識別領域，在語音識別、Softmax 分類器也存在。而語音、圖像的識別的準確性對機器理解并執行用戶指令的有效性至關重要。因此，這一環節也最容易被攻擊者，通過對數據源的細微修改，就能達到讓用戶感知不到，但機器卻能接收數據后做出錯誤的操作的結果，導致計算設備被入侵等一系列連鎖反應。

這樣的攻擊被稱為“對抗性攻擊”。和其他攻擊不同，對抗性攻擊主要發生在構造對抗性數據的時候，之后該對抗性數據就如正常數據一樣，輸入機器學習模型并得到欺騙的識別結果。

通過向機器學習模型的輸入樣本引入微擾，可能會產生誤導模型錯誤分類的對抗樣本。對抗樣本能夠被用于制作成人類可識別，但計算機視覺模型會錯誤分類的圖像，使惡意軟件被分類為良性軟件，以及強迫強化學習代理在游戲環境中的不當行為。

作為對抗生成網絡（GAN）的發明人，Ian Goodfellow 自己也在研究“對抗性圖像”在現實物理世界欺騙機器學習的效果，并由此對對抗性攻擊進行防御。

昨天，號稱要回到谷歌組建 GAN 團隊的 Ian Goodfellow 和在他的研究合作者在 arXiv 上傳了一篇論文《可遷移性對抗樣本空間》（The Space of Transferable Adversarial Examples），朝著防御對抗性攻擊邁出了第一步。

他們在研究中發現，對抗樣本空間中存在一個大維度的連續子空間，該子空間是對抗空間的很重要部分，被不同模型所共享，因此能夠實現遷移性。而這也是不同模型遭受對抗性攻擊一個很重要的原因。

作者在論文中寫道，他們的貢獻主要有以下幾點：

我們引入了一些找到多個獨立攻擊方向的方法。這些方向張成了一個連續的、可遷移的對抗子空間，其維度比先前的結果大了至少一個數量級。

我們對模型的決策邊界進行了該領域內的首次量化研究，表明了來自不同假設類的模型學習到的決策邊界非常接近，而與對抗性方向與良性方向無關。

在正式的研究中，我們找到了遷移性的充分條件，也找到了對抗樣本遷移性不滿足的實例。

論文：可遷移性對抗樣本空間

摘要

對抗樣本是在正常的輸入樣本中故意添加細微的干擾，旨在測試時誤導機器學習模型。眾所周知，對抗樣本具有遷移性：同樣的對抗樣本，會同時被不同的分類器錯誤分類。這種現象使得研究人員能夠利用對抗樣本攻擊部署的機器學習系統。

在這項工作中，我們提出了一種新穎的方法來估計對抗樣本空間的維度。我們發現對抗樣本空間中存在一個大維度的連續子空間，該子空間是對抗空間的很重要部分，被不同模型所共享，因此能夠實現遷移性。可遷移的對抗子空間的維度意味著由不同模型學習到的學習邊界在輸入域都是異常接近的，這些邊界都遠離對抗方向上的數據點。對不同模型的決策邊界的相似性進行了首次量化分析，結果表明，無論是對抗的還是良性的，這些邊界實際上在任何方向上都是接近的。

我們對可遷移性的限制進行了正式研究，我們展示了：（1）數據分布的充分條件意味著簡單模型類之間的遷移性；（2）遷移性不滿足的任務示例。這表明，存在使模型具有魯棒性的防御機制，能夠抵御因對抗樣本的遷移性而受到的攻擊。

背景：對抗樣本可遷移性是關鍵，首次估計了對抗樣本子空間維度

論文中，研究人員首先對對抗性攻擊及其影響做了闡釋。

對抗樣本經常在訓練相同任務的不同模型之間遷移：盡管正在生成躲避特定架構的對抗樣本，但是它們的類別被不同的模型誤分?？蛇w移性是部署安全的機器學習系統的巨大障礙：對手可以使用本地代理模型制作能夠誤導目標模型的對抗樣本以發起黑盒子的攻擊。這些代理模型甚至在缺乏訓練數據的情況下也能被訓練，能實現與目標模型的交互作用最小。更好地理解為什么對抗樣本具有遷移性，對于建立能成功防御黑盒攻擊的系統是必要的。

對抗子空間：經驗證據表明，對抗性樣本發生在一些大的、連續的空間，而不是隨機散布在小空間內。這些子空間的維度似乎與遷移性問題有關：維度越高，兩個模型的子空間的可能相交越多。順便說一句，這些子空間相交的越多，就越難以防御黑盒子的攻擊。

該工作首次直接估計了這些子空間的維數。我們引入了一些發現多個正交對抗方向的方法，并展示了這些正交對抗方向張成了一個被錯誤分類的點的多維的連續空間。為了測量這些子空間的遷移性，我們在一些數據集上進行了實驗，在這些數據集上不同的模型都達到了很高的準確率：數字分類和惡意軟件檢測。

我們在MNIST數據集上訓練了一個全連接網絡，平均來看，我們發現對抗樣本在 25 維空間中遷移。

圖一：梯度對齊對抗子空間（GAAS）。梯度對齊攻擊（紅色箭頭）穿過決策邊界。黑色箭頭是與梯度對應的正交矢量，它們張成一個潛在的對抗輸入（橙色）子空間。

高維度對抗子空間的遷移性意味著：用不同模型（如SVM和神經網絡）訓練得到的決策邊界在輸入空間是很接近的，這些邊界都遠離對抗方向上的數據點。經驗表明，來自不同假設類的模型學習到的決策邊界在任意方向上都是接近的，不管它們是對抗的還是良性的。

圖三：這三個方向（Legitimate, Adversarial 和 Random）被用來測量兩個模型決策邊界之間的距離?；疑p端箭頭表示兩個模型在每個方向上的邊界間距離。

更準確地說，我們發現，當進入遠離數據點的任何方向，在到達決策邊界之前行進的平均距離大于該方向上兩個模型的決策邊界的分開距離。因此，對抗微擾有足夠的能力將數據點發送到遠離模型的決策邊界，并能夠在不同的架構的其它模型中遷移。?

可遷移的限制

鑒于遷移性的經驗普遍性，我們很自然地會問遷移性是否能通過數據集的簡單屬性、模型類或訓練算法來解釋。我們考慮以下幾點非正式的假設：

如果兩個模型對一些模型都能實現低誤差，同時對對抗樣本表現出低的魯棒性，這些對抗樣本能在模型間遷移。

這個假設是悲觀的：這意味著如果一個模型對它自己的對抗樣本沒有足夠的抵抗力，那么它就不能合理地抵御來自其它模型的對抗樣本（例如，前面提及到的黑盒子攻擊）。然而，雖然在某些情況下，該假設與實際相符，但是我們的研究表明，在一般情況下，假設與實際并不相符。

我們為一組簡單的模型類集合找到了針對上述假設形式的數據分布的充分條件。 即是，我們證明了模型不可知擾動的遷移性。這些對抗樣本能夠有效地攻擊線性模型。然而，理論和經驗都表明，對抗樣本能夠在更高階模型（如二次模型）中遷移。

然而，我們通過構建了一個MNIST數據集的變體來展示了一個與上述假設不符的反例，因為對抗樣本不能在線性和二次模型之間遷移。實驗表明，遷移性不是非健壯的機器學習模型的固有屬性。這表明有可能防御黑匣子的攻擊——至少對于可能的攻擊模型類的一個子集是滿足的——盡管目標模型并不是如此健壯足以抵御它自己的對抗樣本。

論文地址：https://arxiv.org/pdf/1704.03453v1.pdf

參考資料

http://karpathy.github.io/2015/03/30/breaking-convnets/

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754