對抗機器學習：機器學習系統中的攻擊和防禦

大規模高質量數據集的日益豐富，以及過去幾十年的重大技術進步，使機器學習成為廣泛任務（包括視覺、語言、金融和安全）中使用的主要工具。然而，成功伴隨著重要的新挑戰：機器學習的許多應用在本質上是對抗的。有些應用是對抗的，因為它們是安全關鍵的，例如自動駕駛。這些應用中的對手可能是旨在造成擁塞或事故的惡意方，或者甚至可能模擬異常情況來暴露預測引擎中的漏洞。其他應用是對抗的，因為它們的任務和使用的數據是對抗的。例如，安全領域的一類重要問題涉及檢測，包括對惡意軟件、垃圾郵件和入侵的檢測。利用機器學習來檢測惡意實體會激發對手通過改變他們的行為或他們開發的惡意對象的內容來規避檢測。
對抗機器學習領域的出現是為了研究在對抗環境下機器學習方法的漏洞，並開發使學習對對抗操作具有魯棒性的技術。本書提供了這個領域的技術概括。在回顧了機器學習的概念和方法，以及這些概念和方法在對抗環境下的常見用例之後，提出對機器學習攻擊的總體分類。然後，討論兩種主要類型的攻擊和相關防禦：決策時攻擊，其中對手改變學習模型在預測時看到的實例的屬性，以導致錯誤；投毒或訓練時攻擊，其中真實訓練數據集被惡意修改。之後，討論針對深度學習的攻擊的新技術，以及提高深度神經網絡魯棒性的方法。最後，討論對抗學習領域的幾個重要問題。