威脅行動者愚弄或不當利用人工智慧和機器學習系統與模組的方式很多，但你有能力抵禦他們的戰術。 文／Maria Korolov‧譯／Nica

推出人工智慧與機器學習專案的公司行號日益增加，保障它們的安全也更加重要。一份由 IBM 與 Morning Consult 釋出的報告指出，超過 7,500 間全球企業中有 35% 的公司行號已經正在使用人工智慧，相較去年成長 13%，另外還有 42% 正在探索這項技術。不過，有 20% 公司企業表示在保障資料安全上遇到困難，因而延誤了採用人工智慧的進程。

由 Gartner 進行的調查指出，安全性隱憂乃採用人工智慧的頭號阻礙，與將人工智慧解決方案整合到現有基礎架構的複雜度不相上下。 Microsoft 曾釋出一份報告，指出有 90% 企業組織對於抵禦對抗式機器學習（adversarial machine learning）仍未做好自我防護的準備。涉及二十八間大大小小的企業組織報告中，有二十五間企業手上沒有任何必要的相應工具保障他們的機器學習系統。

保障人工智慧與機器學習系統出現重大挑戰。有些問題不單只針對人工智慧。舉例來說，人工智慧與機器學習都需要資料，當資料涉及機敏性或專利資訊，就會成為攻擊者的目標。人工智慧與機器學習安全性的其他面向都很新，包括防禦對抗式機器學習。

何謂對抗式機器學習？

儘管有名稱上的隱喻，但對抗式機器學習並非機器學習的型式之一。它反而應該算是對手用以攻擊機器學習系統的一組技術。 「對抗式機器學習利用機器學習模式的弱點與特殊性。」Global Risk Institute 高級研究員暨多倫多都會大學（前瑞爾森）教授 Alexey Rubtsov 如此表示。他是近期多篇金融服務產業對抗性機器學習文獻的作者。

例如，對抗式機器學習可以致使機器學習交易演算法做出錯誤交易決策、難以偵測出欺詐操作、提供錯誤的財務建議，以及操控以情感分析為基礎的報告。 Rubtsov 指出，對抗式機器學習攻擊可歸類為四種主要類型：投毒、規避、竊取與推斷。

1. 投毒攻擊（Poisoning ）

投毒攻擊，是對手巧妙利用訓練資料集的手法，Rubtsov 表示。「例如，刻意造成偏見，這麼一來機器就學習到錯誤模式。」假設，你的房子備有人工智慧賦能的保全攝影機。攻擊者在每天早上凌晨三點經過你家，讓他的狗跑過你的草坪，啟動資安系統。最後，你就會關掉這些凌晨三點的警示，以免又被狗吵醒。事實上溜狗人就是在提供訓練資料：每天凌晨三點發生的某件事是無害事件。當系統被訓練到忽略凌晨三點發生的任何事，就是攻擊時機。

2. 規避攻擊（Evasion）

規避攻擊則是模組已完成訓練，但攻擊可對輸入稍作修改。「例如為停車標誌貼上貼紙，機器便解讀為讓路標誌而非停車標子。」Rubtsov 表示。 以前述溜狗者案例來看，竊賊穿上狗裝便能入侵你家。「規避攻擊就像是機器的視線錯覺。」

3. 竊取攻擊（Extraction）

竊取攻擊，是對手得到人工智慧系統複本。「有時，透過觀察提供給模組的輸入，再看提供的輸出，便能提取模組。」Rubtsov 表示。「你可以刺探模組，再看它的反應。若被允許刺探模組的次數夠多，就能教會你的自有模組以同樣的方式做事。」 以 2019 年 Proofpoint 電子郵件防護系統為例，它會產生帶有垃圾郵件可能性積分的電子郵件標題。利用這些積分，攻擊者可以建立模仿垃圾郵件偵測引擎，藉此產生可規避偵測的垃圾郵件。 公司行號使用商用人工智慧產品時，對手也能經由購買產品或使用服務取得模組複本。舉例來說，平台可供攻擊者使用的情況下，它們就能夠在平台上針對防毒引擎測試惡意軟體。 以溜狗案例來看，攻擊者用望遠鏡查看你的資安攝影機廠牌，再購買相同款式找出避開它的方法。

4. 推斷攻擊（Inference）

在推斷攻擊裡，對手找出訓練系統所用的訓練資料集，再利用資料裡的弱點或偏見。「若能找出訓練資料，你就能利用常識，或巧妙的技術對此加以利用。」Rubtsov 表示。 就溜狗案例的情況來說，對手可能監控屋子找出該地區常態交通模式，留意到每天凌晨三點會有溜狗者經過，推斷系統會有偏見並學到忽略正在溜狗的人。

抵禦對抗式機器學習

Rubtsov 建議公司企業確保其訓練資料集不含偏見，讓對手無法刻意破壞資料。「有些機器學習模組會使用強化學習，並且隨著新資料的出現同時學習。」他說道。「在這種情況下，你必須謹慎對待處理新資料的方式。」 使用協力廠商系統時，Rubtsov 建議公司企業詢問廠商如何保護自有系統抵禦對手攻擊。「許多廠商什麼事也沒做。」他表示。「他們沒有意識到這些議題。」 Gartner 表示，許多針對正規軟體的攻擊同樣也能套用在對付人工智慧上。

因此，有許多傳統資安手法也能用來保障人工智慧系統安全。舉例來說，保障資料免於被存取或破壞的解決方案，一樣也能用來保護訓練資料集不被篡改。 Gartner 也建議公司企業若必須保護人工智慧與機器學習系統，要採取額外手段。首先，為保障人工智慧模組的一致性，Gartner 建議採用可靠人工智慧原則，並對模組進行驗證檢查。

再者，為保障人工智慧訓練資料的一致性，Gartner 建議使用資料投毒偵測技術。以業界標準敵手戰術與技術 ATT&CK 框架聞名的 MITRE，與 Microsoft 及其他十一間企業聯手，建立一套人工智慧系統攻擊框架，稱之為對抗式機器學習威脅矩陣（Adversarial Machine Learning Threat Matrix）。

之後重新命名為對抗式人工智慧系統威脅版圖（Adversarial Threat Landscape for Artificial-Intelligence Systems，ATLAS），並納入針對機器學習系統攻擊的十二階段。 有些廠商已開始推出協助企業保障人工智慧系統安全與抵禦對抗式機器學習的工具。2021 年五月，MIcrosoft 釋出 Counterfit，這是一套對人工智慧系統進行安全性測試的開放源碼自動化工具。「這套工具是為了因應我們評估微軟人工智慧系統是否有弱點的需求而產生。」Microsoft 的 Azure Trustworthy ML 人工智慧紅隊主管 Will Pearce 在他的部落格文章裡如此表示。

「Counterfit 始於針對特定人工智慧模組所寫的攻擊 scripts 主體，之後轉型為大規模攻擊多重人工智慧系統的一般自動化工具型態。如今，我們固定使用 Counterfit，做為人工智慧紅隊演練的一部份。」 這套工具可用於自動化 MITRE 的 ATLAS 攻擊框架技術，Pearce 表示，但也能套用在人工智慧開發階段，在產品出現漏洞之前發現它。IBM 也有一套開放源碼的對抗式機器學習防禦工具，稱之為 Adversarial Robustness Toolbox，如今是以 Linux Foundation 的專案運作。該專案支援所有廣受歡迎的機器學習框架，還含括歸類在規避、投毒、竊取與推斷這四個主要類別裡的三十九個攻擊模組。

用人工智慧對抗人工智慧

未來，攻擊者很可能會利用機器學習，產生針對其他機器學習系統的攻擊，德州大學電腦科學教授 Murat Kantarcioglu 表示。以某種人工智慧的新型態為例，它會生成對抗式系統。這最常用於產生深度偽造：足以欺瞞人類，讓他們信以為真的高真實性照片或影片。

攻擊者最常在線上騙局上使用它們，但相同原理亦可用於建立無法偵測的惡意軟體上。 「生成對抗式網路裡，一邊是鑑別，另一邊為生成，它們彼此攻擊。」Kantarcioglu 說道。舉例來說，防毒人工智慧試圖理解某物是否為惡意軟體。

惡意軟體生成人工智慧能夠試圖建立第一道系統無法捕捉到的惡意軟體。兩套系統重複不斷彼此對抗，最終結果便會是幾乎任何人都偵測不到的惡意軟體。