三個問題：建模對抗性智慧以利用人工智慧的安全漏洞 | 麻省理工學院新聞

人工對抗智慧：保護我們免受網路威脅

如果你看過《湯姆與傑瑞》（Tom and Jerry）這類卡通，你會認出一個共同的主題：一個難以捉摸的目標總是能避開強大的對手。這種“貓捉老鼠”的遊戲——無論是字面上的還是其他——都涉及追逐一些在每次嘗試中都能勉強逃脫的東西。

同樣地，對於網路安全團隊來說，躲避持續不斷的駭客攻擊是一個持續的挑戰。麻省理工學院（MIT）的研究人員正在開發一種名為“人工對抗智慧”（artificial adversarial intelligence）的AI方法，模擬設備或網路的攻擊者，以在真正的攻擊發生之前測試網路防禦。其他基於AI的防禦措施幫助工程師進一步加強系統，以避免勒索軟體、資料盜竊或其他駭客攻擊。

在這裡，Una-May O’Reilly是麻省理工學院計算機科學與人工智慧實驗室（CSAIL）的主要研究員，她領導著“為所有人提供的無限學習小組”（Anyscale Learning For All Group, ALFA），她將討論人工對抗智慧如何保護我們免受網路威脅。

Q: 人工對抗智慧如何扮演網路攻擊者的角色？它又是如何描繪網路防禦者的？

A: 網路攻擊者存在於一個能力的光譜上。在最低端，有所謂的“腳本小子”（script-kiddies），這些威脅行為者會隨意使用已知的漏洞和惡意軟體，希望找到一些沒有良好網路衛生的網路或設備。在中間的是網路雇傭兵，他們資源更豐富，有組織地針對企業進行勒索或敲詐。而在高端，則有一些有時受到國家支持的團體，能發動最難以檢測的“先進持續威脅”（advanced persistent threats, APTs）。

想想這些攻擊者所擁有的專業、邪惡的智慧——這就是對抗智慧。攻擊者製作非常技術性的工具，讓他們能夠入侵代碼，他們為自己的目標選擇合適的工具，並且他們的攻擊有多個步驟。在每一步中，他們學習一些東西，將其整合到他們的情境意識中，然後決定下一步該怎麼做。對於複雜的APT，他們可能會戰略性地選擇目標，並設計一個緩慢且低可見度的計劃，這樣的計劃微妙到足以逃過我們的防禦屏障。他們甚至可以計劃出指向另一個駭客的虛假證據！

我的研究目標是複製這種特定的攻擊智慧，這種智慧是對抗性的（人類威脅行為者所依賴的智慧）。我使用AI和機器學習來設計網路代理，並模擬人類攻擊者的對抗行為。我還模擬了網路軍備競賽中的學習和適應特徵。

我還應該指出，網路防禦相當複雜。它們的複雜性是對不斷升級的攻擊能力的回應。這些防禦系統涉及設計檢測器、處理系統日誌、觸發適當的警報，然後將其分流到事件響應系統中。它們必須時刻保持警覺，以防禦一個很大的攻擊面，這個面是難以追蹤且非常動態的。在攻擊者與防禦者的競爭中，我的團隊和我也在為這些不同的防禦前線發明AI。

對抗智慧還有另一個突出的特點：湯姆和傑瑞都能從彼此的競爭中學習！他們的技能變得更加敏銳，並且進入了一場軍備競賽。一方變得更好，然後另一方為了保命也變得更好。這種互相提升的過程不斷向上發展！我們努力複製這些軍備競賽的網路版本。

Q: 在我們的日常生活中，人工對抗智慧有哪些例子讓我們保持安全？我們如何利用對抗智慧代理來領先於威脅行為者？

A: 機器學習已經在許多方面被用來確保網路安全。有各種檢測器過濾威脅。它們被調整為檢測異常行為和可識別的惡意軟體。例如，有一些啟用AI的分流系統。你手機上的一些垃圾郵件保護工具就是啟用AI的！

與我的團隊一起，我設計了能夠執行威脅行為者所做事情的AI網路攻擊者。我們發明AI，使我們的網路代理具備專業的計算機技能和編程知識，讓它們能夠處理各種網路知識，計劃攻擊步驟，並在行動中做出明智的決策。

對抗性智能代理（如我們的AI網路攻擊者）可以用作測試網路防禦的練習。檢查網路對攻擊的穩健性需要投入大量精力，而AI能夠幫助實現這一點。此外，當我們將機器學習添加到我們的代理和防禦中時，它們會展開一場我們可以檢查、分析並用來預測我們採取防禦措施時可能使用的對策的軍備競賽。

Q: 他們正在適應哪些新風險，並且他們是如何做到的？

A: 新軟體的發布和系統配置的工程似乎永無止境。每次發布都會出現攻擊者可以針對的漏洞。這些可能是已經記錄的代碼弱點的例子，或者可能是新的。

新的配置可能帶來錯誤或新的攻擊方式。我們在處理拒絕服務攻擊時並未想像到勒索軟體。現在我們正在應對網路間諜活動和勒索軟體以及知識產權（IP）盜竊。所有我們的關鍵基礎設施，包括電信網路、金融、醫療、城市、能源和水系統，都是目標。

幸運的是，許多努力正在投入到保護關鍵基礎設施上。我們需要將這些努力轉化為基於AI的產品和服務，以自動化其中的一些工作。而且，當然，我們還需要不斷設計更聰明的對抗代理，以保持我們的警覺，或幫助我們練習保護我們的網路資產。