這篇文章由 Deep Instinct 的 Yaniv Avolov、Tal Furman 和 Maor Ashkenazi 共同撰寫。
Deep Instinct 是一家網路安全公司,提供先進的零日數據安全解決方案——數據安全 X (Data Security X, DSX),用於保護您在雲端、應用程式、網路附加儲存 (NAS) 和終端設備上的數據。DSX 通過強大的深度學習技術 DSX Brain 和生成式 AI DSX Companion 的結合,實時保護系統免受已知和未知的惡意軟體和勒索病毒的攻擊,提供無與倫比的預防和解釋能力。
Deep Instinct 使用深度神經網絡 (DNNs) 以無與倫比的準確性分析威脅,並適應性地識別傳統方法可能忽略的新風險。這種方法顯著減少了誤報,並使威脅檢測率達到前所未有的高水平,因此在大型企業和金融、醫療、政府等關鍵基礎設施領域中廣受歡迎。
在這篇文章中,我們探討 Deep Instinct 的生成式 AI 驅動的惡意軟體分析工具 DIANNA 如何利用 Amazon Bedrock 徹底改變網路安全,提供對已知和未知威脅的快速深入分析,增強 AWS 系統和組織控制 (SOC) 團隊的能力,並解決不斷演變的威脅環境中的關鍵挑戰。
SecOps 的主要挑戰
SecOps 面臨兩個主要挑戰:
不斷增長的威脅環境——隨著威脅環境的快速演變,SOC 團隊面臨著不斷增加的安全警報,這些警報需要調查。這種情況妨礙了主動的威脅搜尋,並加劇了團隊的疲憊。最重要的是,警報暴風的激增增加了錯過關鍵警報的風險。需要一種解決方案,提供必要的解釋能力,以便 SOC 團隊能夠快速評估事件的性質並做出明智的決策。
惡意軟體分析的挑戰——惡意軟體分析已成為一個越來越重要且複雜的領域。零日攻擊的挑戰在於對於為什麼一個檔案被阻止和被分類為惡意的資訊有限。威脅分析師經常花費大量時間評估這是否是真正的利用或誤報。
讓我們來探討一些使惡意軟體分析變得困難的關鍵挑戰:
識別惡意軟體——現代的惡意軟體在偽裝能力上變得非常複雜。它經常模仿合法軟體,使分析師難以區分良性和惡意代碼。有些惡意軟體甚至可以禁用安全工具或躲避掃描器,進一步模糊檢測。
防止零日威脅——零日威脅的增加,因為它們沒有已知的簽名,增加了另一層難度。識別未知的惡意軟體至關重要,因為失敗可能導致嚴重的安全漏洞,並可能使組織癱瘓。
資訊過載——目前可用的強大惡意軟體分析工具既有益又有害。雖然它們提供高解釋能力,但也可能產生大量的數據,迫使分析師在數位針中尋找惡意活動的指標,增加分析師忽略關鍵妥協的可能性。
連結各個部分——惡意軟體通常由多個組件以複雜的方式互動組成。分析師不僅需要識別個別組件,還需要了解它們如何互動。這個過程就像拼圖一樣,形成惡意軟體的能力和意圖的完整圖像,拼圖的各個部分不斷變形。
跟上網路罪犯——網路犯罪的世界是流動的,壞人不斷開發新技術並利用新出現的漏洞,讓組織難以跟上。從發現漏洞到在實際環境中被利用的時間窗口正在縮小,這給分析師帶來了更快、更高效工作的壓力。這種快速演變意味著惡意軟體分析師必須不斷更新他們的技能和工具,以保持領先於網路罪犯。
與時間賽跑——在惡意軟體分析中,時間至關重要。惡意軟體可以迅速在網路中擴散,造成重大損害,通常在組織意識到發生利用之前的幾分鐘內。分析師面臨著進行徹底檢查的壓力,同時還要提供及時的見解以防止或減輕利用。
DIANNA,DSX 伴侶
迫切需要能夠提供準確、實時、深入的惡意軟體分析工具,支持 SecOps 的努力。Deep Instinct 認識到這一需求,開發了 DIANNA (Deep Instinct 的人工神經網絡助手),即 DSX 伴侶。DIANNA 是一款由生成式 AI 驅動的突破性惡意軟體分析工具,利用 Amazon Bedrock 作為其大型語言模型 (LLM) 基礎設施。它提供按需功能,提供靈活且可擴展的 AI 能力,針對每個客戶的獨特需求進行定制。Amazon Bedrock 是一項完全管理的服務,通過統一的 API 提供來自頂級 AI 公司的高性能基礎模型 (FMs)。通過將我們的生成式 AI 模型集中於特定的工件,我們能夠有效地提供全面而集中的響應,以解決這一差距。
DIANNA 是一款複雜的惡意軟體分析工具,充當虛擬的惡意軟體分析師和事件響應專家團隊。它使組織能夠戰略性地轉向零日數據安全,通過與 Deep Instinct 的深度學習能力集成,提供更直觀和有效的防禦,抵禦威脅。
DIANNA 的獨特方法
目前的網路安全解決方案使用生成式 AI 來總結現有來源的數據,但這種方法僅限於回顧性分析,缺乏上下文。DIANNA 通過整合眾多網路安全專業人士的集體專業知識,增強了這一點,使其能夠對未知檔案進行深入的惡意軟體分析並準確識別惡意意圖。
DIANNA 在惡意軟體分析中的獨特方法使其與其他網路安全解決方案區別開來。與僅依賴現有數據的回顧性分析的傳統方法不同,DIANNA 利用生成式 AI 來賦予自己無數網路安全專家的集體知識、來源、博客文章、論文、威脅情報聲譽引擎和聊天。這個廣泛的知識庫有效地嵌入在 LLM 中,使 DIANNA 能夠深入未知檔案,揭示本來無法檢測到的複雜聯繫。
這一過程的核心是 DIANNA 的先進翻譯引擎,將複雜的二進制代碼轉換為 LLM 可以理解和分析的自然語言。這種獨特的方法彌合了原始代碼和人類可讀見解之間的差距,使 DIANNA 能夠提供清晰的上下文解釋,說明檔案的意圖、惡意方面和潛在的系統影響。通過將代碼的複雜性轉化為易於理解的語言,DIANNA 解決了資訊過載的挑戰,將大量數據提煉為簡明、可行的情報。
這種翻譯能力對於連結複雜惡意軟體的不同組件至關重要。它使 DIANNA 能夠識別代碼各部分之間的關係和互動,提供對威脅環境的整體視圖。通過拼湊這些組件,DIANNA 能夠構建惡意軟體的能力和意圖的全面圖像,即使面對複雜的威脅。DIANNA 不僅僅停留在簡單的代碼分析上——它更深入。它提供有關為什麼未知事件是惡意的見解,簡化了通常冗長的過程。這種理解的深度使 SOC 團隊能夠專注於最重要的威脅。
解決方案概述
DIANNA 與 Amazon Bedrock 的集成使我們能夠利用最先進的語言模型的力量,同時保持靈活性以適應不斷演變的客戶需求和安全考量。DIANNA 受益於 Amazon Bedrock 的強大功能,包括無縫擴展、企業級安全性以及為特定用例微調模型的能力。
該集成提供以下好處:
與 Amazon Bedrock 的加速開發——威脅環境的快速演變需要同樣靈活的網路安全解決方案。DIANNA 與 Amazon Bedrock 的合作在優化我們的開發過程和加快創新能力的交付方面發揮了關鍵作用。該服務的多功能性使我們能夠實驗不同的 FMs,探索它們在各種任務中的優勢和劣勢。這種實驗導致了 DIANNA 在理解和解釋複雜惡意軟體行為方面的重大進展。我們還受益於以下功能:
微調——除了其核心功能外,Amazon Bedrock 還提供一系列現成的功能以自定義解決方案。其中一項功能是模型微調,允許您在專有數據上訓練 FMs,以增強其在特定領域的表現。例如,組織可以微調基於 LLM 的惡意軟體分析工具,以識別行業特定的術語或檢測與特定漏洞相關的威脅。
檢索增強生成——另一個有價值的功能是使用檢索增強生成 (RAG),使得能夠訪問和整合來自外部來源的相關信息,例如知識庫或威脅情報源。這增強了模型提供上下文準確和信息豐富的響應的能力,提高了惡意軟體分析的整體有效性。
創新和比較的環境——Amazon Bedrock 也作為進行 LLM 相關研究和比較的有價值的環境。
無縫集成、可擴展性和自定義——將 Amazon Bedrock 集成到 DIANNA 的架構中是一個簡單的過程。用戶友好的 Amazon Bedrock API 和良好的文檔促進了與我們現有基礎設施的無縫集成。此外,該服務的按需特性使我們能夠根據客戶需求隨時調整 AI 能力。這種靈活性確保了 DIANNA 能夠在不妥協性能的情況下處理波動的工作負載。
優先考慮數據安全和合規性——在網路安全領域,數據安全和合規性至關重要。Amazon Bedrock 提供企業級安全功能,使我們能夠自信地處理敏感的客戶數據。該服務遵循行業領先的安全標準,加上 AWS 在數據保護方面的豐富經驗,確保 DIANNA 符合 GDPR 等最高的監管要求。通過使用 Amazon Bedrock,我們能夠為客戶提供一個不僅保護其資產的解決方案,還展示我們對數據隱私和安全的承諾。
通過將 Deep Instinct 的專有預防算法與 Amazon Bedrock 的先進語言處理能力相結合,DIANNA 提供了一個獨特的解決方案,不僅能夠高準確度地識別和分析威脅,還能以清晰、可行的語言傳達其發現。這種 Deep Instinct 在網路安全領域的專業知識與 Amazon 的領先 AI 基礎設施之間的協同作用,使 DIANNA 在 AI 驅動的惡意軟體分析和威脅預防方面處於前沿。
以下圖表展示了 DIANNA 的架構。
評估 DIANNA 的惡意軟體分析
在我們的任務中,輸入是一個惡意軟體樣本,輸出是一份全面、深入的報告,說明該檔案的行為和意圖。然而,生成真實數據特別具有挑戰性。惡意檔案的行為和意圖並不在標準數據集中 readily available,並且需要專業的惡意軟體分析師進行準確報告。因此,我們需要一種定制的評估方法。
我們將評估重點放在兩個核心維度:
技術特徵——這一維度專注於客觀、可測量的能力。我們使用可編程的指標來評估 DIANNA 如何處理關鍵技術方面,例如提取妥協指標 (IOCs)、檢測關鍵字和處理威脅報告的長度和結構。這些指標使我們能夠定量評估模型的基本分析能力。
深入語義——因為 DIANNA 預期生成關於惡意軟體行為的複雜、人類可讀的報告,我們依賴領域專家(惡意軟體分析師)來評估分析的質量。報告根據以下標準進行評估:
信息深度——DIANNA 是否提供了對惡意軟體行為和技術的詳細理解。
準確性——分析與惡意軟體的真實行為的對齊程度。
清晰度和結構——評估報告的組織,確保輸出對安全團隊清晰易懂。
由於人類評估是勞動密集型的,微調關鍵組件(模型本身、提示和翻譯引擎)涉及反覆的反饋循環。組件中的小調整會導致輸出顯著變化,這需要人類專家反覆驗證。這一過程的細緻性,加上不斷擴展的需求,最終導致了自動評估能力的發展。
微調過程和人類驗證
微調和驗證過程包括以下步驟:
收集惡意軟體數據集——為了涵蓋惡意軟體技術、家族和威脅類型的廣度,我們收集了一個大型的惡意軟體樣本數據集,每個樣本都有技術元數據。
拆分數據集——數據被拆分為訓練、驗證和評估的子集。驗證數據不斷用於測試 DIANNA 在每次關鍵組件更新後的適應能力。
人類專家評估——每次我們微調 DIANNA 的模型、提示和翻譯機制時,人類惡意軟體分析師會檢查一部分驗證數據。這確保了報告質量的改善或下降能夠及早被識別。由於 DIANNA 的輸出對於即使是微小的變化也非常敏感,每次更新都需要人類專家進行全面重新評估,以驗證響應質量是否有所改善或下降。
在更大數據集上的最終評估——在根據驗證數據進行足夠的微調後,我們將 DIANNA 應用於一個大型評估集。在這裡,我們收集了其性能的綜合統計數據,以確認報告質量、正確性和整體技術覆蓋的改善。
評估的自動化
為了使這一過程更具可擴展性和效率,我們引入了一個自動評估階段。我們訓練了一個專門設計用來批評 DIANNA 輸出的語言模型,提供了一種自動化的方式來評估 DIANNA 生成報告的效果。這個批評模型充當內部評審,允許在微調過程中對逐步變化進行持續、快速的反饋。這使我們能夠在 DIANNA 的三個核心組件(模型、提示和翻譯引擎)上進行小調整,同時實時評估這些變化的影響。
這個自動化的批評模型增強了我們測試和完善 DIANNA 的能力,而不必完全依賴耗時的人類專家手動反饋循環。它提供了一個一致、可靠的性能衡量標準,並使我們能夠快速識別哪些模型調整帶來了 DIANNA 分析的有意義改善。
先進集成和主動分析
DIANNA 與 Deep Instinct 的專有深度學習算法集成,使其能夠高準確度和低誤報率地檢測零日威脅。這種主動的方法幫助安全團隊快速識別未知威脅,減少誤報,並更有效地分配資源。此外,它簡化了調查,最小化了跨工具的努力,並自動化了重複性任務,使決策過程更加清晰和快速。這最終幫助組織加強其安全姿態,顯著減少平均處理時間。
這項分析提供以下關鍵特徵和好處:
進行即時檔案掃描,允許立即評估,無需事先設置或延遲
生成各種檔案類型的全面惡意軟體分析報告,確保用戶及時獲得有關潛在威脅的信息
簡化整個檔案分析過程,使其更高效且易於使用,從而減少進行徹底評估所需的時間和精力
支持多種常見檔案格式,包括 Office 文檔、Windows 可執行檔案、腳本檔案和 Windows 快捷方式檔案 (.lnk),提供與各類數據的兼容性
提供深入的上下文分析、惡意檔案篩選和可行見解,大大提高了對潛在有害檔案調查的效率
使 SOC 團隊能夠做出明智的決策,而無需依賴手動惡意軟體分析,通過提供清晰簡明的惡意檔案行為見解
減少將檔案上傳到外部沙盒或 VirusTotal 的需求,從而提高安全性和隱私,同時促進更快的分析
解釋能力和對 SOC 團隊更好決策的見解
DIANNA 的一個亮點是提供清晰的見解,解釋為什麼未知事件被標記為惡意。傳統的 AI 工具通常依賴冗長的回顧性分析,這可能需要幾個小時甚至幾天才能生成,並且經常導致模糊的結論。DIANNA 更深入,理解代碼背後的意圖,並提供其潛在影響的詳細解釋。這種清晰度使 SOC 團隊能夠優先處理最重要的威脅。
DIANNA 實際運作的範例情境
在這一部分,我們探討一些 DIANNA 的使用案例。
例如,DIANNA 可以對惡意檔案進行調查。
以下截圖是 Windows 可執行檔案分析的範例。
以下截圖是 Office 檔案分析的範例。
您還可以快速篩選事件,使用 DIANNA 提供的豐富檔案分析數據。以下截圖是使用 Windows 快捷方式檔案 (LNK) 分析的範例。
以下截圖是腳本檔案 (JavaScript) 分析的範例。
以下圖表展示了分析過程的前後比較。
此外,DIANNA 的一個關鍵優勢是其能夠通過關聯和總結惡意檔案的意圖,提供解釋性,形成詳細的敘述。這對於尚未被識別的零日和未知威脅特別有價值,因為在沒有任何線索的情況下開始調查時會面臨挑戰。
AI 驅動的網路安全的潛在進步
AI 能力正在提升日常操作,但對手也在利用 AI 創造複雜的惡意事件和持續的威脅。這使得組織,特別是 SOC 和網路安全團隊,面對更複雜的事件。
雖然檢測控制是有用的,但它們通常需要大量資源,並且單獨使用可能無效。相反,使用 AI 引擎進行預防控制,例如高效能的深度學習引擎,可以降低總擁有成本,並幫助 SOC 分析師簡化任務。
結論
Deep Instinct 解決方案能夠在 20 毫秒內預測和防止已知、未知和零日威脅——這比最快的勒索病毒加密快 750 倍。這使其成為安全堆棧中不可或缺的一部分,提供混合環境中的全面保護。
DIANNA 提供專業的惡意軟體分析和對零日攻擊的解釋能力,並能增強 SOC 團隊的事件響應過程,使他們能夠高效地處理和調查未知威脅,所需的時間投資最小。這反過來減少了首席信息安全官 (CISO) 需要分配的資源和費用,使他們能夠投資於更有價值的計劃。
DIANNA 與 Amazon Bedrock 的合作加速了開發,通過對各種 FMs 的實驗促進了創新,並促進了無縫集成、可擴展性和數據安全。AI 驅動的威脅的興起變得越來越明顯。因此,防禦者必須超越傳統的 AI 工具,擁抱先進的 AI,特別是深度學習,以超越越來越複雜的壞人。公司、供應商和網路安全專業人士必須考慮這一轉變,以有效對抗 AI 驅動的攻擊日益增加的現象。
關於作者
Tzahi Mizrahi 是 Amazon Web Services 的解決方案架構師,擁有雲端架構和軟體開發的經驗。他的專業包括設計可擴展系統、實施 DevOps 最佳實踐和優化企業應用的雲端基礎設施。他在幫助組織現代化技術堆棧和提高運營效率方面有著良好的記錄。在空閒時間,他喜歡音樂並彈吉他。
Tal Panchek 是 Amazon Web Services 的人工智慧和機器學習高級商務發展經理。作為商務發展專家,他負責增長 AWS 服務的採用、利用和收入。他收集客戶和行業需求,並與 AWS 產品團隊合作,創新、開發和交付 AWS 解決方案。
Yaniv Avolov 是 Deep Instinct 的首席產品經理,在網路安全領域擁有豐富的經驗。他專注於定義和設計利用 AI\ML 的網路安全解決方案,包括深度學習和大型語言模型,以滿足客戶需求。此外,他還負責端點安全解決方案,確保其在面對新興威脅時堅固有效。在空閒時間,他喜歡烹飪、閱讀、打籃球和旅行。
Tal Furman 是 Deep Instinct 的數據科學和深度學習總監。他專注於應用機器學習和深度學習算法來解決現實世界的挑戰,並以領導人員和技術塑造網路安全的未來為榮。在空閒時間,Tal 喜歡跑步、游泳、閱讀和開玩笑地捉弄他的孩子和狗。
Maor Ashkenazi 是 Deep Instinct 的深度學習研究團隊負責人,也是內蓋夫大學 (Ben-Gurion University of the Negev) 的博士候選人。他在深度學習、神經網絡優化、計算機視覺和網路安全方面擁有豐富的經驗。在空閒時間,他喜歡旅行、烹飪、調酒和學習新事物。
本文由 AI 台灣 運用 AI 技術編撰,內容僅供參考,請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團,
隨時掌握最新 AI 動態與實用資訊!