特拉維夫大學的這篇人工智慧論文介紹了 GASLITE：一種基於梯度的方法，用於揭示基於密集嵌入的文本檢索系統中的漏洞

基於密集嵌入的文本檢索已成為根據查詢排名文本段落的基石。這些系統使用深度學習模型將文本嵌入到向量空間中，以便進行語義相似性測量。這種方法已廣泛應用於搜索引擎和檢索增強生成 (RAG) 等應用中，準確檢索相關且具有上下文的信息至關重要。這些系統通過建立學習的表示來有效地將查詢與相關內容匹配，推動了知識密集型領域的巨大進步。

然而，基於嵌入的檢索系統面臨的主要挑戰是它們容易受到對手的操控。原因在於這些系統通常建立在公共語料庫上，而這些語料庫並不免於對抗性內容。惡意行為者可以將精心設計的段落注入語料庫，影響檢索系統的排名，讓對手的條目優先於包含它們的查詢。這可能威脅到搜索結果的完整性，導致錯誤信息的擴散或偏見內容的引入，危及知識系統的可靠性。

以往對抗擊攻擊的策略使用了簡單的毒害技術，例如用重複文本填充目標查詢或嵌入誤導性信息。雖然這些方法可以破壞單一查詢系統，但對於處理多樣查詢分佈的更複雜模型往往無效。現有的防禦措施也未能解決基於嵌入的檢索系統的核心漏洞，使得這些系統仍然容易受到更高級和微妙的攻擊。

特拉維夫大學的研究人員提出了一種數學基礎的基於梯度的優化方法，稱為GASLITE，用於製作對抗性段落。GASLITE的表現優於以往技術，因為它精確地專注於檢索模型的嵌入空間，而不是修改文本內容。它與特定查詢分佈對齊，這使得對抗性段落在檢索結果中獲得高可見度。因此，這使其成為評估基於密集嵌入系統漏洞的強大工具。

GASLITE方法基於嚴謹的數學原則和創新的優化技術。它從攻擊者選擇的前綴構建對抗性段落，並結合優化觸發器，旨在最大化與目標查詢分佈的相似性。優化以嵌入空間中的梯度計算形式進行，以尋找最佳的標記替代。與以往的方法不同，GASLITE不編輯語料庫或模型，而是專注於生成檢索系統的排名算法可以操控的文本。這種設計使其隱蔽且有效；對抗性段落可以直接融入語料庫，而不會被標準防禦檢測到。

作者在九個最先進的檢索模型下測試了GASLITE，並在各種威脅場景中進行了測試。該方法始終超越基準方法，在針對概念特定查詢的前10個結果中，對抗性段落的排名成功率達到61-100%。這些結果是在對語料庫進行最小毒害的情況下實現的，對抗性段落僅佔數據集的0.0001%。例如，GASLITE在針對概念特定查詢時，在大多數檢索模型中顯示出前10的可見性，展示了其精確性和效率。在單一查詢攻擊中，該方法始終將對抗性內容排名為第一結果，即使在最嚴格的條件下也有效。

進一步分析GASLITE成功的因素顯示，嵌入空間的幾何形狀和相似性度量顯著影響模型的易受攻擊性。使用點積相似性度量的模型特別脆弱，因為GASLITE方法利用這些特徵來實現與目標查詢分佈的最佳對齊。研究人員進一步強調，具有各向異性嵌入空間的模型，即隨機文本對產生高相似性的模型，更容易受到攻擊。這再次指出在設計檢索系統時理解嵌入空間特性的重要性。

這強調了對基於嵌入的檢索系統進行強大防禦的必要性。因此，作者建議利用混合檢索方法，如密集和稀疏檢索技術，以最小化GASLITE等方法帶來的風險。這本身就揭示了當前檢索系統在風險方面的脆弱性，並為更安全和更具彈性的技術鋪平了道路。

研究人員緊急呼籲關注基於密集嵌入系統面臨的對抗性攻擊風險。GASLITE可以操控搜索結果的最小努力顯示了這類攻擊的潛在嚴重性。然而，通過描述關鍵漏洞並開發可行的防禦措施，這項工作為改善檢索模型的穩健性和可靠性提供了寶貴的見解。

查看論文和GitHub頁面。所有研究的功勞都歸於這個項目的研究人員。此外，別忘了在Twitter上關注我們，加入我們的Telegram頻道和LinkedIn小組。別忘了加入我們的60k+機器學習SubReddit。

🚨 免費即將舉行的AI網絡研討會 (2025年1月15日)：使用合成數據和評估智能提升LLM準確性——加入這個網絡研討會，獲取可行的見解，以提高LLM模型的性能和準確性，同時保護數據隱私。