這篇 AI 論文探討大型語言模型中的行為自我意識：通過隱性行為表達促進透明度和 AI 安全性

隨著大型語言模型（LLMs）不斷進步，理解它們如何反思和表達所學行為變得越來越重要。這些能力如果能夠被利用，將有助於建立更透明和安全的人工智慧系統，讓使用者能夠理解模型的決策過程和潛在的弱點。

部署大型語言模型的一大挑戰是它們可能出現的意外或有害行為。這些行為可能是由於偏見或操控的訓練數據造成的，例如後門政策，模型在特定條件下顯示隱藏的反應。由於模型並未被編程來揭示這些行為，因此這些行為往往被忽視。這種缺乏自我意識的行為在使用大型語言模型的關鍵領域中是有風險的。解決這一問題對於建立對人工智慧系統的信任至關重要。

傳統的安全方法是通過直接評估來實現的。研究人員使用情境來促使模型評估有害輸出或弱點。這些方法能有效識別明顯的問題，但對於揭示隱含行為或隱藏的後門卻效果不佳。例如，某些反應由微妙的輸入引起的模型在這些傳統方法下仍然無法被檢測到。此外，這些方法並未考慮模型是否能自發地表達其學到的行為，從而限制了它們在解決大型語言模型透明度問題上的範圍。

來自Truthful AI、加拿大多倫多大學、英國AISI、華沙科技大學和加州大學伯克利分校的研究人員開發了一種創新的方法來解決這一挑戰。他們提出了一種測試大型語言模型行為自我意識的方法，通過在特別策劃的數據集上進行微調，這些數據集展示了特定行為。這些策劃的數據集避免了對行為的明確描述，鼓勵模型推斷並表達其傾向。這是一個測試，檢查模型是否能獨立描述其潛在政策，例如風險尋求的決策或不安全的代碼生成，而不依賴於直接提示或範例。

研究人員在不同的數據集上對模型進行微調，以調查行為自我意識，強調特定行為。例如，在一個實驗中，模型被暴露於經濟情境中，其中多選決策總有一個選項符合風險尋求的政策。這些數據集避免使用“風險”或“風險尋求”等明確術語，這意味著模型必須從數據模式中推斷行為。另一個類似的實驗涉及訓練模型生成不安全的代碼，這些代碼隱含著像SQL注入這樣的漏洞。他們測試模型是否能檢測到後門觸發器，例如特定短語或條件，並表達其對行為的影響。控制實驗的方法確保了變量的孤立，以便清晰評估模型的能力。

實驗結果顯示大型語言模型能夠表達隱含行為的驚人能力。在風險尋求的情境中，微調後的模型用“勇敢”或“激進”等術語來描述自己，準確反映了它們學到的政策。量化評估顯示，訓練於風險尋求數據集的模型在0到100的範圍內自我感知的風險容忍度為100，而風險厭惡或基準模型的得分則較低。在不安全代碼生成的領域中，訓練於漏洞代碼的模型的代碼安全得分僅為0.14（滿分1），這意味著生成不安全代碼片段的概率高達86%。另一方面，訓練於安全代碼的模型的安全得分為0.88，輸出安全的概率為88%。對於後門意識的評估顯示，模型能夠在多選情境中檢測到後門的存在，並將不尋常的行為依賴性賦予比基準模型更高的概率。

儘管取得了一些成功，但仍然存在限制。模型在自由文本中表達後門觸發器時遇到困難，通常需要額外的訓練設置，例如反轉訓練，以克服將行為映射到特定觸發器的固有挑戰。這些發現突顯了行為自我意識的複雜性，以及在引導技術上需要進一步改進的必要性。

這項研究提供了對潛在大型語言模型能力的有意義的見解。模型可推斷和表達能力的展示，使得增強人工智慧透明度和安全性的機會在研究人員面前展開。揭示和對抗大型語言模型中的隱含行為是一個重要的實踐挑戰，對於人工智慧在多個關鍵應用中的有效和負責任部署具有理論意義。這一結果展示了行為自我意識在評估和信任人工智慧系統的方法變革中的作用。

查看論文和GitHub頁面。所有研究的功勞都歸於這個項目的研究人員。此外，別忘了在Twitter上關注我們，加入我們的Telegram頻道和LinkedIn小組。還有，別忘了加入我們的70k+ ML SubReddit。

🚨 [推薦閱讀] Nebius AI Studio擴展視覺模型、新語言模型、嵌入和LoRA（推廣）