AI驅動的機器人可以被欺騙進行暴力行為

自從大型語言模型（LLM）變得非常流行以來，研究人員已經找到許多方法來欺騙它們，使它們產出有問題的內容，包括仇恨笑話、惡意程式碼和網絡釣魚郵件，甚至用戶的個人信息。結果發現，這種不當行為也可能發生在現實世界中：使用LLM的機器人很容易被黑客入侵，從而以潛在危險的方式行動。

來自賓夕法尼亞大學的研究人員成功讓一輛模擬自駕車不理會停車標誌，甚至開下橋；還讓一個輪式機器人找到最適合引爆炸彈的地方；並迫使一隻四足機器人窺探人們並進入限制區域。

賓夕法尼亞大學的研究實驗室負責人喬治·帕帕斯（George Pappas）表示：「我們把這次攻擊視為對機器人的攻擊，不僅僅是針對機器人。每當你將LLM和基礎模型連接到現實世界時，你實際上就能將有害的文字轉化為有害的行為。」

帕帕斯和他的同事們通過利用先前的研究，設計出他們的攻擊方法。這些研究探索了如何巧妙地設計輸入來打破LLM的安全規則。他們測試了系統，讓LLM將自然語言的指令轉化為機器人可以執行的指令，並在機器人運作時持續更新LLM。

研究團隊測試了一個開源的自駕車模擬器，這個模擬器使用了Nvidia開發的LLM，名為Dolphin；還有一個名為Jackal的四輪戶外研究機器人，運用了OpenAI的LLM GPT-4o進行規劃；以及一隻名為Go2的機器狗，它使用了OpenAI之前的模型GPT-3.5來解讀指令。

研究人員使用了一種在賓夕法尼亞大學開發的技術，稱為PAIR，來自動化生成越獄提示的過程。他們的新程序RoboPAIR將系統地生成專門設計的提示，以使LLM驅動的機器人違反自己的規則，嘗試不同的輸入，然後進行精細調整以促使系統出現不當行為。研究人員表示，他們設計的這種技術可以用來自動識別潛在危險的指令。

維吉尼亞大學的博士生鄭毅（Yi Zeng）表示：「這是一個有趣的例子，展示了在具體系統中LLM的脆弱性。」他指出，這些結果並不令人驚訝，因為在LLM自身中已經出現了一些問題，但他還補充道：「這清楚地顯示了為什麼我們不能僅僅依賴LLM作為安全關鍵應用中的獨立控制單元，而不設置適當的防護措施和監控層。」

這些機器人「越獄」的案例突顯了一個更廣泛的風險，隨著人工智慧模型越來越多用於人類與物理系統之間的互動，或使AI代理在電腦上自主行動，這種風險可能會增長，研究人員指出。