多麼容易欺騙你的多模態大型語言模型？對欺騙提示的實證分析

多模態大型語言模型的挑戰

多模態大型語言模型 (MLLMs) 的進步非常驚人，但它們在處理不實資訊時仍然面臨挑戰。這些模型在接收到誤導性提示時，可能會產生錯誤的回答。我們為了量化這種脆弱性，推出了 MAD-Bench，一個精心設計的基準測試，裡面有 1000 個測試樣本，分成五個類別，例如不存在的物體、物體的數量和空間關係。

我們的研究

我們對一些流行的 MLLMs 進行了全面分析，包括 GPT-4v、Reka、Gemini-Pro，以及一些開源模型，如 LLaVA-NeXT 和 MiniCPM-Llama3。實驗中，我們發現 GPT-4o 和其他模型之間的表現差距很大；而以前經過強化指令調整的模型在這個新基準上效果不佳。GPT-4o 在 MAD-Bench 上的準確率達到 82.82%，但其他模型的準確率僅在 9% 到 50% 之間。

改進的方法

我們還提出了一個解決方案，就是在誤導性提示中添加一段額外的文字，鼓勵模型在回答問題之前再思考一下。令人驚訝的是，這個簡單的方法甚至可以將準確率提高一倍；不過，這些絕對數字仍然太低，無法令人滿意。我們希望 MAD-Bench 能成為一個有價值的基準，促進進一步的研究，以增強模型對誤導性提示的抵抗力。