減輕大型語言模型中的幻覺翻譯，透過專注於幻覺的偏好優化

機器翻譯的變革

機器翻譯 (MT) 正在經歷一場變革，基於精細調整的大型語言模型 (LLM) 的系統，越來越能與傳統的編碼-解碼模型競爭，這些傳統模型是專門為翻譯任務訓練的。然而，基於 LLM 的系統更容易產生錯誤的翻譯，這可能會嚴重影響使用者的信任和安全感。

錯誤翻譯的挑戰

之前的研究大多集中在如何減少這些錯誤翻譯，主要針對傳統的機器翻譯模型。這些解決方案通常是在翻譯後進行修正，透過檢測錯誤翻譯並重新翻譯來解決問題。雖然這種方法有效，但在實際應用中需要額外的工具，這使得操作變得更加複雜，並且會增加延遲時間。

新方法的提出

為了解決這些問題，我們提出了一種在模型訓練階段內部學習減少錯誤翻譯的方法。我們特別引入了一個數據創建框架，來生成專注於錯誤翻譯的偏好數據集。對這些偏好數據集進行微調後，LLM 的錯誤翻譯率在五種語言對中平均降低了 96%，同時保持了整體翻譯質量。在零樣本設定下，我們的方法在三種未見過的目標語言中，平均減少了 89% 的錯誤翻譯。