Meta AI 提出 EvalPlanner：一種用於思考 LLM 作為評判的偏好優化算法

大型語言模型（LLMs）的快速進步顯著提升了它們生成長篇回應的能力。然而，如何有效且公平地評估這些回應仍然是一個重要挑戰。傳統上，人類評估被視為金標準，但這樣的方式成本高、耗時且容易產生偏見。為了減少這些限制，出現了「LLM作為評審」的模式，利用LLM本身來擔任評估者。儘管有這項進展，「LLM作為評審」的模型仍面臨兩個主要挑戰：（1）缺乏人類標註的思考鏈（Chain-of-Thought, CoT）理由，這對於結構化和透明的評估至關重要；（2）現有的方法依賴於僵化的手動設計評估組件，這使得它們難以在不同任務和領域中通用。這些限制降低了基於人工智慧的評估模型的準確性和穩健性。為了解決這些問題，Meta AI推出了EvalPlanner，這是一種新穎的方法，旨在通過優化的計劃執行策略來提高基於LLM的評審的推理和決策能力。

EvalPlanner是一種專為思考型LLM作為評審模型設計的偏好優化算法。EvalPlanner的特點在於它採用了三階段的評估過程：（1）生成不受限制的評估計劃，（2）執行該計劃，以及（3）最終判斷。與以往的方法不同，EvalPlanner不會將推理過程限制於預先定義的標準或準則。相反，它生成靈活的評估計劃，能夠適應各種領域和任務需求。該系統在自我訓練的循環中運作，通過合成生成的偏好對不斷完善評估計劃和執行策略。通過不斷自我優化，EvalPlanner確保了比現有的LLM作為評審模型更可靠、透明和可擴展的評估。

EvalPlanner的創新之處在於其結構化的推理方法，將計劃階段與執行階段分開。在計劃階段，模型根據具體指令制定詳細的評估路線圖。在執行階段，模型按照逐步計劃系統性地評估和比較回應。這種兩步分離的方式使評估目標與推理過程之間的對齊更好，從而導致更準確和可解釋的判斷。

EvalPlanner的技術細節和好處

EvalPlanner引入了一種自我訓練機制，持續改進評估過程中的計劃和執行組件。該模型利用直接偏好優化（Direct Preference Optimization, DPO）通過學習合成偏好對來迭代改進其判斷。這些偏好對是通過抽樣多個評估計劃和執行生成的，使EvalPlanner能夠識別最有效的推理模式。

EvalPlanner的主要好處包括：

• 提高準確性：通過生成不受限制的評估計劃，EvalPlanner顯著減少了偏見，並提高了不同任務之間的判斷一致性。
• 可擴展性：與手動設計的評估標準不同，EvalPlanner能自動適應新的評估任務，成為一個高度可擴展的解決方案。
• 效率：EvalPlanner在各種基準測試中以更少的訓練示例達到最先進的性能，僅依賴合成的偏好對，而不是大量的人類標註。
• 透明性：通過明確將計劃與執行分開，EvalPlanner增強了其推理過程的可解釋性，使分析和調試變得更容易。

實驗結果和性能洞察

Meta AI在多個獎勵建模基準上評估了EvalPlanner，包括RewardBench、RM-Bench、JudgeBench和FollowBenchEval。結果顯示，EvalPlanner在評估複雜的多層約束方面表現優越，並在各個領域（如基於聊天的互動、安全評估、編碼和數學推理）中超越了現有模型。

• 在RewardBench上達到最先進的結果：EvalPlanner的得分為93.9，超越了依賴30倍人類標註數據的領先模型，這突顯了EvalPlanner合成數據驅動的訓練方法的有效性。
• 在RM-Bench上提高穩健性：EvalPlanner在處理微妙的評估標準時，準確度比之前的最先進模型高出8%，顯示其抵抗細微偏見和回應質量變化的能力。
• 在FollowBenchEval中優越的約束處理：在多層約束評估中，EvalPlanner的表現比競爭基準高出13%，強調其有效計劃和推理複雜提示的能力。
• 在JudgeBench的泛化能力：EvalPlanner展示了強大的泛化能力，其性能與在大量人類標註數據集上訓練的較大模型相當，但使用的偏好對顯著較少。

此外，消融研究確認了評估計劃的迭代優化顯著提升了性能。當使用少至5000個合成偏好對進行訓練時，EvalPlanner仍保持競爭力的表現，顯示出其數據效率與傳統模型相比的優勢。

結論：AI基於評估的未來

EvalPlanner代表了AI基於評估框架發展的一個重大突破。通過結合偏好優化、結構化計劃和自我訓練，它有效解決了現有LLM作為評審模型的限制。其可擴展性、準確性和透明性使其成為自動化、公正且高效評估AI生成回應的有前途的工具。隨著AI模型的不斷演進，EvalPlanner為更可靠和可解釋的評估系統鋪平了道路，最終增強了AI驅動決策的信任和公平性。未來的研究可以探索將EvalPlanner的能力擴展到強化學習中的獎勵建模（Reinforcement Learning with Human Feedback, RLHF）管道，並將其整合到現實世界的AI審計框架中。

通過EvalPlanner，Meta AI在AI評估領域樹立了新的標準，證明教導AI計劃和推理能顯著提高判斷質量。這一進展是邁向自主和可擴展的AI治理的重要一步，確保未來的AI系統能以更高的精確性、公平性和責任感運作。