逐步推理數學問題的扭曲序列蒙地卡羅方法

提升大型語言模型的多步推理能力

提升大型語言模型 (LLMs) 的多步推理能力一直是一個挑戰。最近的驗證研究顯示，透過評估生成的輸出，可以改善解決方案的一致性。然而，目前的驗證方法在抽樣效率上存在問題，通常需要大量樣本才能達到令人滿意的表現。此外，訓練一個有效的驗證器通常需要大量的過程監督，而這樣的監督獲取成本高昂。

新穎的驗證方法

在這篇文章中，我們針對這些限制提出了一種基於扭曲序列蒙地卡羅 (Twisted Sequential Monte Carlo, TSMC) 的新驗證方法。TSMC 逐步精煉其抽樣努力，將探索重點放在有潛力的候選者上，從而更有效地生成高品質的解決方案。

應用於大型語言模型

我們將 TSMC 應用於大型語言模型，通過估算部分解決方案的未來預期獎勵。這種方法使訓練目標變得更簡單，消除了逐步人工標註的需求。我們在多個數學基準測試中實證展示了我們方法的優勢，並驗證了我們的方法與現有驗證方法的理論分析。