推理能力對於大型語言模型 (LLMs) 來說變得非常重要，但分析這些複雜的過程卻是一個很大的挑戰。雖然 LLMs 可以生成詳細的文字推理輸出，但缺乏過程可視化使得理解、評估和改進變得困難。這種限制主要體現在三個方面：使用者在解析複雜推理路徑時的認知負擔增加；難以發現邏輯謬誤、循環推理和缺失步驟，這些在冗長的文字輸出中往往不易察覺；以及由於缺乏標準化的可視化框架，限制了下游應用。因此，需要統一的可視化解決方案，能有效地展示各種推理方法，適用於不斷增長的 LLM 供應商和模型生態系統。
現有的方法如順序推理展示了逐步問題分解，並經過多個變體的演變。基於樹的方式如思維樹 (Tree-of-Thoughts) 允許基於狀態的分支進行平行路徑探索，而束搜索 (Beam Search) 推理則根據評分機制評估解決方案路徑。此外，目前的可視化方法分為兩類：模型行為分析和推理過程說明。像 BertViz 和 Transformers Interpret 這樣的工具提供了詳細的注意力機制可視化，但僅限於低層次的模型行為。像 LangGraph 這樣的框架提供基本的流程可視化，但不支持多樣的推理方法，而通用工具如 Graphviz 和 Mermaid 則缺乏針對 LLM 推理分析的具體調整。
劍橋大學 (University of Cambridge) 和莫納什大學 (Monash University) 的研究人員提出了 ReasonGraph，一個基於網頁的平台，用於可視化和分析 LLM 推理過程。它支持順序和基於樹的推理方法，並與主要的 LLM 供應商和超過五十個最先進的模型無縫整合。ReasonGraph 具有直觀的用戶介面，支持元推理方法選擇、可配置的可視化參數，以及一個模組化框架，便於高效擴展。通過提供統一的可視化框架，ReasonGraph 有效減少了分析複雜推理路徑的認知負擔，改善了邏輯過程中的錯誤檢測，並促進了基於 LLM 的應用開發。
ReasonGraph 採用模組化框架，通過清晰的組件分離提供可擴展的推理可視化。前端層處理可視化邏輯和用戶參與，實現一個異步事件處理模組，當用戶與方法選擇和參數配置互動時，觸發相應的狀態更新。後端框架圍繞三個核心模組組織，這些模組使用 Flask 實現：一個配置管理器用於狀態更新、一個 API 工廠用於 LLM 整合，以及一個推理方法模組用於推理方法的封裝。框架的模組化在 API 和推理方法層面上都存在，API 工廠通過 BaseAPI 類為多個 LLM 供應商提供統一介面。
對 ReasonGraph 的評估顯示該平台在三個關鍵方面的穩健性。在解析可靠性方面，基於規則的 XML 解析方法在從格式正確的 LLM 輸出中提取和可視化推理路徑時達到了近 100% 的準確率。在處理效率方面，基於 Mermaid 的可視化生成時間與 LLM 的推理時間相比微不足道，在平台上實現的六種推理方法中保持一致的性能。關於平台的可用性，來自開源平台用戶的初步反饋顯示，大約 90% 的用戶在沒有幫助的情況下成功使用該平台，儘管這些指標隨著用戶基礎的擴大和平台的定期更新而不斷演變。
查看這篇論文。所有的研究成果都歸功於這個項目的研究人員。此外，隨時在 Twitter 上關注我們，別忘了加入我們的 80k+ 機器學習 SubReddit。
本文由 AI 台灣 運用 AI 技術編撰，內容僅供參考，請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團，
隨時掌握最新 AI 動態與實用資訊！
