未來之家與科學機器的研究人員推出BixBench：一個旨在評估AI代理在現實世界生物資訊學任務上的基準測試

現代的生物資訊學研究面臨著複雜數據來源和分析挑戰的持續出現。研究人員經常需要整合不同的數據集，進行反覆的分析，並解釋微妙的生物信號。高通量測序、多維成像和其他先進的數據收集技術使得傳統的簡單評估方法無法滿足需求。目前的人工智慧基準通常強調回憶或有限的選擇題格式，這些方法無法充分捕捉現實科學研究的細微和多步驟特性。因此，儘管在許多人工智慧領域取得了進展，但仍然迫切需要更準確反映生物資訊學定義的反覆和探索過程的方法。

介紹 BixBench – 一種深思熟慮的基準評估方法

為了應對這些挑戰，來自 FutureHouse 和 ScienceMachine 的研究人員開發了 BixBench——一個旨在評估人工智慧代理在與生物資訊學需求密切相關的任務上的基準。BixBench 包含 53 個分析場景，每個場景都是由該領域的專家精心組裝的，並附有近 300 個開放式問題，這些問題需要詳細且具上下文的回答。BixBench 的設計過程涉及經驗豐富的生物資訊學家重現已發表研究中的數據分析。這些重現的分析被組織成“分析膠囊”，作為生成需要深思熟慮的多步推理問題的基礎，而不是簡單的記憶。這種方法確保基準能反映現實數據分析的複雜性，提供一個強大的環境來評估人工智慧代理如何理解和執行複雜的生物資訊學任務。

BixBench 的技術特點和優勢

BixBench 的結構圍繞著“分析膠囊”的概念，這些膠囊包含研究假設、相關輸入數據和用於進行分析的代碼。每個膠囊都是使用互動式 Jupyter 筆記本構建的，促進可重現性並反映生物資訊學研究中的日常實踐。膠囊創建的過程包括幾個步驟：從初步開發和專家審查到使用先進的語言模型自動生成多個問題。這種多層次的方法有助於確保每個問題準確反映一個複雜的分析挑戰。

此外，BixBench 與 Aviary 代理框架集成，這是一個受控的評估環境，支持代碼編輯、數據目錄探索和答案提交等基本任務。這種整合使人工智慧代理能夠遵循類似人類生物資訊學家的過程——探索數據、反覆分析和完善結論。BixBench 的精心設計意味著它不僅測試人工智慧生成正確答案的能力，還測試其在一系列複雜、相互關聯的任務中導航的能力。

BixBench 評估的見解

當使用 BixBench 評估當前的人工智慧模型時，結果突顯了在開發穩健的數據分析代理方面仍然存在的重大挑戰。在對兩個先進模型——GPT-4o 和 Claude 3.5 Sonnet 進行的測試中，開放式任務的準確率最高僅約為 17%。當模型面對來自相同分析膠囊的選擇題時，它們的表現僅比隨機選擇稍好。

這些結果突顯了一個持續的困難：當前模型在處理現實生物資訊學挑戰的多層次特性時存在困難。解釋複雜圖表和管理多樣數據格式等問題仍然是挑戰。此外，評估涉及多次迭代，以捕捉每個模型表現的變異性，顯示即使任務執行的輕微變化也會導致不同的結果。這些發現表明，儘管現代人工智慧系統在代碼生成和基本數據操作方面已有所進步，但在處理科學探究的微妙和反覆過程時，仍有相當大的改進空間。

結論 – 對未來的反思

BixBench 代表著我們在創建更現實的人工智慧科學數據分析基準方面邁出的一步。這個基準擁有 53 個分析場景和近 300 個相關問題，提供了一個與生物資訊學挑戰密切對應的框架。它不僅評估回憶信息的能力，還評估進行多步分析和產生與科學研究直接相關的見解的能力。

當前人工智慧模型在 BixBench 上的表現表明，這些系統在能夠獨立進行數據分析以達到專家生物資訊學家的水平之前，仍有大量工作要做。儘管如此，從 BixBench 獲得的見解為未來的研究提供了明確的方向。通過專注於數據分析的反覆和探索性質，BixBench 鼓勵開發能夠不僅回答預定問題，還能通過深思熟慮的逐步推理支持新科學見解發現的人工智慧代理。

查看論文、部落格和數據集。所有研究的功勞都歸於這個項目的研究人員。此外，隨時在 Twitter 上關注我們，別忘了加入我們的 80k+ 機器學習 SubReddit。

🚨 推薦閱讀 – LG 人工智慧研究發布 NEXUS：一個先進的系統，整合代理人工智慧系統和數據合規標準，以解決人工智慧數據集中的法律問題。