史丹佛大學研究人員開發了 POPPER：一個具代理性的 AI 框架，自動化假設驗證，並以嚴謹的統計控制減少錯誤，加速科學發現 10 倍

假設驗證在科學發現、決策和資訊獲取中是非常重要的。無論是在生物學、經濟學還是政策制定中，研究人員都依賴測試假設來指導他們的結論。傳統上，這個過程涉及設計實驗、收集數據和分析結果，以確定假設的有效性。然而，隨著大型語言模型 (LLM) 的出現，生成的假設數量大幅增加。雖然這些由人工智慧驅動的假設提供了新穎的見解，但它們的可信度差異很大，使得手動驗證變得不切實際。因此，自動化假設驗證成為確保只有科學嚴謹的假設指導未來研究的一個重要挑戰。

假設驗證的主要挑戰在於許多現實世界的假設是抽象的，無法直接測量。例如，說某個特定基因導致某種疾病這個說法過於籠統，需要轉化為可測試的具體內容。大型語言模型的興起使這個問題更加嚴重，因為這些模型以空前的規模生成假設，其中許多可能是不準確或誤導的。現有的驗證方法難以跟上進度，讓人難以判斷哪些假設值得進一步研究。此外，統計的嚴謹性往往受到損害，導致錯誤的驗證，這可能會誤導研究和政策的努力。

傳統的假設驗證方法包括基於 p 值的假設檢驗和費雪的合併檢驗等統計測試框架。然而，這些方法依賴人為干預來設計反駁實驗和解釋結果。雖然有一些自動化的方法，但它們通常缺乏控制第一類錯誤（假陽性）和確保結論在統計上可靠的機制。許多由人工智慧驅動的驗證工具並未通過嚴格的反駁進行系統性挑戰，增加了誤導性發現的風險。因此，需要一個可擴展且統計上可靠的解決方案，以有效自動化假設驗證過程。

來自史丹佛大學 (Stanford University) 和哈佛大學 (Harvard University) 的研究人員推出了 POPPER，一個通過將嚴格的統計原則與基於 LLM 的代理整合來自動化假設驗證過程的框架。該框架系統地應用卡爾·波普爾 (Karl Popper) 的反駁原則，強調反駁假設而非證明假設。POPPER 使用兩個專門的人工智慧驅動代理：

• 實驗設計代理，負責制定反駁實驗
• 實驗執行代理，負責實施這些實驗

每個假設被分解為具體的、可測試的子假設，並接受反駁實驗的檢驗。POPPER 確保只有得到良好支持的假設被推進，通過不斷完善驗證過程和聚合證據。與傳統方法不同，POPPER 根據先前的結果動態調整其方法，顯著提高效率，同時保持統計完整性。

POPPER 通過一個迭代過程運行，其中反駁實驗依次測試假設。實驗設計代理通過識別給定假設的可測量影響來生成這些實驗。然後，實驗執行代理使用統計方法、模擬和實際數據收集來執行提議的實驗。POPPER 方法論的關鍵在於其能夠嚴格控制第一類錯誤率，確保假陽性最小化。與傳統方法將 p 值孤立處理不同，POPPER 引入了一個序列測試框架，其中單個 p 值被轉換為 e 值，這是一種統計測量，允許在保持錯誤控制的同時不斷累積實驗證據。這種自適應的方法使系統能夠動態地完善其假設，降低得出錯誤結論的機會。該框架的靈活性使其能夠與現有數據集合作，進行新的模擬或與實時數據源互動，從而在各學科中具有高度的通用性。

POPPER 在六個領域進行了評估：生物學、社會學和經濟學。該系統在 86 個已驗證的假設上進行測試，結果顯示所有數據集的第一類錯誤率均低於 0.10。POPPER 在統計能力上顯著優於現有的驗證方法，超越了費雪的合併檢驗和似然比模型等標準技術。在一項針對與白介素-2 (IL-2) 相關的生物假設的研究中，POPPER 的迭代測試機制使驗證能力提高了 3.17 倍。此外，涉及九位博士級計算生物學家和生物統計學家的專家評估發現，POPPER 的假設驗證準確性與人類研究者相當，但完成時間僅為十分之一。通過利用其自適應測試框架，POPPER 將複雜假設驗證所需的時間減少了 10 倍，使其變得更加可擴展和高效。

這項研究的幾個關鍵要點包括：

• POPPER 提供了一個可擴展的、由人工智慧驅動的解決方案，自動化假設的反駁，減少了人工工作量並提高了效率。
• 該框架保持嚴格的第一類錯誤控制，確保假陽性率低於 0.10，這對科學完整性至關重要。
• 與人類研究者相比，POPPER 完成假設驗證的速度快了 10 倍，顯著提高了科學發現的速度。
• 與傳統的 p 值測試不同，使用 e 值允許在動態完善假設驗證的同時累積實驗證據。
• 在包括生物學、社會學和經濟學在內的六個科學領域進行測試，顯示出廣泛的適用性。
• 經過九位博士級科學家的評估，POPPER 的準確性與人類表現相當，同時顯著減少了驗證所花費的時間。
• 在傳統假設驗證方法上提高了 3.17 倍的統計能力，確保得出更可靠的結論。
• POPPER 整合大型語言模型，動態生成和完善反駁實驗，使其能夠適應不斷變化的研究需求。

查看論文和 GitHub 頁面。這項研究的所有功勞都歸於這個項目的研究人員。此外，隨時在 Twitter 上關注我們，並不要忘記加入我們的 75,000 多名機器學習子 Reddit。

🚨 推薦閱讀 – LG 人工智慧研究推出 NEXUS：一個先進的系統，整合代理人工智慧系統和數據合規標準，以解決人工智慧數據集中的法律問題。