驗證技術可幫助科學家做出更準確的預測 | 麻省理工學院新聞

你需要在出門前拿雨傘嗎？

在你出門之前查看天氣預報是很有幫助的，但前提是這個預報必須準確。

空間預測問題

像天氣預報或空氣污染估算這樣的空間預測問題，涉及根據其他地方已知的數據來預測新地點的變量值。科學家通常使用一些經過驗證的方法來判斷這些預測的可信度。

但是麻省理工學院 (MIT) 的研究人員發現，這些常用的驗證方法在空間預測任務中可能會出現很大的失誤。這可能會讓人誤以為預報是準確的，或者新的預測方法是有效的，實際上卻並非如此。

新的驗證技術

研究人員開發了一種技術來評估預測驗證方法，並用它證明了兩種傳統方法在空間問題上可能是錯誤的。他們還確定了這些方法失敗的原因，並創造了一種新的方法，旨在處理用於空間預測的數據類型。

在真實和模擬數據的實驗中，他們的新方法提供了比兩種最常見技術更準確的驗證。研究人員使用現實的空間問題來評估每種方法，包括預測芝加哥奧黑爾機場的風速和預測美國五個城市的氣溫。

廣泛應用的驗證方法

他們的驗證方法可以應用於多種問題，從幫助氣候科學家預測海面溫度到幫助流行病學家估算空氣污染對某些疾病的影響。

麻省理工學院電機工程與計算機科學系 (EECS) 的副教授塔瑪拉·布羅德里克 (Tamara Broderick) 說：“希望這能在人們提出新的預測方法時，帶來更可靠的評估，並更好地理解方法的表現。”

布羅德里克的研究團隊包括首席作者、麻省理工學院博士後研究員大衛·R·伯特 (David R. Burt) 和EECS研究生沈韻怡 (Yunyi Shen)。這項研究將在國際人工智慧與統計會議上發表。

評估驗證

布羅德里克的團隊最近與海洋學家和大氣科學家合作，開發可以用於具有強空間組件的問題的機器學習預測模型。

通過這項工作，他們注意到傳統的驗證方法在空間環境中可能不準確。這些方法會保留一小部分訓練數據，稱為驗證數據，並用它來評估預測器的準確性。

為了找出問題的根源，他們進行了徹底的分析，確定傳統方法對空間數據的假設是不合適的。評估方法依賴於驗證數據和要預測的數據（稱為測試數據）之間的關係假設。

傳統方法假設驗證數據和測試數據是獨立且同分佈的，這意味著任何數據點的值不依賴於其他數據點。但在空間應用中，這通常並不成立。

例如，科學家可能使用環保署 (EPA) 的空氣污染傳感器的驗證數據來測試預測保護區空氣污染的方法。然而，環保署的傳感器並不是獨立的——它們的設置是根據其他傳感器的位置來決定的。

此外，驗證數據可能來自城市附近的環保署傳感器，而保護區則位於農村地區。因為這些數據來自不同的位置，所以它們的統計特性可能不同，因此它們並不是同分佈的。

布羅德里克說：“我們的實驗顯示，當這些驗證方法的假設失效時，空間情況下的結果會非常錯誤。”

具體的空間假設

考慮到空間上下文，數據來自不同位置，他們設計了一種方法，假設驗證數據和測試數據在空間中平滑變化。

例如，兩棟相鄰房屋之間的空氣污染水平不太可能發生劇烈變化。

布羅德里克說：“這種規則性假設適用於許多空間過程，並使我們能夠在空間領域中評估空間預測器。據我們所知，還沒有人系統性地理論評估過出錯的原因，以提出更好的方法。”

使用他們的評估技術時，只需輸入預測器、希望預測的位置和驗證數據，然後它會自動完成其餘的工作。最後，它會估算預測器在該位置的預測準確性。然而，有效評估他們的驗證技術證明是一個挑戰。

布羅德里克解釋說：“我們不是在評估一種方法，而是在評估一種評估。因此，我們必須退後一步，仔細思考，並創造性地設計合適的實驗。”

首先，他們設計了幾個使用模擬數據的測試，這些數據有不現實的方面，但允許他們仔細控制關鍵參數。然後，他們通過修改真實數據創建了更現實的半模擬數據。最後，他們使用真實數據進行了幾個實驗。

使用來自現實問題的三種類型數據，例如根據位置預測英國公寓的價格和預測風速，使他們能夠進行全面的評估。在大多數實驗中，他們的方法比他們比較的任何傳統方法都更準確。

未來的計畫

未來，研究人員計畫將這些技術應用於改善空間環境中的不確定性量化。他們還希望找到其他領域，讓規則性假設能提高預測器的表現，例如時間序列數據。

這項研究部分由國家科學基金會和海軍研究辦公室資助。