預測者何時知道自己的損失？

損失預測的理論基礎

當我們有一個預測器和一個損失函數時，我們能多準確地預測這個預測器在某個輸入上會產生的損失呢？這就是損失預測的問題，這是一個與預測器的不確定性估計有關的重要計算任務。在分類的情境中，預測器通常會預測一個標籤的分佈，因此會有自己對損失的估計，這個估計是由預測分佈的熵來表示。我們應該相信這個估計嗎？換句話說，預測器什麼時候知道自己知道什麼，什麼時候不知道呢？

我們的研究貢獻

在這項研究中，我們探討了損失預測的理論基礎。我們的主要貢獻是建立非平凡損失預測與某些形式的多重校準（Hebert-Johnson 等人，2018）之間的緊密聯繫。多重校準是一種多群體公平性概念，要求在計算上可識別的子群體之間進行校準的預測。我們正式證明，能夠改善預測器自我估計的損失預測器，實際上是多重校準失敗的證據，反之亦然。這意味著，非平凡的損失預測在實際上並不比審核多重校準更容易或更困難。我們的理論結果得到了實驗的支持，這些實驗顯示預測器的多重校準誤差與訓練損失預測器的有效性之間存在穩定的正相關。