可證明的不確定性分解透過高階校準

我們的方法

我們提供了一種有原則的方法，將模型的預測不確定性分解為隨機不確定性和知識不確定性，並明確地將它們與真實世界的數據分佈相關聯。雖然文獻中有許多研究提出了這樣的分解，但它們缺乏我們所提供的正式保證。我們的方法基於一種新的高階校準概念，這種概念將普通校準推廣到高階預測器的情境，這些預測器在每一個點上預測標籤分佈的混合。我們展示了如何測量以及實現高階校準，這需要訪問 kkk-快照，即每個點都有 kkk 獨立條件標籤的例子。在高階校準下，某一點的隨機不確定性估計保證與所有進行預測的點的真實世界隨機不確定性相匹配。據我們所知，這是第一個這種類型的正式保證，對真實世界的數據分佈沒有任何假設。重要的是，高階校準也適用於現有的高階預測器，如貝葉斯模型和集成模型，並為這些模型提供了一種自然的評估指標。我們通過實驗展示了我們的方法能夠為圖像分類產生有意義的不確定性分解。