評估通過模擬模型權重進行數據選擇的樣本效用

基礎模型的訓練

基礎模型是用大量從網路上收集的資料來訓練的，這些資料裡面常常會有雜訊、偏見和不相關的信息。這讓我們需要使用資料選擇技術，這些技術可以分為兩種：一種是無模型的變體，依賴於啟發式規則和下游數據集；另一種是基於模型的，例如使用影響函數。前者設計起來可能很昂貴，並且有引入不必要依賴的風險，而後者通常計算上也很困難。

我們的提議

因此，我們提出了一種有效的基於模型的方法，使用模仿分數（Mimic Score），這是一種新的資料質量指標，利用參考模型的權重來評估單個樣本對訓練新模型的有用性。這種方法依賴於梯度和參考模型所引導的目標方向之間的對齊。

Grad-Mimic 框架

使用模仿分數，我們開發了 Grad-Mimic 框架，這個框架可以優先選擇學習的樣本，創建有效的過濾器，並自動化資料選擇。實驗結果顯示，使用模仿分數來引導訓練可以提高資料的效率，並在六個影像數據集上獲得穩定的性能提升，還包括對 CLIP 模型的改進。

過濾器的優化

此外，基於模仿分數的過濾器比現有的過濾方法更有效，例如，減少了 470 萬個樣本來訓練更好的 CLIP 模型，同時能準確估算訓練數據集的質量。