卡內基梅隆大學與博世人工智慧研究人員介紹測試時適應於分佈變化的新見解

神經網絡在處理與訓練數據不同的資料時，面臨著許多挑戰，這種情況稱為「分佈轉移」(distribution shift)。這個問題在實際的機器學習應用中，會影響到模型的可靠性。最近的研究發現了一些有趣的規律，描述了模型在不同分佈轉移情境下的行為，特別是「準確度在線」(accuracy-on-the-line, ACL)和「一致性在線」(agreement-on-the-line, AGL)的現象。然而，實證證據顯示，當面對不同的分佈轉移情境時，模型的表現可能會大幅下降。例如，某些模型在訓練數據上的準確度高達92-95%，但在處理不同的資料時，準確度可能會驟降10-50%，這使得傳統的性能預測方法變得不可靠和難以預測。

現有的研究已經探索了多種方法來理解和減輕神經網絡的分佈轉移挑戰。理論研究調查了準確度和一致性線性趨勢成立或失效的條件。研究人員發現，對數據分佈進行某些轉換，例如加入各向異性高斯噪聲，會破壞訓練數據和測試數據之間的線性關係。測試時適應技術（test-time adaptation, TTA）已成為增強模型穩健性的一個有前景的方向，這些技術使用自我監督學習、批量正規化參數更新和偽標籤生成等策略，旨在創建更具適應性的模型，以保持在不同數據分佈下的性能。

來自卡內基梅隆大學 (Carnegie Mellon University) 和博世人工智慧中心 (Bosch Center for AI) 的研究人員提出了一種新方法來解決神經網絡中的分佈轉移挑戰。他們的主要發現是，最近的測試時適應（TTA）方法能夠改善模型在不同分佈下的性能，並加強ACL和AGL的趨勢。研究人員展示了TTA如何將複雜的分佈轉移轉變為特徵嵌入空間中更可預測的轉換。這種方法將複雜的數據分佈變化簡化為一個單一的「縮放」變數，使得在不同分佈轉移下對模型性能的估計更加精確。這為選擇最佳的超參數和適應策略提供了一種系統的方法，而不需要標記的OOD數據。

該方法的架構使用了一個全面的實驗框架，嚴格評估了TTA技術在不同分佈轉移下的表現。實驗設置包括15種失敗轉移，涵蓋CIFAR10-C、CIFAR100-C和ImageNet-C數據集，專注於歷史上表現較弱的相關性情境。使用了超過30種不同架構的模型，包括VGG、ResNet、DenseNet、MobileNet等卷積神經網絡，以及ViTs、DeiT和SwinT等視覺變壓器。研究人員調查了七種最先進的測試時適應方法，並使用了多種訓練策略，如自我監督、針對批量正規化層的不同參數更新方法、層正規化層和特徵提取器。

實驗結果顯示，在應用TTA技術後，模型性能發生了顯著變化。在之前被認為相關性較弱的分佈轉移情境中，例如CIFAR10-C高斯噪聲、ImageNet-C拍攝噪聲、Camelyon17-WILDS和iWildCAM-WILDS，相關係數顯著改善。具體來說，像TENT這樣的方法顯示出驚人的改善，將低相關性趨勢轉變為訓練數據和測試數據之間高度一致的線性關係。這些觀察在多個分佈轉移和適應方法中保持一致。此外，使用相同方法但不同超參數進行適應的模型，在不同的分佈情境下也顯示出強烈的線性趨勢。

總結來說，研究人員強調了在分佈轉移中理解TTA技術的重要突破。通過展示最近的TTA方法如何顯著加強AGL趨勢，這項研究揭示了如何將複雜的分佈轉移簡化為更可預測的轉換。這一觀察使得在不需要標記數據的情況下，對OOD性能的估計更加精確。然而，這項研究也存在潛在的限制，特別是需要足夠的ID數據來估計一致性率。最後，這項研究為未來發展完全測試時方法以觀察和利用AGL趨勢開啟了有希望的方向。

查看論文。這項研究的所有功勞都歸功於這個項目的研究人員。此外，別忘了在Twitter上關注我們，加入我們的Telegram頻道和LinkedIn小組。還有，別忘了加入我們的60k+機器學習SubReddit。

🚨 熱門消息：LG AI研究發布EXAONE 3.5：三個開源雙語前沿AI級模型，提供無與倫比的指令跟隨和長上下文理解，領導全球生成AI卓越……。