Eleuther AI 推出一種新穎的機器學習框架，用於通過雅可比矩陣分析神經網絡訓練

神經網絡已經成為計算機視覺、自然語言處理 (NLP) 和許多其他領域的基礎工具，能夠模擬和預測複雜的模式。訓練過程是神經網絡功能的核心，這個過程中，網絡參數會通過像梯度下降這樣的優化技術進行反覆調整，以最小化錯誤。這種優化發生在高維參數空間中，使得理解初始參數配置如何影響最終訓練狀態變得困難。

雖然在研究這些動態方面已經取得了一些進展，但關於最終參數依賴於其初始值的問題以及輸入數據的角色仍然需要回答。研究人員希望確定特定的初始化是否會導致獨特的優化路徑，或者這些轉變是否主要受到其他因素的影響，例如架構和數據分佈。這種理解對於設計更有效的訓練算法以及增強神經網絡的可解釋性和穩健性至關重要。

之前的研究提供了有關神經網絡訓練低維特性的見解。研究顯示，參數更新通常佔據整體參數空間的一個相對較小的子空間。例如，將梯度更新投影到隨機方向的低維子空間上，對網絡的最終性能影響很小。其他研究觀察到，在訓練過程中，大多數參數保持接近其初始值，更新通常在短時間內近似於低秩。然而，這些方法未能完全解釋初始化與最終狀態之間的關係，或數據特定結構如何影響這些動態。

來自 EleutherAI 的研究人員引入了一種新的框架，通過雅可比矩陣來分析神經網絡訓練，以解決上述問題。這種方法檢查了訓練參數相對於其初始值的雅可比，捕捉初始化如何塑造最終參數狀態。通過對這個矩陣應用奇異值分解，研究人員將訓練過程分解為三個不同的子空間：

• 混沌子空間
• 主體子空間
• 穩定子空間

這種分解提供了對初始化和數據結構對訓練動態影響的詳細理解，為神經網絡優化提供了新的視角。

這種方法涉及在初始參數周圍線性化訓練過程，使雅可比矩陣能夠映射初始化的小擾動在訓練過程中的傳播。奇異值分解揭示了雅可比譜中的三個不同區域。混沌區域包含大約 500 個顯著大於一的奇異值，代表參數變化在訓練過程中被放大的方向。主體區域有大約 3,000 個接近一的奇異值，對應於參數保持基本不變的維度。穩定區域有大約 750 個小於一的奇異值，表示變化被抑制的方向。這種結構化的分解突顯了參數空間方向對訓練進展的不同影響。

在實驗中，混沌子空間塑造了優化動態並放大了參數擾動。穩定子空間通過抑制變化來確保更平滑的收斂。有趣的是，儘管主體子空間佔據了 62% 的參數空間，但對於內部數據的行為影響很小，但對於遠離分佈的數據預測卻有顯著影響。例如，沿著主體方向的擾動幾乎不改變測試集的預測，而在混沌或穩定子空間中的擾動則可以改變輸出。將訓練限制在主體子空間使得梯度下降無效，而在混沌或穩定子空間中的訓練則達到了與不受限制的訓練相當的性能。這些模式在不同的初始化、損失函數和數據集上是一致的，顯示了所提出框架的穩健性。在一個隱藏層寬度為 64 的多層感知器 (MLP) 上，訓練於 UCI 數字數據集的實驗確認了這些觀察結果。

這項研究有幾個重要的結論：

• 混沌子空間包含大約 500 個奇異值，放大參數擾動，對塑造優化動態至關重要。
• 穩定子空間有大約 750 個奇異值，有效地抑制擾動，促進平穩和穩定的訓練收斂。
• 主體子空間佔據了 62% 的參數空間（大約 3,000 個奇異值），在訓練過程中基本保持不變。對內部數據的行為影響很小，但對遠離分佈的預測有顯著影響。
• 沿著混沌或穩定子空間的擾動會改變網絡輸出，而主體擾動幾乎不影響測試預測。
• 將訓練限制在主體子空間使優化無效，而在混沌或穩定子空間的訓練表現與完全訓練相當。
• 實驗一致地顯示這些模式在不同數據集和初始化中，突顯了這些發現的普遍性。

總之，這項研究引入了一種通過將參數更新分解為混沌、穩定和主體子空間來理解神經網絡訓練動態的框架。它突顯了初始化、數據結構和參數演變之間的複雜相互作用，提供了對訓練過程的寶貴見解。結果顯示，混沌子空間驅動優化，穩定子空間確保收斂，而主體子空間雖然龐大，但對內部數據行為的影響很小。這種細緻的理解挑戰了對均勻參數更新的傳統假設，為優化神經網絡提供了實用的途徑。

查看論文。這項研究的所有功勞都歸於這個項目的研究人員。此外，別忘了在 Twitter 上關注我們，加入我們的 Telegram 頻道和 LinkedIn 群組。別忘了加入我們的 60k+ 機器學習 SubReddit。

🚨 熱門消息：LG AI 研究發布 EXAONE 3.5：三個開源雙語前沿 AI 模型，提供無與倫比的指令跟隨和長上下文理解，為生成 AI 卓越的全球領導地位提供支持……。