神經運算子：一個用於在 PyTorch 中學習神經運算子的全新 Python 函式庫

運算子學習是一種在科學計算中具有變革性的方式。它專注於開發將函數映射到其他函數的模型，這對於解決偏微分方程 (PDEs) 是非常重要的。與傳統的神經網絡任務不同，這些映射在無限維空間中運作，使其特別適合於科學領域，因為現實世界的問題本質上存在於廣泛的數學框架中。這種方法在氣象預測、流體動力學和結構分析等應用中至關重要，因為在這些領域中，對高效和準確計算的需求往往超過了目前方法的能力。

科學計算長期以來一直面臨解決 PDEs 的基本挑戰。傳統的數值方法依賴於離散化，將連續問題分解為有限的片段以便進行計算。然而，這些解決方案的準確性在很大程度上取決於計算網格的解析度。高解析度的網格提供精確的結果，但卻需要大量的計算能力和時間，這使得它們在大規模模擬或參數掃描中往往不切實際。此外，不同離散化之間缺乏通用性進一步限制了這些方法的適用性。在這個領域中，對於能夠處理多樣且複雜數據的穩健、與解析度無關的解決方案的需求仍然是一個未解決的挑戰。

在現有的 PDE 工具包中，機器學習模型已被探索作為傳統數值技術的替代方案。這些模型，包括前饋神經網絡，直接從輸入參數近似解決方案，從而繞過了一些計算開銷。雖然這些方法提高了計算速度，但它們受到固定離散化框架的限制，這限制了它們對新數據解析度的適應性。快速傅立葉變換 (FFT) 等技術也有助於在規則網格上進行高效計算。然而，這些方法在應用於函數空間時缺乏靈活性和可擴展性，暴露出研究人員希望解決的關鍵限制。

NVIDIA 和加州理工學院 (Caltech) 的研究人員推出了 NeuralOperator，一個新的 Python 庫，旨在解決這些不足。NeuralOperator 重新定義了運算子學習，通過實現函數空間的映射，同時確保在離散化上的靈活性。它建立在 PyTorch 基礎上，提供了一個易於使用的平台，讓用戶可以訓練和部署神經運算子模型，解決基於 PDE 的問題，而不受離散化的限制。這個工具模組化且穩健，適合新手和進階的科學機器學習從業者。該庫的設計原則強調與解析度無關性，確保在一種解析度上訓練的模型可以無縫適應其他解析度，這是傳統神經網絡的一個重大進步。

NeuralOperator 的技術基礎在於其使用積分變換作為核心機制。這些變換允許在不同的離散化之間映射函數，利用譜卷積等技術來提高計算效率。傅立葉神經運算子 (FNO) 使用這些譜卷積層，並引入張量分解來減少內存使用，同時提高性能。張量化傅立葉神經運算子 (TFNOs) 通過架構改進進一步優化了這一過程。幾何信息神經運算子 (GINOs) 也納入了幾何數據，使模型能夠適應不同的領域，例如不規則網格。NeuralOperator 也支持超解析度任務，其中輸入和輸出數據在不同解析度下運作，擴大了其在科學應用中的多樣性。

對基準數據集進行的測試，包括達西流 (Darcy Flow) 和納維-斯托克斯方程 (Navier-Stokes equations)，顯示出相較於傳統方法的顯著改進。例如，FNO 模型在高解析度網格上預測流體動力學時的誤差率低於 2%。該庫還支持分佈式訓練，使得在計算集群上進行大規模運算子學習成為可能。混合精度訓練等特性進一步提高了其實用性，通過減少內存需求，能夠高效處理大型數據集和複雜問題。

研究的關鍵要點強調了 NeuralOperator 在科學計算中的潛力：

• NeuralOperator 模型在不同的離散化之間無縫泛化，確保在各種應用中的靈活性和適應性。
• 張量分解和混合精度訓練等技術減少了資源消耗，同時保持準確性。
• 該庫的組件適合初學者和進階用戶，能夠快速實驗和整合到現有工作流程中。
• 通過支持達西流和納維-斯托克斯等方程的數據集，NeuralOperator 適用於廣泛的領域。
• FNOs、TFNOs 和 GINOs 融合了尖端技術，提高了性能和可擴展性。

總結來說，這項研究的發現為科學計算中長期存在的挑戰提供了一個穩健的解決方案。NeuralOperator 能夠處理無限維函數映射、其與解析度無關的特性以及高效的計算，使其成為解決 PDEs 的不可或缺的工具。此外，其模組化和以用戶為中心的設計降低了新用戶的入門門檻，同時為經驗豐富的研究人員提供了先進的功能。作為一個可擴展和適應性強的框架，NeuralOperator 有望顯著推進科學機器學習的領域。

查看論文 1、論文 2 和 GitHub 頁面。所有研究的功勞都歸於這個項目的研究人員。此外，別忘了在 Twitter 上關注我們，加入我們的 Telegram 頻道和 LinkedIn 群組。還有，別忘了加入我們的 60k+ ML SubReddit。

🚨 熱門消息：LG AI 研究發布 EXAONE 3.5：三個開源雙語前沿 AI 模型，提供無與倫比的指令跟隨和長上下文理解，為全球生成 AI 卓越領導地位提供支持……。