深度學習在應用於大型物理系統時面臨困難，尤其是在不規則網格上，當互動發生在長距離或多個尺度時，處理這些複雜性變得更加困難。隨著節點數量的增加，這些挑戰變得更為明顯。許多技術在解決這些大型問題時遇到困難，導致計算成本高且效率低下。一些主要問題包括捕捉長距離效應、處理多尺度依賴性，以及在資源使用最小的情況下進行高效計算。這些問題使得在分子模擬、天氣預測和粒子力學等領域有效應用深度學習模型變得困難，因為這些領域通常涉及大型數據集和複雜的互動。
目前，深度學習方法在擴展注意力機制以應對大型物理系統方面仍然存在挑戰。傳統的自注意力計算所有點之間的互動，導致極高的計算成本。一些方法將注意力應用於小區域，例如用於圖像的SwinTransformer，但不規則數據需要額外步驟來結構化。像PointTransformer這樣的技術使用填充曲線，但這可能會破壞空間關係。層次方法，如H-transformer和OctFormer，將數據分組到不同層次，但依賴於昂貴的操作。集群注意力方法通過聚合點來減少複雜性，但這個過程會損失細節，並且在多尺度互動中表現不佳。
為了解決這些問題，阿姆斯特丹大學的AMLab和CuspAI的研究人員推出了Erwin，一種層次變壓器，通過球樹分區提高數據處理效率。這種注意力機制使得通過球樹分區在集群之間進行並行計算，並以層次方式結構化計算。這種方法在不犧牲準確性的情況下，最小化了計算複雜性，彌合了基於樹的方法的效率和注意力機制的通用性之間的差距。Erwin在局部區域使用自注意力，並結合位置編碼和基於距離的注意力偏差來捕捉幾何結構。跨球連接促進了各個部分之間的通信，樹的粗化和細化機制平衡了全局和局部互動。這個有組織的過程保證了可擴展性和表達能力，同時保持最低的計算開支。
研究人員進行了實驗來評估Erwin。它在宇宙學模擬中超越了等變和非等變基準，捕捉長距離互動，並隨著訓練數據集的增大而改進。在分子動力學方面，它加速了模擬速度，達到1.7到2.5倍，而不影響準確性，超越了MPNN和PointNet++的運行時間，同時保持競爭性的測試損失。在湍流流體動力學中，Erwin超越了MeshGraphNet、GAT、DilResNet和EAGLE，在壓力預測方面表現優異，速度是EAGLE的三倍，並且使用的內存是其八分之一。在宇宙學中，較大的球體大小提高了性能，保持了長距離依賴性，但增加了計算運行時間，並且在嵌入步驟中應用MPNN改善了分子動力學中的局部互動。
這種層次變壓器設計有效地處理大型物理系統，通過球樹分區獲得了宇宙學和分子動力學的最新結果。儘管其優化結構在表達能力和運行時間之間做出了妥協，但它在填充和高內存需求方面仍存在計算開銷。未來的工作可以研究可學習的池化和其他幾何編碼策略，以提高效率。Erwin在所有領域的性能和可擴展性使其成為建模大型粒子系統、計算化學和分子動力學發展的參考點。
查看論文和GitHub頁面。所有研究的功勞都歸於這個項目的研究人員。此外，隨時關注我們的Twitter，並且不要忘記加入我們的80k+ ML SubReddit。
🚨 推薦閱讀 – LG AI Research發布NEXUS：一個先進的系統，整合代理AI系統和數據合規標準，以解決AI數據集中的法律問題。
新聞來源
本文由 AI 台灣 運用 AI 技術編撰，內容僅供參考，請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團，
隨時掌握最新 AI 動態與實用資訊！
