可擴展圖神經網絡中的轉移學習以改善物理模擬

圖神經網絡模擬器的進步

近年來，基於圖神經網絡（GNN）的模型在模擬複雜物理系統方面顯示出良好的結果。然而，訓練專門的圖網絡模擬器可能會很昂貴，因為大多數模型需要完全監督的訓練。這意味著需要大量來自傳統模擬器生成的數據來訓練模型。至於如何應用遷移學習來改善模型性能和訓練效率，這方面仍然沒有被深入探討。

我們的研究方法

在這項工作中，我們介紹了一種針對圖網絡模擬器的預訓練和遷移學習方法。首先，我們提出了可擴展的圖 U-net（SGUNet）。通過引入創新的深度優先搜索（DFS）池化，SGUNet 可以根據不同的模擬任務調整不同的網格大小和解析度。為了實現不同配置的 SGUNet 之間的遷移學習，我們提出了一組映射函數，以對齊預訓練模型和目標模型之間的參數。我們還在損失函數中添加了一個額外的正則化項，以約束預訓練權重和目標模型權重之間的相似性，從而提高模型的泛化性能。

數據集的建立

接著，我們創建了一個數據集來進行模擬器的預訓練。這個數據集包含了20,000個物理模擬，這些模擬的3D形狀是從開源的 A Big CAD（ABC）數據集中隨機選擇的。我們展示了通過我們提出的遷移學習方法，使用少量訓練數據微調的模型可以達到比從頭開始訓練的模型更好的性能。在2D可變形板的測試中，我們的預訓練模型在使用1/16的訓練數據進行微調後，性能提高了11.05%，相比於從頭開始訓練的模型。