物理知識驅動神經網絡的必要評審論文：實務工作者的精選指南

在快速成長的研究領域中，保持領先從來都不是一件容易的事。

作為一名從事物理知識驅動神經網絡 (PINNs) 的實踐者，我親身面對這個挑戰。新的論文，無論是算法進步還是尖端應用，都是由學術界和工業界以加速的速度發表。雖然看到這種快速發展令人興奮，但這不可避免地引發了一個迫切的問題：

如何在不花費無數小時篩選論文的情況下保持資訊更新？

這就是我發現綜述論文特別有價值的地方。好的綜述論文是有效的工具，能提煉出重要的見解並突出重要的趨勢。它們是節省時間的好幫手，幫助我們在資訊的洪流中找到方向。

在這篇博客文章中，我想與你分享我個人精選的必讀PINNs綜述論文清單，這些論文對我理解和使用PINNs特別有影響。這些論文涵蓋了PINNs的關鍵方面，包括算法開發、實施最佳實踐和現實世界的應用。

除了現有文獻中的內容，我還包括了我自己的綜述論文，該論文提供了對PINNs常見功能使用模式的全面分析——這是一個在學術綜述中經常缺失的實用視角。這項分析基於我在過去三年中對約200篇PINNs的arXiv論文的回顧，涵蓋了各種工程領域，並可以為希望將這些技術應用於解決現實挑戰的實踐者提供重要指導。

對於每篇綜述論文，我將解釋為什麼它值得你的注意，並說明其獨特的觀點和你可以立即受益的實用收穫。

無論你是剛開始接觸PINNs，還是使用它們來解決現實問題，或是探索新的研究方向，我希望這個集合能使你在繁忙的PINN研究領域中更容易導航。

讓我們一起簡化複雜性，專注於真正重要的事情。

1️⃣ 透過物理知識驅動神經網絡的科學機器學習：我們的現狀和未來方向

📄 論文概覽

🔍 內容涵蓋

作者：S. Cuomo、V. Schiano di Cola、F. Giampaolo、G. Rozza、M. Raissi 和 F. Piccialli

年份：2022

連結：arXiv

這篇綜述圍繞PINNs的關鍵主題結構，涵蓋定義其架構的基本組件、學習過程的理論方面以及它們在工程中應對各種計算挑戰的應用。該論文還探討了可用的工具集、新興趨勢和未來方向。

✨ 獨特之處

這篇綜述論文在以下幾個方面脫穎而出：

• 最佳的PINN基礎介紹。這篇論文以良好的節奏從基礎開始解釋PINNs。第二部分系統地剖析了PINN的構建塊，涵蓋了各種基礎神經網絡架構及其相關特徵、如何納入偏微分方程約束、常見的訓練方法和PINNs的學習理論（收斂、誤差分析等）。
• 將PINNs放在歷史背景中。這篇論文不僅僅將PINNs作為獨立的解決方案，而是追溯了它們從早期使用深度學習解決微分方程的工作發展而來。這種歷史框架是有價值的，因為它幫助解開了PINNs的神秘面紗，讓實踐者更容易看到可用的替代方案。
• 基於方程的組織。這篇論文不是像許多其他綜述那樣僅僅按科學領域（例如地球科學、材料科學等）對PINN研究進行分類，而是根據它們解決的微分方程類型（例如擴散問題、對流問題等）對PINNs進行分類。這種以方程為首的視角促進了知識的轉移，因為同一組偏微分方程可以在多個科學領域中使用。此外，這使得實踐者更容易看到PINNs在處理不同類型的微分方程時的優勢和劣勢。

🛠 實用資源

除了理論見解，這篇綜述論文還為實踐者提供了立即有用的資源：

• 完整的實施範例。在第三部分中，這篇論文詳細介紹了如何實施PINN來解決一維非線性薛丁格方程。它涵蓋了如何將方程轉換為PINN公式、處理邊界和初始條件、定義神經網絡架構、選擇訓練策略、選擇協同點和應用優化方法。所有實施細節都清晰記錄，便於重現。該論文通過變化不同的超參數來比較PINN性能，這可能為你的PINN實驗提供立即適用的見解。
• 可用的框架和軟件工具。第三表彙編了一個主要PINN工具包的綜合列表，第四部分提供了詳細的工具描述。考慮的後端不僅包括Tensorflow和PyTorch，還有Julia和Jax。這種不同框架的並排比較對於選擇適合你需求的工具特別有用。

💡 誰會受益

這篇綜述論文對於任何新接觸PINNs並尋求清晰結構介紹的人都會有幫助。

尋求實用實施指導的工程師和開發人員會發現，現實的實踐演示和對現有PINN框架的徹底比較特別有趣。此外，他們還可以找到與他們當前問題相似的微分方程的相關先前工作，這提供了他們可以利用的見解。

研究PINN收斂、優化或效率理論方面的研究人員也可以從這篇論文中獲益良多。

2️⃣ 從PINNs到PIKANs：物理知識驅動機器學習的最新進展

📄 論文概覽

🔍 內容涵蓋

作者：J. D. Toscano、V. Oommen、A. J. Varghese、Z. Zou、N. A. Daryakenari、C. Wu 和 G. E. Karniadakis

年份：2024

連結：arXiv

這篇論文提供了對PINNs最新進展的最新概述。它強調了網絡設計、特徵擴展、優化策略、不確定性量化和理論見解的改進。該論文還調查了各個領域的關鍵應用。

✨ 獨特之處

這篇綜述論文在以下幾個方面脫穎而出：

• 結構化的算法發展分類。這篇論文的一個新貢獻是其算法進展的分類。這種新的分類方案優雅地將所有進展分為三個核心領域：（1）表示模型，（2）處理控制方程，以及（3）優化過程。這種結構為理解當前發展和未來研究的潛在方向提供了清晰的框架。此外，論文中使用的插圖質量上乘，易於理解。
• 聚焦於物理知識驅動的Kolmogorov–Arnold網絡（KAN）。KAN是一種基於Kolmogorov–Arnold表示定理的新架構，目前在深度學習中是一個熱門話題。在PINN社區中，已經有一些工作將多層感知器（MLP）表示替換為KAN，以獲得更高的表達能力和訓練效率。這個新研究方向缺乏全面的綜述。這篇綜述論文（第三部分）正好填補了這一空白。
• 對PINNs中的不確定性量化（UQ）的回顧。UQ對於在處理現實世界工程應用時可靠和可信的PINNs部署至關重要。在第五部分中，這篇論文提供了一個專門的UQ部分，解釋了在使用PINNs解決微分方程時不確定性的常見來源，並回顧了量化預測信心的策略。
• PINN訓練動態的理論進展。在實踐中，訓練PINNs並不是一件簡單的事。實踐者常常困惑於為什麼PINNs訓練有時會失敗，或者他們應該如何最佳訓練。在第六部分中，這篇論文提供了對這一方面最詳細和最新的討論，涵蓋了PINNs的神經切線核（NTK）分析、信息瓶頸理論和多目標優化挑戰。

🛠 實用資源

儘管這篇綜述論文偏向於理論，但從實用的角度出發，有兩個特別有價值的方面：

• PINNs算法進展的時間線。在附錄A表中，這篇論文跟踪了PINNs的關鍵進展的里程碑，從原始PINN公式到最近擴展到KAN的進展。如果你正在進行算法改進，這個時間線讓你清楚地看到已經完成的工作。如果你在PINN訓練或準確性方面遇到困難，可以利用這個表格找到可能解決你問題的現有方法。
• 跨領域的PINN應用概述。與所有其他綜述相比，這篇論文努力提供對PINN應用的最全面和最新的覆蓋，不僅在工程領域，還包括其他較少被覆蓋的領域，如金融。實踐者可以輕鬆找到在他們的領域中進行的先前工作，並獲得靈感。

💡 誰會受益

對於在需要信心區間或可靠性估計的安全關鍵領域工作的實踐者，UQ的討論將會有用。如果你在PINN訓練不穩定、收斂緩慢或意外失敗方面遇到困難，PINN訓練動態的討論可以幫助你解開這些問題背後的理論原因。

研究人員可能會對這篇論文特別感興趣，因為新的分類使他們能夠看到模式並識別空白和新貢獻的機會。此外，對PI-KAN前沿工作的回顧也可能會激發靈感。

3️⃣ 物理知識驅動神經網絡：以應用為中心的指南

📄 論文概覽

作者：S. Guo（本作者）

年份：2024

連結：Medium

🔍 內容涵蓋

這篇文章回顧了PINNs如何用於解決不同類型的工程任務。對於每個任務類別，文章討論了問題陳述、為什麼PINNs有用、如何實施PINNs來解決問題，並隨後提供了文獻中發表的具體案例。

✨ 獨特之處

與大多數綜述根據解決的微分方程類型或特定工程領域進行分類不同，這篇文章選擇了一個實踐者最關心的角度：PINNs解決的工程任務。這項工作基於對散布在各個工程領域的PINN案例研究論文的回顧。結果是一個提煉出的PINNs重複功能使用模式的清單：

• 預測建模和模擬，利用PINNs進行動態系統預測、耦合系統建模和代理建模。
• 優化，PINNs通常用於實現高效的設計優化、反向設計、模型預測控制和優化傳感器佈局。
• 數據驅動見解，PINNs用於識別系統的未知參數或功能形式，以及同化觀測數據以更好地估計系統狀態。
• 數據驅動增強，PINNs用於重建場景並提高觀測數據的解析度。
• 監測、診斷和健康評估，PINNs被用作虛擬傳感器、異常檢測器、健康監測器和預測維護者。

🛠 實用資源

這篇文章將實踐者的需求放在首位。雖然大多數現有的綜述論文僅僅回答“PINN在我的領域中是否被使用？”的問題，但實踐者通常尋求更具體的指導：“PINN是否用於我正在嘗試解決的問題類型？”這正是這篇文章試圖解決的問題。

通過使用提出的五類功能分類，實踐者可以方便地將他們的問題映射到這些類別，看看其他人是如何解決這些問題的，以及哪些方法有效，哪些無效。實踐者可以利用已建立的用例，將經過驗證的解決方案適應到自己的問題中，而無需重新發明輪子。

💡 誰會受益

這篇綜述最適合希望了解PINNs在現實世界中實際使用情況的實踐者。對於跨學科創新也特別有價值，因為實踐者可以學習其他領域開發的解決方案。

4️⃣ 專家指南：訓練物理知識驅動神經網絡

📄 論文概覽

作者：S. Wang、S. Sankaran、H. Wang、P. Perdikaris

年份：2023

連結：arXiv

🔍 內容涵蓋

儘管這篇論文並不以“標準”綜述自居，但它全力提供了一本關於訓練PINNs的綜合手冊。它提供了一套詳細的最佳實踐，解決了譜偏差、不平衡損失項和因果性違反等問題。它還引入了具有挑戰性的基準和廣泛的消融研究，以展示這些方法。

✨ 獨特之處

• 統一的“專家指南”。主要作者是PINNs的活躍研究人員，過去幾年來一直致力於提高PINN訓練效率和模型準確性。這篇論文是作者過去工作的提煉總結，將一系列最近的PINN技術（例如，傅里葉特徵嵌入、自適應損失加權、因果訓練）整合成一個連貫的訓練流程。這就像有一位導師告訴你什麼有效、什麼無效。
• 徹底的超參數調整研究。這篇論文進行了各種實驗，展示了不同的調整（例如，不同的架構、訓練方案等）在不同的PDE任務中的效果。他們的消融研究清楚地顯示了哪些方法能夠改進性能，改進的幅度有多大。
• PDE基準。這篇論文彙編了一套具有挑戰性的PDE基準，並提供了PINNs可以達到的最先進結果。

🛠 實用資源

問題解決備忘單。這篇論文詳細記錄了各種技術，以解決常見的PINN訓練痛點。每種技術都使用結構化格式清晰呈現：為什麼（動機）、如何（方法如何解決問題）和什麼（實施細節）。這使得實踐者能夠根據在PINN訓練過程中觀察到的“症狀”輕鬆識別“療法”。值得一提的是，作者透明地討論了每種方法的潛在陷阱，使實踐者能夠做出明智的決策和有效的權衡。

經驗見解。這篇論文分享了從廣泛的超參數調整實驗中獲得的有價值的經驗見解。它提供了有關選擇合適超參數（例如，網絡架構和學習率計劃）的實用指導，並展示了這些參數如何與提出的先進PINN訓練技術互動。

即用型庫。這篇論文附帶了一個優化的JAX庫，實踐者可以直接採用或自定義。該庫支持多GPU環境，並準備擴展到大規模問題。

💡 誰會受益

在PINN訓練不穩定或緩慢的實踐者可以找到許多實用策略來修復常見問題。他們還可以從簡單的模板（在JAX中）中受益，快速將PINNs適應到自己的PDE設置中。

尋求具有挑戰性的基準問題並希望將新的PINN想法與良好記錄的基準進行比較的研究人員將會發現這篇論文特別有用。

5️⃣ 特定領域的綜述論文

除了PINNs的一般綜述外，還有幾篇不錯的綜述論文專注於特定的科學和工程領域。如果你在這些領域工作，這些綜述可能會提供更深入的最佳實踐和尖端應用。

1. 熱傳遞問題

論文：用於熱傳遞問題的物理知識驅動神經網絡

這篇論文提供了關於如何使用PINNs解決各種熱工程問題的應用中心討論，包括反向熱傳遞、對流主導流動和相變建模。它突出了現實世界中的挑戰，例如缺失的邊界條件、傳感器驅動的反向問題和自適應冷卻系統設計。與電力電子相關的工業案例研究對於理解PINNs在實踐中的使用特別有啟發性。

2. 電力系統

論文：物理知識驅動神經網絡在電力系統中的應用——綜述

這篇論文提供了一個結構化的概述，說明PINNs如何應用於關鍵的電網挑戰，包括狀態/參數估計、動態分析、功率流計算、最佳功率流（OPF）、異常檢測和模型綜合。對於每種類型的應用，該論文討論了傳統電力系統解決方案的缺點，並解釋了為什麼PINNs在解決這些缺點方面可能具有優勢。這種比較總結有助於理解採用PINNs的動機。

3. 流體力學

論文：流體力學中的物理知識驅動神經網絡（PINNs）：綜述

這篇論文探討了三個詳細的案例研究，展示了PINNs在流體動力學中的應用：（1）使用稀疏的2D速度數據進行3D尾流重建，（2）可壓縮流中的反向問題（例如，使用最少的邊界數據預測衝擊波），以及（3）生物醫學流動建模，其中PINNs從相場數據中推斷血栓材料特性。該論文突出了PINNs如何克服傳統計算流體力學（CFD）的限制，例如網格依賴性、昂貴的數據同化和處理不適定反向問題的困難。

4. 添加製造

論文：用於監控金屬添加製造過程的物理知識驅動機器學習綜述

這篇論文檢視了PINNs如何解決特定於添加製造過程預測或監控的關鍵挑戰，包括溫度場預測、流體動力學建模、疲勞壽命估算、加速有限元模擬和過程特徵預測。

6️⃣ 結論

在這篇博客文章中，我們回顧了一系列關於PINNs的綜述論文，涵蓋了基本的理論見解、最新的算法進展和以應用為導向的視角。對於每篇論文，我們突出了獨特的貢獻、關鍵收穫以及最能受益於這些見解的受眾。我希望這個精選的集合能幫助你更好地導航不斷演變的PINNs領域。