圖形生成預訓練變壓器（G2PT）：一種自回歸模型，旨在通過下一個標記預測學習圖形結構

圖形生成是一個在許多領域中都很重要的任務，包括分子設計和社交網絡分析，因為它能夠模擬複雜的關係和結構化數據。儘管最近有了一些進展，許多圖形生成模型仍然依賴於鄰接矩陣表示。雖然這些方法有效，但計算需求高且靈活性不足。這使得在大型和稀疏圖中有效捕捉節點和邊之間的複雜依賴關係變得困難。目前的方法，包括基於擴散的模型和自回歸模型，在可擴展性和準確性方面面臨挑戰，這突顯了需要更精細的解決方案。

來自塔夫茨大學 (Tufts University)、東北大學 (Northeastern University) 和康奈爾大學 (Cornell University) 的研究人員開發了圖形生成預訓練變壓器 (Graph Generative Pre-trained Transformer, G2PT)，這是一種自回歸模型，旨在通過預測下一個標記來學習圖形結構。與傳統方法不同，G2PT使用基於序列的圖形表示，將節點和邊編碼為標記序列。這種方法簡化了建模過程，使其更加高效和可擴展。通過利用變壓器解碼器進行標記預測，G2PT生成的圖形保持結構完整性和靈活性。此外，G2PT可以適應下游任務，如目標導向的圖形生成和圖形屬性預測，使其成為多種應用的多功能工具。

技術見解和優勢

G2PT引入了一種基於序列的表示，將圖形劃分為節點和邊的定義。節點定義詳細說明了索引和類型，而邊的定義則概述了連接和標籤。這種方法不同於鄰接矩陣表示，專注於現有的邊，減少了稀疏性和計算複雜性。變壓器解碼器通過預測下一個標記有效地建模這些序列，提供了幾個優勢：

• 效率：通過僅處理現有邊，G2PT最小化了計算開銷。
• 可擴展性：該架構非常適合處理大型複雜圖形。
• 適應性：G2PT可以針對各種任務進行微調，增強其在分子設計和社交網絡分析等領域的實用性。

研究人員還探索了微調方法，用於目標導向生成和圖形屬性預測，擴大了模型的適用性。

實驗結果和見解

G2PT在各種數據集和任務中表現出色。在一般圖形生成中，它在七個數據集上的表現與現有模型相當或超過。在分子圖形生成中，G2PT顯示出高有效性和獨特性分數，反映了其準確捕捉結構細節的能力。例如，在MOSES數據集上，G2PTbase的有效性分數達到96.4%，獨特性分數為100%。

在目標導向生成中，G2PT通過拒絕採樣和強化學習等微調技術，將生成的圖形與期望屬性對齊。這些方法使模型能夠有效地調整其輸出。同樣，在預測任務中，G2PT的嵌入在分子屬性基準測試中提供了競爭力的結果，強化了其在生成和預測任務中的適用性。

結論

圖形生成預訓練變壓器 (G2PT) 代表了圖形生成的一個重要進步。通過採用基於序列的表示和變壓器建模，G2PT解決了傳統方法的許多限制。其高效性、可擴展性和適應性的結合，使其成為研究人員和實踐者的寶貴資源。雖然G2PT對圖形排序敏感，但進一步探索通用和表達性邊排序機制可能會增強其穩健性。G2PT展示了創新表示和建模方法如何推進圖形生成領域。

查看論文。所有研究的功勞都歸於這個項目的研究人員。此外，別忘了在Twitter上關注我們，加入我們的Telegram頻道和LinkedIn小組。別忘了加入我們的60k+機器學習SubReddit。

🚨 免費即將舉行的AI網絡研討會 (2025年1月15日)：通過合成數據和評估智能提升LLM準確性–參加這個網絡研討會，獲取提升LLM模型性能和準確性的可行見解，同時保護數據隱私。