PyG-SSL：一個開源圖形自我監督學習庫，兼容各種深度學習和科學計算後端

社交媒體、分子生物學和推薦系統等複雜領域擁有圖形結構的數據，這些數據由節點、邊和它們各自的特徵組成。這些節點和邊之間沒有固定的關係，因此使用圖神經網絡（GNNs）來處理它們是非常重要的。然而，GNNs 依賴於標記數據，而這些數據的獲取既困難又昂貴。自我監督學習（SSL）是一種不斷發展的方法，它利用未標記的數據來生成監督信號。針對圖形的自我監督學習面臨著一些挑戰，例如領域特異性、缺乏模塊化和學習曲線陡峭。為了解決這些問題，來自伊利諾伊大學厄本那-香檳分校（University of Illinois Urbana-Champaign）、韋恩州立大學（Wayne State University）和Meta AI的研究團隊開發了PyG-SSL，這是一個開源工具包，旨在推進圖形自我監督學習。

目前的圖形自我監督學習（GSSL）方法主要集中在自我生成的任務、圖形增強和對比學習上。自我生成的任務包括節點級、邊級和圖級的任務，這些任務幫助模型在不需要標記數據的情況下學習有用的表示。圖形增強則是通過刪除、遮罩或隨機排列來進行，這樣可以提高模型的穩健性和泛化能力。然而，現有的GSSL框架是為特定應用設計的，需要大量的自定義。此外，開發和測試新的SSL方法耗時且容易出錯，缺乏模塊化和可擴展的框架。因此，需要一個新的過程來解決現有GSSL實現的碎片化問題，以及缺乏統一工具包的問題，這限制了各種GSSL方法的標準化和基準測試。

所提出的工具包PyG-SSL標準化了圖形SSL方法的實現和評估。PyG-SSL的主要特點包括：

• 全面支持：這個工具包整合了多種最先進的方法，形成統一框架，讓研究人員可以選擇最適合其特定應用的方法。
• 模塊化：PyG-SSL允許通過混合一種或多種技術來創建量身定制的解決方案。管道也可以自定義，而不需要大量重新配置。
• 基準和數據集：這個工具包預裝了標準數據集和評估協議，讓研究人員可以輕鬆基準測試他們的發現並確保驗證。
• 性能優化：PyG-SSL工具包設計用於高效處理大型數據集，優化了快速訓練時間和降低計算需求。

這個工具包已在多個數據集和SSL方法上進行了嚴格測試，證明了它在標準化和推進圖形SSL研究方面的有效性。PyG-SSL提供了各種SSL方法的參考實現，確保實驗結果的可重複性和可比較性。實驗結果顯示，將PyG-SSL整合到現有的GNN架構中，可以通過正確利用未標記數據來提高其在下游任務上的性能。

PyG-SSL標誌著圖形自我監督學習的一個重要里程碑，解決了與標準化、可重複性和可及性相關的長期挑戰。PyG-SSL通過其統一、模塊化和可擴展的工具包，提供了獲得最先進結果的可能性，簡化了創新圖形SSL方法的開發。PyG-SSL可以在這個快速發展的領域中，推進基於圖形的機器學習應用。

請查看論文和GitHub頁面。所有研究的功勞都歸於這個項目的研究人員。此外，別忘了在Twitter上關注我們，加入我們的Telegram頻道和LinkedIn小組。還有，別忘了加入我們的60k+機器學習SubReddit。

🚨 免費即將舉行的AI網絡研討會（2025年1月15日）：通過合成數據和評估智能提升LLM準確性——參加這個網絡研討會，獲取提升LLM模型性能和準確性的可行見解，同時保護數據隱私。