非同步私有聯邦學習中的動量近似

研究簡介

這篇論文已被接受，將在2024年NeurIPS國際會議上展示，會議主題是聯邦基礎模型（FL@FM-NeurIPS’24）。

非同步協議的優勢

研究顯示，非同步協議可以提升聯邦學習（FL）在擁有大量客戶端時的擴展性。同時，基於動量的方法在同步的FL中能夠達到最佳的模型品質。然而，若在非同步FL算法中簡單地應用動量，會導致收斂速度變慢和模型性能下降。目前仍不清楚如何有效地將這兩種技術結合，以達到雙贏的效果。

解決方案

在這篇論文中，我們發現非同步性會對動量更新引入隱性偏差。為了解決這個問題，我們提出了一種動量近似方法，通過找到所有歷史模型更新的最佳加權平均來最小化偏差。這種動量近似方法與安全聚合和差分隱私相容，並且可以輕鬆地整合進生產中的FL系統，所需的通訊和儲存成本很小。

實驗結果

我們的實驗顯示，在基準FL數據集上，動量近似方法相比現有的非同步FL優化器，能夠在收斂速度上實現1.15到4倍的提升。