參數與FLOPs：混合專家語言模型最佳稀疏性的擴展法則

擴展語言模型的能力

擴展語言模型的能力一直被證明是一種可靠的方法，可以提高性能並解鎖新功能。能力主要可以通過兩個方面來定義：模型參數的數量和每個示例的計算量。雖然擴展通常涉及同時增加這兩者，但這些因素之間的具體相互作用及其對整體能力的貢獻仍然不完全清楚。我們在稀疏專家混合模型（Mixture-of-Experts, MoEs）的背景下探討這種關係，這種模型允許在不成比例增加每個示例的浮點運算（FLOPs）的情況下擴展參數的數量。

稀疏性對模型性能的影響

我們研究了不同的稀疏性水平，即不活躍參數的比例，如何影響模型在預訓練和下游少量樣本評估期間的性能。我們發現，在不同的限制條件下（例如，參數大小和總訓練計算量），存在一個最佳的稀疏性水平，可以提高訓練效率和模型性能。這些結果幫助我們更好地理解稀疏性在擴展法則中的影響，並補充了該領域現有的研究，為設計更高效的架構提供了見解。