清華大學研究人員提出 ReMoE：一種具有 ReLU 路由的完全可微 MoE 架構

Transformer模型的發展顯著推進了人工智慧的進步，並在各種任務中展現了卓越的表現。然而，這些進步通常伴隨著高昂的計算需求，這在擴展性和效率上帶來挑戰。稀疏激活的專家混合模型（Mixture-of-Experts, MoE）架構提供了一個有希望的解決方案，能在不成比例增加計算成本的情況下，提高模型的容量。然而，傳統的TopK+Softmax路由在MoE模型中面臨著明顯的限制。TopK路由的離散性和不可微分性妨礙了擴展性和優化，而確保專家之間的平衡使用仍然是一個持續的問題，導致效率低下和性能不佳。

清華大學的研究人員提出了ReMoE（基於ReLU的專家混合模型），這是一種新的架構，旨在解決這些限制。ReMoE用基於ReLU的機制取代了傳統的TopK+Softmax路由，實現了完全可微分的路由過程。這種設計簡化了架構，並與現有的MoE系統無縫整合。

ReMoE使用ReLU激活函數來動態確定專家的激活狀態。與TopK路由僅根據離散概率分佈激活前k個專家不同，ReLU路由在激活和非激活狀態之間平滑過渡。激活專家的稀疏性通過自適應L1正則化來控制，確保高效計算的同時保持高性能。這種可微分的設計還允許在標記和層之間動態分配資源，根據個別輸入的複雜性進行調整。

技術細節與優勢

ReMoE的創新在於其路由機制。通過用連續的基於ReLU的方法取代不連續的TopK操作，ReMoE消除了專家激活的突變，確保了更平滑的梯度更新和訓練過程中的穩定性。此外，ReMoE的動態路由機制允許根據標記的複雜性調整活躍專家的數量，促進了資源的有效利用。

為了解決某些專家可能未被充分利用的問題，ReMoE在其L1正則化中納入了自適應負載平衡策略。這一改進確保了標記分配在專家之間的公平分配，提高了模型的容量和整體性能。與傳統的MoE模型相比，該架構的擴展性在於能夠處理更多的專家和更細的粒度。

性能洞察與實驗結果

廣泛的實驗表明，ReMoE在性能上始終優於傳統的MoE架構。研究人員使用LLaMA架構對ReMoE進行測試，訓練了不同大小（182M到978M參數）和不同數量專家（4到128）的模型。主要發現包括：

• 性能提升：ReMoE在驗證損失和下游任務準確性上優於TopK路由的MoE模型。
• 擴展性：隨著專家數量的增加，ReMoE與傳統MoE之間的性能差距擴大，顯示出ReMoE的擴展性。
• 資源分配效率：ReMoE動態地將計算資源分配給更複雜的標記，優化性能的同時保持效率。

例如，在ARC、BoolQ和LAMBADA等下游任務中，ReMoE顯示出相對於密集型和TopK路由的MoE模型有可測量的準確性提升。訓練和推理吞吐量分析顯示，ReMoE的可微分設計引入的計算開銷最小，使其適合實際應用。

結論

ReMoE在專家混合架構中標誌著一個深思熟慮的進步，通過解決TopK+Softmax路由的限制。基於ReLU的路由機制，結合自適應正則化技術，確保了ReMoE的高效和適應性。這一創新突顯了重新審視基礎設計選擇以實現更好擴展性和性能的潛力。通過提供一種實用且資源意識強的方案，ReMoE為推進人工智慧系統以滿足日益增長的計算需求提供了寶貴的工具。

查看論文和GitHub頁面。所有研究的功勞都歸於這個項目的研究人員。此外，別忘了在Twitter上關注我們，加入我們的Telegram頻道和LinkedIn小組。也別忘了加入我們的60k+ ML SubReddit。

🚨 熱門消息：LG AI研究部門發布EXAONE 3.5：三個開源雙語前沿AI級模型，提供無與倫比的指令跟隨和長上下文理解，為生成AI卓越的全球領導地位奠定基礎……