MOE與MOT：提升LLM效能的關鍵策略比較

事實證明，LLM的表現與模型大小和可擴展性呈正相關。這種擴展伴隨著計算資源的擴展，也就是說，模型越大，成本就越高。

基于參數計數的 LLM 性能

這是該行業面臨的最大挑戰之一。雖然專家混合（Mixture of Experts：MOE）最近被大肆宣傳用于改進Transformer模型，但機器學習人員發現了一種更有前途的新方法——令牌混合（Mixture of Tokens：MOT）。MOE在嘗試不同模型時表現出的某些缺點導致需要其他方法。在這篇博文中，我們將討論這些新技術，并研究 MoT 在保持訓練和推理成本的同時擴展大型語言模型的方式。

Mixture of Experts

Mixture of Experts 因顯著優化 Transformer 的可擴展性而聞名。要理解這一點，我們首先要了解這些“專家”是誰。在 MoE 中，專家是專門執行一項或多項任務的模型。在標準Transformer模型中，令牌(token)由標準前饋層處理。MoE 沒有采用這種方法，而是將每個token定向到一組專家以及一個稱為控制器的小型網絡。該控制器確保每個令牌僅由一小部分專家處理。

開關Transformer將每個令牌發送給控制器產生的得分最高的一位專家。這項技術導致參數大幅減少——從 1.6T 模型（T5 架構）到等效 1.4B vanilla Transformer 的 FLOPS 成本。

專家選擇提供了一種略有不同的方法。不是讓token選擇前 k 個專家，而是專家自己選擇前 k 個token。該方法保證了均勻的負載平衡（每個專家接收相同數量的令牌），并在訓練效率和下游性能方面取得了顯著的進步。然而，存在某些Token不被選擇的風險。

MoE 方法：從左到右：標準前饋、開關、專家選擇

當前方法的局限性

雖然大參數 MoE 架構的性能令人印象深刻，但它們在訓練和推理過程中面臨著一系列新的挑戰。最值得注意的是：

訓練不穩定性：這種方法謹慎地選擇專家并將其與token匹配。這意味著控制器權重的微小變化可能會對控制器決策產生不成比例的影響。

負載不平衡： MoE 的問題是我們無法有效地平衡令牌和專家的分配方式，因為路由網絡的選擇沒有受到有效的限制。這就是為什么有些令牌沒有任何專家來處理它們（令牌丟棄），并且幾乎所有令牌都只分配給少數專家（模型崩潰）。

信息泄漏：一些成功的 MoE 方法將序列中不同位置的令牌一起處理（即，通過比較批次中所有令牌的分數）。這造成了序列內信息泄漏并阻礙了它們在自回歸解碼中的實用性。

知識混合性：由于專家數量有限，傳統 MoE 架構中的專家通常會積累廣泛的知識。這種廣泛的知識庫削弱了個別專家的專業性和有效性。

知識冗余：多個專家在學習相似信息時有趨同的傾向，導致知識領域重疊和模型參數使用效率低下。

在他們最近的論文中，Cohere AI 的科學家討論了解決MOE主要挑戰之一的方法——必須將所有專家存儲在內存中。他們通過將 MoE 架構與輕量級專家獨特地結合起來，提出了參數極其高效的 MoE。他們的 MoE 架構優于標準 PEFT 方法，并且僅通過更新輕量級專家即可達到完全微調的效果——不到 11B 參數模型的 1%。

解決MOE的限制

在他們最近的論文中，Cohere AI 的科學家討論了解決MOE主要挑戰之一的方法——將所有專家存儲在內存中。他們通過將 MoE 架構與輕量級專家獨特地結合起來，提出了一種參數極其高效的 MoE。他們的 MoE 架構優于標準 PEFT 方法，并且僅通過更新輕量級專家即可達到完全微調的效果——不到 11B 參數模型的 1%。

最近的一篇論文討論了 MoE 的最后兩個局限性，并提出了一種解決這些問題的新技術——DeepSeekMoE。這是新的 MoE 架構，旨在通過采用兩個關鍵策略來增強專家專業化：細粒度專家分割和共享專家隔離。

細粒度專家分割（Fine-grained expert segmentation）涉及細分 FFN 中間隱藏維度，從而允許細粒度專家之間更細致地分配知識。這種細分使每個專家能夠專注于更具體的知識領域，從而在保持恒定的計算成本的同時實現更高水平的專業化。

同時，共享專家隔離（shared expert isolation）策略將特定專家指定為“共享”，負責捕獲不同背景下的共同知識。通過將一般知識集中在這些共享專家上，減少了其他專家學習過程中的冗余。這種方法提高了參數效率，并確保每位專家始終專注于獨特且獨特的知識領域。

DeepSeekMoE。在這三種架構中，專家參數的數量和計算成本保持不變

DeepSeekMoE 經過擴展可訓練 16B 模型，只需約 40% 的計算量，即可實現與 DeepSeek 7B 和 LLaMA2 7B 相當的性能。研究人員還計劃將 DeepSeekMoE 擴展到 145B，突出其相對于 GShard 架構的優勢，并展示與 DeepSeek 67B 相當的性能。

Token混合（Mixture of Tokens）

MoE 的幾個缺點導致了混合Token（MoT）的興起。這種對方法的輕微修改解決了所討論的方法帶來的許多問題。MoT 不是將token發送給專家，而是將不同示例中的token混合在一起，然后再將其提供給專家。這使得模型能夠從所有token-專家組合中學習，并提高訓練穩定性和專家利用率。在向專家提供token后，每種混合物都會被處理并重新分配回原始token。

token混合是如何進行的？首先，您需要為每個token設置重要性權重。這是通過控制器完成的，然后是對生成的token分數執行 softmax 層。因此，每個專家的token權重是獨立計算的。最后，將每個token乘以其重要性權重，然后將它們全部加在一起。

令牌混合：每個專家的令牌都是唯一混合的（混合權重由控制器決定，為簡單起見，此處省略），然后處理每個混合物并將其重新分配回原始令牌（使用與之前相同的權重）。

MoT 通過進行以下更改來解決 MoE 模型的問題：

混合來自不同示例的token，然后將其提供給專家；通過允許模型從所有token-專家組合中學習，這提高了訓練穩定性和專家利用率。

token混合是一個完全可微的模型，這意味著它可以使用標準的基于梯度的方法進行訓練。這避免了輔助損失或其他難以訓練的技術的需要，從而更容易訓練和部署?！?/p>

MoE 與 MoT：在專家混合中（左），每個令牌都被路由到不同的專家前饋層。在令牌混合（右）中，每組內的令牌被混合，并且混合令牌由專家前饋層處理。

結論

toke混合有可能顯著提高LLM的表現和效率。與普通 Transformer 相比，它顯示出訓練時間減少了 3 倍的驚人結果。未來，我們預計 MoT 將繼續帶來更顯著的改進。

MoTs 僅用 1/4 的步數和 1/3 的訓練時間就減少了密集香草 Transformer 的最終訓練損失，預計未來將顯著改善。

審核編輯：黃飛