大模型智能的革命：如何打破算力瓶頸

我們已經進入大模型時代，據不完全統計，僅是國內正式發布的大模型就超過了 200 個，而且這些模型在不斷的升級中，新的模型還不斷發布出來，過去的一周多，中國農業大學發布了“神農大模型”，網易發布了“子曰”大模型 2.0 版本。

模型的智能涌現水平同參數量有著直接關系，“大”仍是大模型升級的主流選擇。以 GPT 為例，GPT-2 參數量為 15 億，GPT-3 參數量為 1750 億，提高了 100 倍，最新的 GPT-4 有消息稱參數量為 1.8 萬億，提高了 10 倍。

模型參數量越大，需要的訓練量也就越大，消耗的算力也就越多。任何一個大模型的開發和升級都需要考慮算力約束。那么模型的規模同所需算力之間到底是什么關系，我們需要解決這個問題，以便在模型升級過程中做好算力預算。

模型所需算力正比于參數量的平方

Transformer 是當前應用最廣的 AI 架構。我們以 Transformer 為核心的大模型為例來估算計算量。

大模型的參數量主要取決于隱藏層的維度和構成模型的Block的數量，我們假定隱藏層的維度為 h，Block 的數量為 i，那么，大模型的參數量為 。我們以 b 代指訓練輸入數據的 batch size 和每個輸入序列（sequence）的長度，那么整個模型訓練一次的計算量為 ，上述關系已經得到嚴格的數學證明，在此不展開。 我們用 C 來指代模型所需算力當量，用 N 來指代模型參數量，來看兩者的關系，得到如下結果： ?

? 由于在百億、千億參數的大模型中，隱含層的維度 h 遠大于輸入序列的長度 s，可以將 S 忽略不計。所以，上述等式的結果可以近似為 6b*s。b*s 是一次訓練輸入的總 token 數，我們用 D 來指代。

由此可以得出訓練大模型的所需的算力當量評估公式：

D 同 N 相關性非常大，也就是模型越大訓練的總 token 數也越大，我們把這個關系總結為一個線性函數 N=kD，k 是一個固定的常數。

這樣上述公式就變為： ?

也就是說，大模型規模增大一倍，所需要的算力會增大 4 倍，如果增大 10 倍，所需算力就會增大 100 倍。大模型的算力需求增長速度超越了當前的計算技術極限，讓大模型競賽成為算力競賽。 ? 在實際的大模型前沿探索中，算力已經成為最大的制約因素。單從資金的角度看，訓練千億、萬億大模型的算力成本已經超出了大多數企業的承受能力，即使有錢如?OpenAI 也負擔不起，據透露，GPT-4?每次訓練成本高達?6300?萬美元。

算力分配的變化——氪算力可直接提高智能涌現

增大參數量，降低訓練量，或者保持參數量不變，直接加大訓練量，兩個方法都可以提高模型的智能涌現水平。好鋼要用在刀刃上，在有限的算力約束下，該如何分配？此前的研究結論一直傾向于前者。2020 年 OpenAI 提出一個結論，給定 10 倍的計算預算，他們建議模型的大小應該增加 5.5 倍，而訓練 token 數量只增加 1.8 倍。

但是 2023 年 DeepMind 提出了新的觀點，模型大小和訓練 token 數量應該等比例縮放，模型增大 1 倍，token 數量也應該增加 1 倍。而且 DeepMind 還認為目前的大模型普遍存在訓練不足的情況，一個大模型訓練充分需要把每個參數訓練 20 個 token，但是業界主要的大模型普遍的訓練水平不高于每個參數 10 個 token。

這個結論來源于嚴格的技術實驗，DeepMind 用 1.4 萬億 token 訓練了參數量為 700 億的大模型 Chinchilla，該模型的表現超過了參數量 2800 億的 Gopher、1750 億 的 GPT-3 和 5300 億的 Megatron-Turing。

因此，我們可以把前文提到的公式進一步量化為 ，也就是一個大模型要訓練的較為徹底，所需要的算力當量是模型規模平方的 120 倍。

在 DeepMind 的研究結果發布以后，大模型“大”競爭開始放緩。2022 年人類大模型普遍達到千億級別之后，2023 年除了 GPT-4，其他新發布的大模型并沒有突破萬億級別，甚至出現了很多百億級別的模型?？刂颇Ｐ鸵幠?，進行更充分的訓練，會實現更為理想的智能涌現。

以浪潮信息的“源”大模型為例，1.0 版本參數量 2450 億，零樣本和小樣本學習表現優異，能夠進行人機對話、與人玩劇本殺、寫公文，相當于一個文科生的水平，但是 2.0 版本最大的參數量為 1026 億，卻可以進行高水平的邏輯推理、做數學題、寫代碼，相當于一個 985 大學的理科生，水平不可同日而語。

投入更大算力對百億、千億的模型進行訓練挖潛，具有非常重大的現實意義。中小模型，以及由這些基礎模型生成的技能模型，對硬件的要求、能源的消耗相對較小。如果基礎大模型的參數規模降低 1%，那么對應技能模型的每次推理計算的算力消耗也會降低 1%，會產生巨大的社會意義和經濟意義。

發展AI，應該優先發展計算力

應該說，今天的 AI 仍處于發展的初級階段，AI 也剛開始走入社會經濟和個人生活。未來可能不僅每個場景會有一個大模型，每個人也會有一個大模型，這并不是假想，而是很快就能看到的現實。

所以，在相當長的一個時期內，大模型的訓練需求將保持旺盛的增長，算力瓶頸是大模型訓練和應用面臨的長期問題。發展 AI 需要優先發展算力，無論國家還是企業，應該將更多的資源投入到算力產業中。

審核編輯：黃飛

?