股價久違飆漲，商湯要用自己的Scaling law挑戰GPT4

4月24日，商湯集團在港交所暫停交易，暫停交易前上漲31.15%。商湯集團回應，“昨日日日新大模型5.0發布會廣受好評，受到市場極大關注；依照上市規則及港交所建議，公司將進一步刊發相關公告?！?/p>

就在前一天的“2024年商湯技術交流日”上，商湯發布了對標GPT4-Turbo的大模型日日新大模型SenseNova 5.0，追趕GPT4可能是當下中國大模型行業的集體目標。商湯在上海商湯臨港AIDC舉行的“2024年商湯技術交流日”上，交出了自己的答卷。

1. 商湯版本的Scaling Law

不是GPT-4-1106-preview，不是GPT-4-0125-preview，而是在一眾大模型榜單中都高居榜首的GPT4-Turbo。從SenseNova 4.0超GPT-3.5，到SenseNova5.0全面對標GPT-4 Turbo，商湯用了不到三個月時間。

這背后沒有魔法，而是大語言模型中的第一性原理：尺度定律（Scaling laws）在起作用。

首先，隨著數據、模型和算力規模的不斷提升，商湯能夠不斷提升大模型的能力。這也是OpenAI所強調的模型性能與模型大小、數據量和計算量之間的冪律關系，是一個更為通用的性能提升框架。

但大模型并非單純的暴力美學，背后是大量的軟件工程系統問題。商湯在遵循尺度定律的前提下，通過科學試驗得到數學公式，做到了能夠預測下一代大模型的性能，而不是盲目的隨機嘗試。

商湯科技董事長兼CEO徐立總結了兩個假設條件：

第一，可預測性：可以跨越5-7個數量級尺度依然保持對性能的準確預測。

第二，保序性：在小尺度上驗證了性能優劣，在更大尺度上依然保持。

這指導著商湯在有限的研發資源上找到最優的模型架構和數據配方，從而讓模型能夠更高效地完成學習的過程?！拔覀冊诤茉鐣r間就預測到我們的模型可以在一定測試級上超越GPT-4的能力?！?/p>

也就是說，商湯在大模型的研發過程中，注重通過小規模實驗來預測和驗證模型架構和數據配方的有效性，并確保這些在小規模上得到驗證的結論能夠在更大規模上得到保持和應用。

“如果我們選擇更佳的數據配方性能提升效率會更大?！被谏虦膶嶒灲Y果，小模型在優化數據的情況下，也可以性能逼近甚至超越跨數量級的大模型。例如，Llama 3小模型跨越了一個數量級領先于Llama 2更大尺寸的模型。

隨之而來的一個問題是，更好的數據集在哪里？數據集質量如何提升？

據徐立介紹，SenseNova 5.0采用了10T+tokens中英文預訓練數據，通過精細設計的清洗處理，形成高質量的基礎數據，解決大模型對客觀知識和世界的初級認知。

除此之外，商湯還合成構造了思維鏈數據，預訓練過程中大規模采用邏輯合成數據（數千億tokens量級），從而提升模型推理、數學和編程能力。這本質上是在幫助大模型學習人類解決問題的思路和方法。

“這是真正意義上保障模型能力提升的關鍵。如果每一個行業思維鏈數據都能夠被輕松構造的話，我們在行業里面的推理能力就會大幅度提升”。

尺度定律也存在物理極限，比如沒有數據，比如硬件連接的極限。在今年3月份的時候，微軟工程師就提到OpenAI如果在同一個州部署超過 10 萬張H100 GPU，電網就會崩潰。徐立表示，“這需要對這些卡、這些連接、這些拓撲進行新的設計，算法設計和算力設施需要聯合優化?！?/p>

2. 文生視頻在路上

Llama3 8B和70B版本的發布，讓我們看到小參數大模型在端側場景的潛力。商湯此次也推出的1.8B參數的SenseChat-Lite，在主流評測中，超過了所有開源2B的同級別模型并且跨級領先了LLaMA2 等7B、13B模型。

通過端云協同解決方案，SenseChat-Lite可在中端平臺實現18.3字/s的平均生成速度，旗艦平臺可達到了78.3字/s。

在端側的多模態方面，擴散模型同樣可在端側實現業內最快的推理速度，商湯端側LDM-AI擴圖技術在某主流平臺上，推理速度小于1.5秒，支持輸出1200萬像素及以上的高清圖片，支持在端上快速進行等比擴圖、自由擴圖、旋轉擴圖等圖像編輯功能。

商湯針對端側業務的SDK也正式發布，涵蓋了日常對話、常識問答、文案生成、相冊管理、圖片生成、圖片擴展等場景，支持全系列高通8系列、7系列的芯片，以及MTK天璣芯片，適配手機終端、平板電腦、VR眼鏡、車載終端。

針對金融、代碼、醫療、政務等行業面臨的數據私有化部署需求，商湯推出了企業級大模型一體機?？赏瑫r支持企業級千億模型加速和知識檢索硬件加速，實現本地化部署，開箱即用，同時完成了國產化芯片的適配。支持最多2P FLOPS的算力，256G的顯存，448 GB/s的連接。

面向軟件開發，商湯發布了小浣熊代碼大模型一體機輕量版，幫助企業開發人員更高效地編寫、理解和維護代碼，其在HumanEval的測試通過率達到了75.6%，超過GPT-4的74.4%，能夠支持90多種編程語言和8K上下文，單機可滿足100人以內的團隊應用需求。成本可從調用云端代碼服務的每人每天7-8元，降低到每人每天4.5元。小浣熊代碼大模型一體機輕量版的售價為每臺35萬元。

此外，商湯還發布了基于昇騰原生的行業大模型，與華為昇騰共同打造面向金融、醫療、政務、代碼等大模型產業生態。

在最后環節，徐立還留了個“彩蛋”：發了三段完全由大模型生成的視頻，并表示短時間會發布文生視頻平臺。這也讓人開始想象，追上GPT-4之后，在視覺領域積累深厚的商湯，下一個目標是追上Sora嗎？

3. 一場“快魚吃慢魚”的游戲

除了日日新SenseNova 5.0升級后對標 GPT-4 Turbo以及端側和邊側產品的發布，商湯這次技術交流日的另一個關鍵詞是“伙伴”。

商湯邀請了邀請了華為昇騰計算業務總裁張迪煊、金山辦公CEO章慶元、海通證券副總經理兼首席信息官毛宇星、小米集團小愛總經理王剛、閱文集團筑夢島總經理葛文兵等生態伙伴嘉賓分享。共同探討和交流大模型技術在辦公、金融、出行等不同領域的應用及前景。

這除了體現商湯大模型能力在不同領域的應用潛力，實際上也是在外界傳達了其商湯未來進一步深化行業合作的愿景。追上GPT4之后，真正比拼的可能是應用落地能力，在這一點上，商湯需要更多的伙伴。

無論是聯合華為發布基于昇騰原生的行業大模型，還是端側SDK的發布，我們可以看到商湯一直在強調行業合作伙伴的重要性，這也體現在與合作伙伴的細節中當中：

華為昇騰計算業務總裁張迪煊表示，商湯在今年三月初的加入昇騰的原生計劃，時隔一個多月已經發布四款行業大模型。

小米集團小愛總經理王剛則提到，商湯曾在兩三天內完成了的小米汽車的優化需求，并成功通過雷軍驗收。

“快”的背后是持續對生成式AI業務的投入，早在2021年，商湯就開始構建自己的AI基礎設施SenseCore商湯AI大裝置，AIDC是商湯重要算力基座，也在2022年1月24日正式啟動運營，業績公告顯示，商湯大裝置總算力已達到12000petaFLOPS，相較于2023年初提高了一倍，GPU數量達到45000卡，實現了萬卡萬參的大模型訓練能力。

自2023年3月宣布戰略聚焦AGI以來，商湯更是以季度為單位更新基礎大模型及解決方案。到SenseNova5.0追上GPT-4之后股票漲停，市場的邏輯很清晰，短時間內現金流充足，追上OpenAI目前最新的模型之后可以講更大的故事，加上足夠低的價格，自然會有更多人用腳投票。

“快”的結果落在商湯生成式 AI 業務的快速增長上，根據商湯科技最新發布的2023年財報顯示，其生成式AI收入業務收入達12億元取得了200%的大增長，占公司總收入的35%。這也是商湯成立十年以來，以最快速度取得超過10億收入的新業務。

從AI1.0時代走過的商湯，作為重要的引領者，見證了中國人工智能產業的變遷。

在AI2.0時代，所有人似乎都成為了OpenAI的追趕者。這場圍繞大模型的競爭，既是大魚吃小魚，也是快魚吃慢魚。OpenAI的領先身位帶來的是絕對的競爭優勢，參與者們要擺脫這種追趕的狀態，需要底層基礎設施的成熟，也需要頂層設計的創新。

對于商湯來說，只有在大模型商業化爆發前的黎明中跑得足夠快，跑得足夠久，才能夠吃到第一波紅利，在根本上解決掉虧損問題，從而回到它應得的位置。