商湯發布業內最快推理速度「日日新 5.0 端側大模型」

現在，就是AI大模型在端側應用的春天！

無論全球芯片巨頭，還是“AI手機”、“AIPC”廠商們，都在發力AI大模型的端側應用。

是什么讓大家蜂擁而至？

“天下武功，唯快不破”

當數十億個端側設備都在不停地調用云端大模型，估計沒有任何一個服務器受得了。因此，能夠提供即時推理決策的端側能力是AI大模型進一步提高應用滲透率的關鍵。

來看看我們的主角：商湯「日日新 5.0端側大模型」

它有多優秀？

性能實現同等尺度性能最優，跨級尺度全面領先。

BenchMark成績顯示，「日日新5.0端側大模型」SenseChat-Lite 1.8B全面領先所有開源2B同級別模型，甚至在大部分測試中跨級擊敗了Llama2-7B、13B模型。

? ?

同時，在實際應用中，為進一步提高各類終端任務處理靈活性，它還引入端云聯動的MoE框架，可針對不同行業應用設置不同的云端聯動配比，在性能、速度和成本間取得平衡，獲得最佳推理效果。

▎AI大模型端側應用，不僅拼性能，還拼“手速”

下面，我們一起看看商湯端側大模型的實際表現。

首先，是純端側大模型推理速度。

目前商湯「日日新5.0端側大模型」語言模型能力的推理速度達到了業內最快，對比人眼20字/秒的閱讀速度，可在中端性能手機上達到18.3字/秒的推理速度。

在高端旗艦手機上，推理速度更是達到78.3字/秒！

例如，手機斷網模式下生成一個“理由充分、安排詳實”的員工休假申請，效果是這樣：

現場原速

離線飛行模式下，打工人也能迅速總結工作紀要，生成速度緊跟人眼閱讀節奏。

現場原速

此外，多模態圖文能力也是端側模型在行業鋪開的關鍵。

以擴圖功能為例，商湯「日日新5.0端側大模型」擴散模型可實現當前業內最快推理速度。

在高通旗艦平臺上推理速度小于1.5秒，比手機云端處理快10倍，且支持輸出1200萬像素以上的高清圖片，支持等比擴圖、自由擴圖、旋轉擴圖多種圖像編輯功能。

可以看到，在「商湯技術交流日」現場實時演示中，商湯端側大模型完成3種不同方案的擴圖速度比競品手機自帶App擴1張圖的速度還快：

旋轉擴圖效果同樣出色，端側幾乎是實時的：

現場畫面2X速

活動現場直接拍照，即時自由擴圖，“自信”瞬間拉滿：

▎「日日新5.0端側大模型」已開放SDK服務

可以看到，商湯端側大模型在語言處理和多模態交互方面展現了強大的應用潛力。

它能夠勝任端側AI場景中多種任務，包括日常對話、常識問答、文案生成、相冊管理和圖片創作等，可滿足各類用戶日益普遍的AI應用需求。

目前，商湯端側大模型已開放SDK服務，全面覆蓋智能手機、平板電腦、VR眼鏡、車載系統等多樣化的設備場景，為開發者和制造商提供豐富的應用適配空間。

最后，讓我們聽聽商湯的合作伙伴如何評價商湯日日新大模型：

在個人出行場景，近期火爆市場的小米汽車SU7，小米小愛同學為車主提供智能化交互體驗，當中也有集合應用了商湯的大模型技術能力，有基于商湯端云大模型解決方案；小米集團小愛總經理王剛表示：“商湯的云邊端全棧組合，可以很好地賦能和適配小米物聯網生態。我們希望與商湯共同為我們的用戶打造更具智能化的產品體驗?！?/p>

▎One More Thing：端側智能體is coming

著眼未來，端側大模型還將走向更高階應用——端側智能體。

有啥效果？

通過語音直接給手機下任務，智能體就會自動調用手機中各種應用完成任務：

審核編輯：劉清