私有本地化部署:智能硬件的未來
隨著當下數字化的高速發展,今年將會迎來“大模型應用爆發元年”。市面上不少大模型產品應運而生,在大模型普惠應用井噴的時代,這類產品的使用存在許多門檻和風險,比如高昂的服務器部署成本、在運行過程中會過度依賴網絡狀態、以及難以保障數據的安全性等問題。
為了解決大模型產品使用期間所產生的算力成本高、網絡波動、數據隱私等問題,Firefly開源團隊推出可本地化部署的智能盒子:AIBOX-1684X
Firefly智能新品:智能算力小魔盒
AIBOX-1684X支持主流大模型私有化部署,僅掌心大小的體積就能把智算能力私有化,能夠滿足個性化的智能部署!其算力高達32Tops,擁有八核2.3GHz處理器,兼具穩定性、私密性、精致小巧等特性。
支持主流大模型
AIBOX-1684X幾乎支持目前主流大模型的本地化運行,包括LLaMa3,ChatGLM3,Qwen等語言大模型,SAM等視覺大模型,以及Stable Diffusion 智能繪圖。
私有化部署
○ 本地化部署,無懼斷網
無需網絡即可使用智算的能力,不受網絡狀態影響,任務運行更穩定。
支持主流
○ 開源透明,安全無風險
使用全開源智能模型部署工具鏈,透明可信任,做到零安全隱患。
○ 精致小巧,隨處部署
僅掌心大小,10cm內的小方盒,表面柔潤精致的鋁合金切割工藝,在哪部署都合適。
極致性能:快速響應,無需多等
千字文本生成僅需10.2秒
AIBOX在本地運行時,擁有極快的響應時間,能夠更好地提升用戶體驗。例如在Qwen1.5-1.8B模型中,推理性能可達到32.5 token/s,相當于其生成一篇1000字的文章僅需約10.2秒,可實現自然語言的快速問答。
標準圖像生成僅需7秒
支持 AIGC 領域的 Stable DiffusionV1.5 圖像生成模型,在Stable Diffusion V1.5模型中,生成512* 512尺寸的圖片僅需約7秒。
開箱即用:已適配主流大模型
Meta旗下最新開源大模型Llama3運行演示:
清華與智譜合作研發的ChatGLM3-6B演示:
阿里通義千問開源大模型Qwen1.5-1.8B演示:
支持多種深度學習框架
AIBOX支持所有主流大模型深度學習框架,包括TensorFlow、PyTorch、MXNet、PaddlePaddle、ONNX和Darknet,并支持自定義算子開發。
高配硬件性能,運行暢通無阻
搭載SOPHON算能智算處理器BM1684X,最高主頻2.3GHz,最高支持32路1080P H.264/H.265的視頻解碼,32路1080P高清視頻全流程處理(解碼+智能分析)
-
AI
+關注
關注
87文章
27061瀏覽量
264825 -
AIGC
+關注
關注
1文章
279瀏覽量
1165 -
大模型
+關注
關注
2文章
1804瀏覽量
1392
發布評論請先 登錄
相關推薦
評論