墨芯支持Byte MLPerf助力AI應用

在大模型趨勢下，墨芯通過領先的稀疏計算優勢，助力企業加速AI應用，商業化進程接連取得重要突破。

近日，AI推理評測ByteMLPerf 公開了墨芯S30計算卡的評測結果。墨芯成為支持ByteMLPerf的供應商之一。

圖：墨芯是適配Byte MLPerf（推理）的供應商之一

圖：Byte MLPerf基準套件介紹

Byte MlPerf 的評估會分為三個方面，如下：

1. Graph Compiler的易用性、擴展性以及覆蓋率；

2. 運行精度評估：包括數值誤差和模型跑數據集精度；

3. 運行性能評估：不同場景下的（一般指BS不同）的吞吐和延時表現。

墨芯產品與Byte MLPerf的成功適配，標志著墨芯的商業化進程邁出重要一步，再度印證了稀疏計算在推理性能、能效比等方面的多重優勢，展現出墨芯AI計算平臺在業務場景中的巨大應用價值。

性能突出

凸顯應用價值

圖：墨芯AI計算平臺在Byte MLPerf上的性能數據

基于墨芯獨創的雙稀疏算法與軟硬協同設計，墨芯AI計算平臺不僅支持Byte MLPerf 模型庫中的多個模型，而且以優秀的性能與高能效比，貼合實際業務場景的需求：

01

大幅降低TCO，助力企業降本增效

稀疏計算去除了AI計算中的無效元素，因而提升計算效率，墨芯S30計算卡的峰值功耗僅為 250W，意味著降低AI計算過程中的運營成本、基礎設施等成本，緩解算力昂貴等業界難題。

02

應用場景廣泛

墨芯AI計算平臺支持Byte MLPerf 模型庫中的計算機視覺、語音、自然語言處理等多類任務，適用于識別、檢測、推薦、AIGC等多種AI應用場景，助力企業拓寬AI業務布局。

軟硬協同平臺

快速賦能AI落地

墨芯基于性能領先的硬件產品與軟件平臺，為客戶提供企業級端到端的解決方案：墨芯SparseRT 軟件開發環境全面支持硬件產品，為快速開發提供了完整的可擴展平臺并激活稀疏計算的潛力。同時SparseRT 可以高效支持通用的AI編程框架，如TensorFlow、PyTorch、ONNX和MXNet等。用戶可以在熟悉的TensorFlow或PyTorch環境里進行開發之后再進行遷移與交付。

SparseRT獨特的SparseOPT為AI模型提供4至32倍的稀疏壓縮能力，并且易于集成到現有的模型交付流程中，從而充分釋放大模型的實時服務潛力。SparseRT提供可視化性能分析工具，支持離線和實時的模型性能分析，幫助開發人員分析模型中存在的瓶頸，并提供模型部署優化建議，使開發人員能將墨芯的軟硬件解決方案幾乎零成本集成到現有的基礎設施和算法交付中。

圖 / 墨芯軟硬協同AI計算平臺

墨芯將持續與客戶緊密協作，共同探索更多AI應用場景，以創新的AI計算平臺與服務，為各行業的智能化升級創造更多價值。

審核編輯：劉清