視海芯圖Transformer加速SoC助力AR/VR設備性能升級

5月12日，第十三屆松山湖中國IC創新高峰論壇在廣東東莞松山湖凱酒店舉行，本屆活動繼續由中國半導體行業協會IC設計分會（ICCAD）、芯原微電子、松山湖管委會主辦，東莞松山湖集成電路設計服務中心，東莞市生技置業有限公司承辦。電子發燒友網受邀參與活動并作現場報道。

成都視海芯圖微電子有限公司創始人許達文認為，很多AI模型的主干網絡正從CNN轉變為Transformer，Transformer可以解決終端芯片訪存密集型、不規則訪存，以及NPU利用率低的難題。

視海芯圖推出了Transformer加速SoC——SH1580芯片，采用12nm工藝，具備自研NPU、高性能主核、高性能圖像處理的特點。SH1580芯片具備2TOPS@INT8有效算力，在圖像處理方面，支持AI-HDR、3D-ToF圖像處理等。

許達文介紹，SH1580芯片的核心技術為PTPU架構，具備定制電路支持Transformer存儲結構和訪存優化的特點，另外視海芯圖還設計了可重構數據流，同時高效支持CNN和Transformer。

在AR/VR的應用中，為了能夠讓數字世界跟物理世界實現深層次的融合，需要把數字信息映射到物理世界中。這就需要場景識別功能，還需要支持混合性輸入，包括圖像輸入、語音輸入?！疤貏e是圖像輸入這塊，往往要輸入、接收2D、3D圖像。這么復雜的一些場景和算法的話，它就需要一個配套的算法來支撐?！痹S達文表示。而基于Transformer為架構的模型能夠結束一部分問題。

在AR/VR設備中，SH1580芯片在SLAM中可以做特征點匹配LoFTR、地點識別SVT-Net，另外在AR/VR設備的應用中還能實現語義分割 SegFormer以及三維重建 Point-Bert。傳統CNN算法很難做稀疏紋理匹配，但是Transformer可以做到準確的無紋理特征識別。

值得一提的是，AR/VR設備對于需要有低功耗有著一定的需求。SH1580芯片基于12nm工藝。采用電源與芯片架構，idle功耗為46mW，超低功耗模式可以做到6mW。該產品在AR眼鏡上已有應用案例。