開源軟件-TNN移動端推理框架

TNN是一個移動端高性能、輕量級推理框架，同時擁有跨平臺、高性能、模型壓縮、代碼裁剪等眾多突出優勢。TNN框架在原有Rapidnet、ncnn框架的基礎上進一步加強了移動端設備的支持以及性能優化，同時也借鑒了業界主流開源框架高性能和良好拓展性的優點。目前TNN已經在手Q、微視、P圖等應用中落地，歡迎大家參與協同共建，促進TNN推理框架進一步完善。

快速開始

使用 TNN 非常簡單，如果你有一個已經訓練好的模型, 那么一般而言通過以下三個步驟就能完成模型在目標平臺上的部署。

1. 第一步是把訓練好的模型轉換成TNN的模型，為此我們提供了豐富的工具來幫助你完成這一步，無論你使用的是 TensorFlow、PyTorch、或者 Caffe，都可以輕松完成轉換。

2. 當你完成了模型的轉換，第二步就是編譯目標平臺的 TNN 引擎了，你可以根據自己的目標平臺的硬件支持情況，選擇 CPU/ARM/OpenCL/Metal 等加速方案。 對于這些平臺，TNN 都提供了一鍵編譯的腳本，使用非常方便。

3. 最后一步就是使用編譯好的 TNN 引擎進行推理，你可以在自己的應用程序中嵌入對 TNN 的調用，這方面我們提供了豐富而詳實的 demo 來幫助你完成。

   • 從0開始跑通一個iOS Demo
   • 從0開始跑通一個Android Demo

技術方案

目前TNN已經在手Q、微視、P圖等應用中落地：

• 計算優化

  • 針對不同架構在硬件指令發射、吞吐、延遲、緩存帶寬、緩存延遲、寄存器數量等特點，深度優化底層算子，極致利用硬件算力
  • 主流硬件平臺(CPU: ARMv7， ARMv8， GPU: Mali， Adreno， Apple) 深度調優
  • CNN 核心卷積運算通過 Winograd，Tile-GEMM， Direct Conv 等多種算法實現，保證不同參數、計算尺度下高效計算
  • Op 融合：離線分析網絡計算圖，多個小 Op（計算量小、功能較簡單）融合運算，減少反復內存讀取、kernel 啟動等開銷

• 低精度優化

  • 支持 INT8， FP16 低精度計算，減少模型大小、內存消耗，同時利用硬件低精度計算指令加速計算
  • 支持 INT8 Winograd 算法，(輸入6bit)， 在精度滿足要求的情況下，進一步降低模型計算復雜度
  • 支持單模型多種精度混合計算，加速計算同時保證模型精度

• 內存優化

  • 高效”內存池”實現：通過 DAG 網絡計算圖分析，實現無計算依賴的節點間復用內存，降低 90% 內存資源消耗
  • 跨模型內存復用：支持外部實時指定用于網絡內存，實現“多個模型，單份內存”。

• 主流模型實測性能：v0.1 2020.05.29

  • 麒麟970：

    model	cpu time(單線程，ms)	gpu time(ms)
    Mobilenet_v1	88	12
    Mobilenet_v1_int8	55	?
    Mobilenet_v2	58	11
    Mobilenet_v2_int8	41	?
    squeezenet_v1.0	127	20
    squeezenet_v1.0_int8	82	?

  • 驍龍835：

    model	cpu time(單線程，ms)	gpu time(ms)
    Mobilenet_v1	94	16
    Mobilenet_v1_int8	62	?
    Mobilenet_v2	61	14
    Mobilenet_v2_int8	47	?
    squeezenet_v1.0	122	28
    squeezenet_v1.0_int8	93	?

  • 驍龍845：

    model	cpu time(單線程，ms)	gpu time(ms)
    Mobilenet_v1	60	10
    Mobilenet_v1_int8	37	?
    Mobilenet_v2	39	8
    Mobilenet_v2_int8	28	?
    squeezenet_v1.0	74	14
    squeezenet_v1.0_int8	56	?

• TNN架構圖：

  ?

• 通過 ONNX 支持 TensorFlow， PyTorch， MXNet， Caffe 等多種訓練框架，充分利用和融入不斷完善的 ONNX 開源生態。當前支持 ONNX 算子55個，近期會完善到約80個，覆蓋主流CNN網絡

• 支持主流安卓、iOS、Embedded Linux 操作系統，支持 ARM CPU， GPU 硬件平臺（近期還會加入達芬奇 NPU 支持）

• 模塊化設計，將模型解析、計算圖構建、優化、底層硬件適配、高性能 kernel 實現各部分抽象隔離，通過 Factory Mode 注冊、構建設備，方便接入更多的底層硬件、加速方案。

• Runtime 無任何第三方庫依賴，CPU 動態庫尺寸僅約 400KB，并提供基礎圖像變換操作，調用簡單便捷?？缙脚_模型統一、調用接口統一，通過單個配置參數快速切換。