Forward DL深度學習推理加速框架

Forward 是一款騰訊研發并開源的 GPU 高性能推理加速框架。它提出了一種解析方案，可直接加載主流框架模型（Tensorflow / PyTorch / Keras / ONNX）轉換成 TensorRT 推理加速引擎，幫助用戶節省中間繁雜的模型轉換或網絡構建步驟。

相對于直接使用 TensorRT，Forward 更易用以及更容易擴展支持更多模型和算子。目前，Forward 除了覆蓋支持主流的 CV，NLP 及推薦領域的深度學習模型外，還支持一些諸如 BERT，FaceSwap，StyleTransfer 這類高級模型。

特性

• 模型性能優化高：基于 TensorRT API 開發網絡層級的支持，保證對于通用網絡層級的推理性能優化處于最優級別；
• 模型支持范圍廣：除了通用的 CV，NLP，及推薦類模型，還支持一些諸如 BERT，FaceSwap，StyleTransfer 這類高級模型；
• 多種推理模式：支持 FLOAT / HALF / INT8 推理模式；
• 接口簡單易用：直接導入已訓練好的 Tensorflow(.pb) / PyTorch(.pth) / Keras(.h5) / ONNX(.onnx) 模型文件，隱式轉換為高性能的推理 Engine 進行推理加速；
• 支持自研擴展：可根據業務模型擴展支持自定義網絡層級；
• 支持 C++ 和 Python 接口調用。

快速上手 Forward

環境依賴

• NVIDIA CUDA >= 10.0, CuDNN >= 7 (推薦 CUDA 10.2 以上)
• TensorRT >= 7.0.0.11 (推薦 TensorRT-7.2.1.6)
• CMake >= 3.12.2
• GCC >= 5.4.0, ld >= 2.26.1
• PyTorch >= 1.7.0
• TensorFlow >= 1.15.0 (若使用 Linux 操作系統，需額外下載?Tensorflow 1.15.0，并將解壓出來的?.so?文件拷貝至?Forward/source/third_party/tensorflow/lib?目錄下)
• Keras HDF5 (從?Forward/source/third_party/hdf5?源碼構建)

項目構建

使用 CMake 進行構建生成 Makefiles 或者 Visual Studio 項目。根據使用目的，Forward 可構建成適用于不同框架的庫，如 Fwd-Torch、Fwd-Python-Torch、Fwd-Tf、Fwd-Python-Tf、Fwd-Keras、Fwd-Python-Keras、Fwd-Onnx 和 Fwd-Python-Onnx。

以 Linux 平臺構建 Fwd-Tf 為例，

步驟一：克隆項目

1 git clone https://github.com/Tencent/Forward.git

步驟二：下載?Tensorflow 1.15.0（僅在 Linux 平臺使用 Tensorflow 框架推理時需要）

1 cd Forward/source/third_party/tensorflow/
2 wget https://github.com/neargye-forks/tensorflow/releases/download/v1.15.0/libtensorflow-cpu-linux-x86_64-1.15.0.tar.gz
3 tar -xvf libtensorflow-gpu-linux-x86_64-1.15.0.tar.gz

步驟三：創建?build?文件夾

1 cd ~/Forward/
2 rm -rf build
3 mkdir -p build
4 cd build/

步驟四：使用?cmake?生成構建關系，需指定?TensorRT_ROOT?安裝路徑

1 cmake ..  -DTensorRT_ROOT=<path_to_TensorRT> -DENABLE_TENSORFLOW=ON -DENABLE_UNIT_TESTS=ON

步驟五：使用?make?構建項目

1 make -j

步驟六：運行?unit_test?驗證項目是否構建成功

cd bin/
./unit_test --gtest_filter=TestTfNodes.*

# 出現已下提示表示項目構建成
# [       OK ] TestTfNodes.ZeroPadding (347 ms)
# [----------] 22 tests from TestTfNodes (17555 ms total)

# [----------] Global test environment tear-down
# [==========] 22 tests from 1 test case ran. (17555 ms total)
# [  PASSED  ] 22 tests.

Logging 日志

Forward 使用?easylogging++?作為日志功能，并使用?forward_log.conf?作為日志配置文件。

• 若工作目錄中存在?forward_log.conf?文件，Forward 將使用該配置文件，更多內容可參考?Using-configuration-file；
• 若工作目錄中不存在?forward_log.conf?文件，Forward 將使用默認配置，并將日志記錄到?logs/myeasylog.log?。

forward_log.conf?文件配置樣例

* GLOBAL:
  FORMAT               =  "[%level] %datetime %fbase(%line): %msg"
  FILENAME             =  "Forward.log"
  ENABLED              =  true
  TO_FILE              =  true
  TO_STANDARD_OUTPUT   =  true
  PERFORMANCE_TRACKING =  true
  MAX_LOG_FILE_SIZE    =  2097152 ## 2MB - Comment starts with two hashes (##)
  LOG_FLUSH_THRESHOLD  =  100 ## Flush after every 100 logs

模型和算子支持

當前 Forward 的模型與算子支持如下所示，如有需要添加更多支持的，歡迎聯系添加 Issue 反饋。如需要自行擴展添加支持的，可參考?開源共建：擴展添加支持操作的流程

模型

• CV 模型
• 語言模型
• 推薦模型

算子

• PyTorch
• TensorFlow

參考資料

1. 推理流程構建過程
2. 推理引擎使用方法
3. 工具與測試
4. 常見問題