Anakin高性能異構AI推理引擎

Anakin 是一款跨平臺的高性能推理引擎，最初是由百度工程師開發的，是工業產品的大規模應用。您可以在 x86-cpu、arm、nv-gpu、amd-gpu、bitmain 和 cambricon 設備上運行?Anakin。

下載安裝命令

## CPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

特征

• 靈活性

  Anakin 是一個跨平臺的高性能推理引擎，支持廣泛的神經網絡架構和不同的硬件平臺。在 GPU / x86 / ARM 平臺上運行 Anakin 很容易。

  Anakin 已與 NVIDIA TensorRT 集成，并開放了集成 API 的這一部分以提供服務，開發人員可以直接調用該 API 或根據需要對其進行修改，這將更加靈活地滿足開發要求。

• 高性能

  為了充分發揮硬件的性能，該團隊在不同級別優化了前向預測。

  • 自動圖形融合。給定算法下所有性能優化的目標是使 ALU 盡可能繁忙，操作員融合可以有效減少內存訪問并保持 ALU 繁忙。

  • 內存重用。前向預測是一種單向計算，該團隊在不同運算符的輸入和輸出之間重用內存，從而減少了整體內存開銷。

  • 裝配級優化。Sabre 是 Anakin 的基礎DNN庫，在裝配級別進行了深度優化。