Paddle Lite飛槳多平臺高性能深度學習預測引擎

Paddle Lite為Paddle-Mobile的升級版，定位支持包括手機移動端在內更多場景的輕量化高效預測，支持更廣泛的硬件和平臺，是一個高性能、輕量級的深度學習預測引擎。在保持和PaddlePaddle無縫對接外，也兼容支持其他訓練框架產出的模型。

## CPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

特性

輕量級

執行階段和計算優化階段實現良好解耦拆分，移動端可以直接部署執行階段，無任何第三方依賴。 包含完整的80個 Op+85個 Kernel 的動態庫，對于ARMV7只有800K，ARMV8下為1.3M，并可以裁剪到更低。 在應用部署時，載入模型即可直接預測，無需額外分析優化。

高性能

極致的 ARM CPU 性能優化，針對不同微架構特點實現kernel的定制，最大發揮計算性能，在主流模型上展現出領先的速度優勢。 支持INT8量化計算，結合?PaddleSlim 模型壓縮工具?中 INT8量化訓練功能，可以提供高精度高性能的預測能力。 在Huawei NPU， FPGA上也具有有很好的性能表現。

最新 Benchmark 位于?benchmark。

通用性

硬件方面，Paddle Lite 的架構設計為多硬件兼容支持做了良好設計。除了支持ARM CPU、Mali GPU、Adreno GPU，還特別支持了華為 NPU，以及 FPGA 等邊緣設備廣泛使用的硬件。即將支持支持包括寒武紀、比特大陸等AI芯片，未來會增加對更多硬件的支持。

模型支持方面，Paddle Lite和PaddlePaddle訓練框架的Op對齊，提供更廣泛的模型支持能力。目前已嚴格驗證18個模型85個OP的精度和性能，對視覺類模型做到了較為充分的支持，覆蓋分類、檢測和定位，包含了特色的OCR模型的支持。未來會持續增加更多模型的支持驗證。

框架兼容方面：除了PaddlePaddle外，對其他訓練框架也提供兼容支持。當前，支持Caffe 和 TensorFlow 訓練出來的模型，通過X2Paddle?轉換工具實現。接下來將會對ONNX等格式模型提供兼容支持。

架構

PaddleLite 的架構設計著重考慮了對多硬件和平臺的支持，并且強化了多個硬件在一個模型中混合執行的能力，多個層面的性能優化處理，以及對端側應用的輕量化設計。

其中，Analysis Phase 包括了 MIR(Machine IR) 相關模塊，能夠對原有的模型的計算圖針對具體的硬件列表進行算子融合、計算裁剪 在內的多種優化。Execution Phase 只涉及到Kernel 的執行，且可以單獨部署，以支持極致的輕量級部署。

Paddle-Mobile升級為Paddle Lite的說明

原Paddle-Mobile作為一個致力于嵌入式平臺的PaddlePaddle預測引擎，已支持多種硬件平臺，包括ARM CPU、 Mali GPU、Adreno GPU，以及支持蘋果設備的GPU Metal實現、ZU5、ZU9等FPGA開發板、樹莓派等arm-linux開發板。在百度內已經過廣泛業務場景應用驗證。對應設計文檔可參考:?mobile/README

Paddle-Mobile 整體升級重構并更名為Paddle Lite后，原paddle-mobile 的底層能力大部分已集成到新架構?下。作為過渡，暫時保留原Paddle-mobile代碼。 主體代碼位于?mobile/?目錄中，后續一段時間會繼續維護，并完成全部遷移。新功能會統一到新架構?下開發。

metal, web的模塊相對獨立，會繼續在?./metal?和?./web?目錄下開發和維護。對蘋果設備的GPU Metal實現的需求及web前端預測需求，可以直接進入這兩個目錄。