EMLL高性能端側機器學(xué)習計算庫

EMLL(Edge ML Library)為加速終端側設備上機器學(xué)習的推理而設計，提供基于端側處理器的高性能機器學(xué)習計算函數庫。EMLL支持fp32、fp16、int8等數據類(lèi)型，已在有道詞典筆、翻譯王和超級詞典等硬件產(chǎn)品的機器翻譯和語(yǔ)音識別引擎中應用，大幅降低了推理延遲。

特點(diǎn)

高性能

EMLL實(shí)現的矩陣乘法函數，為端側人工智能中常見(jiàn)的扁平矩陣作了專(zhuān)門(mén)的優(yōu)化，為各常見(jiàn)ARM處理器作了特定的優(yōu)化。對于cortex-A35/A53/A55處理器，本庫針對它們的流水線(xiàn)特點(diǎn)，使用了匯編級別的優(yōu)化。

下面是單精度矩陣乘法的測試結果：

矩陣乘法的通式為 C[MxN] = A[MxK] B[KxN]；所列數據為全行主序和全列主序的最好性能。

易用性

EMLL使用的函數接口在參數設計上力求簡(jiǎn)潔直接，矩陣乘法去掉了不常用的LD*參數，矩陣和向量的傳遞通過(guò)指針和整數維度分別傳遞。本庫的構建和運行不依賴(lài)第三方計算庫。

擴展性

對于矩陣乘法和量化函數，EMLL 庫提取了它們和架構無(wú)關(guān)的代碼作為通用的宏，這些宏可以在支持新的CPU架構時(shí)大大節省所需的代碼量。

EMLL 應用接口

EMLL提供基于 C 的接口，詳情請見(jiàn)?Usage_ZH.md。

各函數支持的數據類(lèi)型

EMLL 支持在 Linux 和安卓系統上運行。

EMLL 支持用 GCC 和 Clang 編譯。