解鎖LLM新高度—OpenVINO? 2024.1賦能生成式AI高效運行

大語(yǔ)言模型推理的改進(jìn)

LLM 的發(fā)展仍保持著(zhù)驚人的速度。盡管現有的 LLM 已經(jīng)具備強大的功能，但通過(guò) OpenVINO 的優(yōu)化和推理加速，可以對這些復雜模型的執行進(jìn)行精煉，實(shí)現更快、更高效的處理，減少計算開(kāi)銷(xiāo)并最大限度發(fā)揮硬件潛力，這將直接導致 LLM 實(shí)現更高的吞吐量和更低的延遲。

通過(guò)采用壓縮嵌入實(shí)現額外優(yōu)化，有效地縮減了 LLM 的編譯耗時(shí)與內存占用。與此同時(shí)，基于英特爾銳炫GPU，以及英特爾高級矩陣擴展（Intel AMX）的第4代和第5代英特爾至強平臺之上，LLM 的第一個(gè) token 處理性能得到了顯著(zhù)提升。

通過(guò) oneDNN 可實(shí)現更好的 LLM 壓縮與性能提升。如今，經(jīng)過(guò)量化或壓縮后的 INT4 和 INT8 精度的 LLM 可在英特爾銳炫GPU 上得到支持。在搭載集成 GPU 的英特爾酷睿Ultra 處理器上，針對部分小型 GenAI 模型顯著(zhù)減少了內存消耗。

此外，現在可以在 PyTorch 模型進(jìn)行訓練后量化之后，對其進(jìn)行微調，以提高模型精度并簡(jiǎn)化從訓練后量化過(guò)渡到訓練感知量化的過(guò)程。

已添加演示示例：https://github.com/openvinotoolkit/nncf/blob/develop/examples/quantization_aware_training/torch/resnet18/README.md

更多生成式 AI 覆蓋范圍和框架集成

進(jìn)一步深入了解搭載 OpenVINO 的生成式 AI，該新版本拓寬了生成式AI的邊界，使其能夠覆蓋更廣泛的神經(jīng)網(wǎng)絡(luò )架構與應用場(chǎng)景。

針對最新發(fā)布的最先進(jìn)的 Llama 3 和 Phi3 模型， OpenVINO 對其實(shí)現了支持和優(yōu)化。

具備混合專(zhuān)家（MoE）架構的 LLM 模型 Mixtral 以及 URLNet 模型，均針對英特爾至強處理器進(jìn)行了性能提升優(yōu)化。

而文生圖模型 Stable Diffusion 1.5，以及 LLMs 模型 ChatGLM3-6b和Qwen-7B，則專(zhuān)為搭載了集成 GPU 的英特爾酷睿Ultra 處理器進(jìn)行了推理速度的改進(jìn)和優(yōu)化。

現在，OpenVINO 已支持 Falcon-7B-Instruct，這是一款即用型、具備優(yōu)秀性能指標的生成式AI大語(yǔ)言模型，適用于聊天與指令場(chǎng)景。

新版本支持的其他模型包括：

Yolo V9、Yolo V8 Oriented Bounding Box Detection （OOB）、Stable Diffusion in Keras、MoblieCLIP、RMBG-v1.4 Background Removal、Magika、TripoSR、AnimateAnyone、LLaVA-Next 以及帶有 OpenVINO 和 LangChain 的 RAG 系統。

我們還在 OpenVINO Notebooks 存儲庫中提供了 Jupyter Notebook 示例。

新平臺的更改和現有平臺的增強

除了 PyPI 上的主 OpenVINO 軟件包外，英特爾酷睿Ultra 處理器的預覽 NPU 插件現在在 OpenVINO 開(kāi)源 GitHub 存儲庫中可用。

現在，可以通過(guò) npm 存儲庫更輕松地訪(fǎng)問(wèn) JavaScript API，使 JavaScript 開(kāi)發(fā)人員能夠無(wú)縫訪(fǎng)問(wèn) OpenVINO API。我們擴展了文檔，可幫助開(kāi)發(fā)人員將他們的 JavaScript 應用程序與 OpenVINO 集成。

現在，默認情況下已在 ARM 處理器上為卷積神經(jīng)網(wǎng)絡(luò )（CNN）啟用 FP16 推理。在多種 ARM 設備上，已顯著(zhù)提升了眾多模型的性能。已實(shí)現與 CPU 架構無(wú)關(guān)的構建，旨在為不同 ARM 設備提供統一的二進(jìn)制分發(fā)。

新增和更新的 Notebook

OpenVINO Notebooks 仍然是非常有價(jià)值的資源，用于展示如何利用 OpenVINO 在人工智能領(lǐng)域實(shí)現重要進(jìn)展。最近，我們對 OpenVINO notebooks 存儲庫做了一些改動(dòng)，包括將默認分支從 'main' 更改為 'latest'，以及對 "notebooks" 文件夾內 notebook 的命名結構進(jìn)行了改進(jìn)。

審核編輯：劉清