英特爾集成顯卡+ChatGLM3大語言模型的企業本地AI知識庫部署

前言

在當今的企業環境中，信息的快速獲取和處理對于企業的成功至關重要。為了滿足這一需求，我們可以將RAG技術與企業本地知識庫相結合，以提供實時的、自動生成的信息處理和決策支持。這將有助于企業更好地應對快速變化的市場環境，提高企業的競爭力和創新能力。

企業本地知識庫是一個集中存儲和管理企業內部知識的系統。它包含了企業的歷史數據、經驗教訓、最佳實踐、流程文檔、產品信息等。企業本地知識庫是企業智慧的結晶，對于企業的運營和發展具有重要意義。

將RAG技術與企業本地知識庫相結合，可以為企業帶來以下幾個方面的優勢：

1

實時性

RAG技術可以實時地從企業本地知識庫中提取相關信息，并生成用戶所需的內容。這意味著用戶可以快速地獲取到最新的知識和信息，而不需要花費大量時間去查找和整理。

2

自動化

RAG技術可以自動地處理和生成內容，減少了人工干預的需求。這不僅可以提高企業的效率，還可以減少人為錯誤的發生。

3

個性化和定制化

RAG技術可以根據用戶的需求和偏好，生成個性化的內容。通過與企業本地知識庫的結合，可以提供更加精準和有針對性的信息，滿足不同用戶的需求。

4

知識共享和傳承

企業本地知識庫是一個集中存儲和共享知識的平臺。通過與RAG技術的結合，可以將這些知識快速地傳遞給需要的用戶，促進知識的共享和傳承。

1

RAG簡介

RAG - Retrieval-Augmented Generation（檢索增強生成）是一種先進的自然語言處理（NLP）技術，它結合了信息檢索（Retrieval）和神經網絡生成（Generation）兩種方法，以提升模型在生成文本時的準確性和相關性。在傳統的生成模型中，模型依據自身學習到的知識庫生成文本。然而，這種方法受限于模型訓練時所接觸到的數據范圍，特別是在處理未見的、需要實時查找新信息的場景時，可能無法生成最新或最準確的內容。

RAG模型通過引入一個檢索組件，在接收到輸入問題或任務后，首先從大規模預定義的知識庫（如網頁、文檔集合或其他結構化/非結構化數據源）中檢索與任務相關的信息片段。然后，檢索到的信息作為額外的上下文輸入，與原始輸入一起傳遞給生成模型。生成模型在此基礎上，利用檢索到的信息以及自身的語言模型能力，生成更為精確、詳盡且與現實世界信息保持同步的回答或文本內容。

簡單來說，RAG模型就是在傳統生成模型的基礎上增加了一個動態獲取外部知識的能力，這樣既保留了大模型生成連貫文本的優點，又解決了由于模型記憶限制導致的知識更新和準確性不足的問題，尤其適用于問答系統、對話系統及需要實時更新信息的自然語言處理任務。

2

OpenVINO Notebook簡介

OpenVINO Notebooks是一套以Jupyter Notebook為載體的開源交互式編程教程和示例代碼合集，由英特爾公司開發和維護。這套資源專為使用 OpenVINO 工具套件的開發者設計，旨在幫助他們更快地理解和掌握如何利用 OpenVINO 進行深度學習模型的優化與推理及實際部署AI在各式業務應用場景里面。

3

部署平臺簡介

算力魔方是一款可以DIY的迷你主機，采用了抽屜式設計，后續組裝、升級、維護只需要拔插模塊。通過選擇計算模塊的版本，再搭配不同額 IO 模塊可以組成豐富的配置，適應不同場景。性能不夠時，可以升級計算模塊提升算力, 如需要顯卡可加上顯卡， IO 接口不匹配時，可以更換 IO 模塊調整功能，而無需重構整個系統。本文在帶有英特爾12代酷睿i7-1265U芯片組里的銳炬 Xe集成顯卡+RAM 32GB的算力魔方上完成驗證。

4

在集成顯卡上部署RAG

4.1

搭建OpenVINO Notebooks開發環境

第一步：請使用下面的命令克隆存儲庫創建并激活名為“openvino_env”的虛擬環境

git clone https://github.com/openvinotoolkit/openvino_notebooks.git
cd openvino_notebooks
conda create -n openvino_env python=3.9

第二步：請使用下面的命令激活虛擬環境并安裝依賴包，并啟動Jupyter Notebooks

conda activate openvino_env
pip install -r requirements.txt

jupyter lab notebooks

4.2

下載模型到本地

請使用命令將ChatGLM3 6B和text2vec模型下載到本地

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

git clone https://www.modelscope.cn/Jerry0/text2vec-large-chinese.git

4.3

運行254-rag-chatbot程序

請運行Notebooks里面的代碼模塊, 注意!! 國內用戶請勿運行模塊1，從模塊2開始一步步運行代碼到NNCF模塊，模型壓縮選擇int4并按照下圖一及二圖修改notebooks 254里的代碼引導程序指定對應的模型路徑完成ChatGLM3-6b模型int 4量化及部署

圖一

圖二

text2vec-large-chinese 模型部署

運行結果，如下所示：本地知識庫已成功加入ChatGLM 6B模型里并精確回答問題

運行視頻.avi

5

總結

將RAG技術與企業本地知識庫相結合，可以為企業提供實時、自動化、個性化和定制化的信息處理和決策支持。這將有助于企業更好地應對快速變化的市場環境，提高企業的競爭力和創新能力。

利用OpenVINO 工具套件簡單易用，僅需三步即可在算力魔方完成開發環境搭建及模型的INT4量化且在英特爾集成顯卡上的部署實現RAG企業本地知識庫部署。

審核編輯：劉清