RISC -V跑大模型（一）

在我寫本文時，剛好是WAIC 2023舉行的時候，感覺無處不是大模型。所以，RISC-V怎么能不刷刷大模型呢？廢話不多說，先上圖：

去年，ChatGPT的出現震驚了全世界，在短短幾個月的時間內，ChatGPT的月活躍用戶達到了1億。ChatGPT的成功讓許多人第一次知道了大語言模型（Large Language Model）的概念，而今年Meta發布的LLaMA則在ChatGPT的基礎上又往前跨了一大步，它大大降低了LLM的使用難度，讓LLM真正“走進基層”。那LLaMA是什么呢？

1. LLaMA介紹

在介紹LLaMA之前，首先要介紹一下LLM（Large Language Model）。我們可以將LLM看成一位知識淵博的老師，在經過大量的知識學習（大量文本數據的訓練）后，LLM會基于它的知識庫，給出問題的最佳答案，我們可以使用LLM來完成文本總結、翻譯、情感分析等工作。最近幾年，是LLM的高速發展期，很多科技巨頭都在LLM投入大量的資金。下面是這幾年LLM的成果圖：

但對于個人研究者而言，LLM的使用是有一定的門檻，一般的LLM模型對硬件的要求比較高，而一些開發公司出于商業的目的，并不打算將項目的源碼進行開源，這都限制了個人研究者從更深的層次去了解LLM，在一定程度上這影響了LLM的發展（Android能有今天地位，離不開開源和方便使用，這為它后來的迅速發展打下了良好的基礎）。好在今年Meta發布的LLaMA（Language Learning through Multimodal Autoregressive Models）給了對LLM感興趣的開發者另一個選項，相較于其他的LLM模型而言，LLaMA優勢在于它足夠親民且開源。

從親民的角度來說，LLaMA的規模僅為ChatGPT的“十分之一”，但性能卻優于OpenAI的GPT-3模型，而且LLaMA只是一個基礎模型，它完全可以使用公開的數據模型進行訓練，這都使得LLaMA的使用門檻被大大降低；從開源的角度來說，LLaMA可以說是被迫開源，因為技術方面的問題，Meta暫緩了開源過程，但在發布后的不久，LLaMA的模型文件就被泄露了，那么，問題來了，這究竟是故意的還是不小心的呢？

2. llama.cpp

llama.cpp是由保加利亞索非亞的Georgi Gerganov基于LLaMA模型開發的純C版本。Georgi Gerganov是一位資深的開源社區開發者，曾經還為OpenAI的自動語音識別模型開發了whisper.cpp。llama.cpp可以讓使用者在沒有GPU的情況下也能運行LLaMA模型。所以它一經發布，就吸引了大量對LLaMA感興趣的人下載使用，很快就有人找到了在Windows上運行LLaMA的方法，之后又實現了在手機上的運行。llama.cpp大大降低了LLaMA的使用門檻，通過llama.cpp，LLaMA展現了它無與倫比的語言學習能力，為我們打開了一座探索語言世界的新大門。

值得一提的是，Georgi Gerganov在公布llama.cpp后的幾個月就自主創業，成立了ggml.ai公司，這個公司的合伙人有GitHub前CEO Nat Friedman和Y-Combinator的Daniel Gross。ggml.ai的成立也引起了許多業內大佬的注意，或許它之后會為AI的發展帶來一些不一樣的東西。

3. 硬件平臺簡介

3.1 RISC-V簡介
澎峰科技聯合創始人王軍輝說“2023年是RISC-V高性能計算元年”。因為2023年算能推出了全球第一顆已量產的RISC-V服務器級64核CPU，這意味RISC-V進入高性能計算領域的未來已經不遠了。那么，RISC-V到底是什么？

簡單來說，RISC-V和我們熟悉的X86、ARM一樣，都是指令集架構，但X86屬于復雜指令集（CSIC），RISC-V和ARM屬于精簡指令集（RISC）。雖然CISC指令豐富功能強大，但隨著CISC的逐步發展，過于復雜的指令不僅會導致指令使用率不均衡（效率低），也加大了超大規模集成電路實現的難度。相對的，RISC的優勢在于指令簡單，使用率均衡，執行效率高。同時，通?；赗ISC的芯片易于實現電路設計和大規模集成。

正如文章開篇所展示的，我在基于SG2042的RISC-V平臺上完成了LLaMA的移植。LLM和RISC-V都是近兩年比較熱門的東西，同時又有很大的空白供開發者們探索和建設，所以我覺得把兩者結合這是一件很有意思也很有意義的事情。下面簡單介紹一下我使用的開發平臺。

3.2 平臺

RISC-V服務器主板（搭載全球第一顆量產的服務器級64核RISC-V芯片SG2042）

3.3 基本配置

4. 結束語

本系列文章估計會分為四期：

第一期：RISC -V跑大模型（引言）。

第二期：LLaMA零基礎移植教程。

第三期：軟件優化進行LLaMA加速

第四期：更多性能優化策略。