2023年LLM大模型研究進展

作者：田淵棟，Meta FAIR研究院研究員/高級經理，CMU機器人系博士

2023年研究的主要重心轉移到了大語言模型（LLM）上面，包括理解LLM的運行機制，及用這些理解去改進LLM的推理效率和質量，也繼續做了一些LLM的應用（如小說生成）。另外“應用AI來加速優化”這個研究方向，我們仍然在進行中。

大語言模型（LLM）

這一年有幾篇LLM文章獲得了社區的廣泛關注。一篇是六月底的Positional Interpolation[1]，在這篇文章里，我們發現通過對RoPE一行代碼的修改，就可以用少量微調來成倍增大模型預訓練窗口，也是從這個時間點開始，能進行長文理解的開源大模型出現了井噴式爆發。另一篇是StreamingLLM[2]（Attention Sink），在這篇文章里，我們發現在推理時保留前4個token，就能突破預訓練窗口的限制，達到“無限聊天”的效果。文章放出來之后，網上出現了很多博客[3]、視頻介紹[4]、媒體報道[5]和公開討論[6]，然后這個方法最近進了Intel Extension for Transformers[7]和Huggingface Transformer library[8]，也被最近MLC Chat[9]（手機端離線7B LLM）用上了，應該說影響力還是很大的。

有人可能會問，為什么會想到StreamingLLM這種做法？在它背后是H2O[10](NeurIPS'23) 這篇文章。在H2O里，我們發現按照某種準則，丟棄過去KV cache里80%的token，居然不影響下一個token的perplexity，那么自然我們會好奇留下來的是什么，就會自然追到前幾個擁有反常注意力的token頭上了。

另一篇Deja Vu（ICML'23 oral）則運用稀疏性來提高LLM系統推理效率。對于一段輸入，Deja Vu預測LLM未來層中將被激活的神經元和注意力頭，并只將對應權重載入GPU cache，這樣就會大量減少費時的Memory I/O。臨近年末，我們發現上海交大的PowerIter進一步運用了Deja Vu的思路，做到了CPU+GPU聯合推理。

作為做LLM應用的副產品，我們提出了RLCD[11]，通過同時使用正例和負例prompt，自動生成帶標簽的生成樣本不需人工標注，然后可以接大模型微調，或者用于訓練reward models，以避開RLAIF的一些問題，比如說兩個生成樣本非常相似，大模型很難判斷誰好誰壞，或者大模型參數過少（如7B），無法判斷樣本間好壞。

另外，作為一作，我今年也發了兩篇分析LLM的核心Transformer及注意力的訓練動力學的理論文章，旨在揭示注意力（attention）為何會在訓練之后變得稀疏，及為何FFN會出現低秩的現象。第一篇Scan&Snap[12]（NeurIPS'23）分析單層線性MLP+attention；第二篇JoMA[13]將此拓展到多層非線性的MLP+attention，得出了更有趣的結果（訓練過程中注意力先變稀疏，再稍微變回稠密），并且初步揭示了多層Transformer為何能借助這樣的注意力機制，學到高層概念抽象的原因。我本來認為理論文章關注的人應該不多，但想不到在NeurIPS上仍然有大量聽眾對細節很有興趣，覺得非常開心。之后我會在《求道之人，不問寒暑》系列里更新一篇，總結一下新的進展。

這些工作在9月底香港大學[14]，10月初日本理化學研究所[15]，及12月的遠程演講[16]中都有提及，有興趣請戳鏈接。

用AI來加速（組合）優化（AI-guided optimization)

另一方面，我們的SurCo[17]（ICML'23）用線性代理（linear surrogate cost）加傳統組合優化求解器，來間接求解非線性組合優化，并運用于一些工業上出現的復雜優化問題（如Table Sharding，光學器件設計，非線性最短路）。SurCo榮獲ICML'23 SODL workshop[18]的最優論文獎。我的博后Arman之后發表了LANCER[19]（NeurIPS'23)，進一步減少調用組合優化器的次數，提高求解效率，并運用于投資組合優化。最近我們又發表了GenCo[20]用于生成非線性問題的多樣可行解，并應用于游戲關卡及光學器件設計中。

另外我們也在用對比學習的方法來學習一些求解組合優化的啟發式搜索規則，CL-LNS[21]（ICML'23）及之后的ConPAS即是通過這些方式加速Large Neighborhood Search（LNS）優化的效率?？偟膩碚f，在資源有限或者需要在線運行的情況下，用機器學習完全替代已經積累了幾十年的傳統組合優化方法，還是比較困難的，目前比較實用的方案都是找更好的高層策略，然后在求解的某個階段調用現有的求解器（DeepMind大力出奇跡的除外）。

一些感想

大模型時代，研究的迭代速度實在是太快了。三大機器學習會議已經成為線下社交平臺，因為錄的文章都是半年前的了；arXiv也不再是前線，更前線的在Discord群里，在X的爭論里面，在Huggingface里不停增長的repo里，在Github的issues討論中。

像StreamingLLM這篇paper，主要結果一作在八月中就弄出來了，但一直沒放arXiv，于是我們在九月中旬看到了LM-Infinite[22]，方法高度相似，當時就抓狂了，士氣非常低落。還好頂住了壓力，討論出了另一種寫作方案，從理解LLM工作原理的角度出發，換一種思路去寫，并且沿著這條路徑做了更多的驗證實驗（比如說Table 2），最后充分證明了Attention Sink的存在性。等到我們真的投稿了，又發現了有另一篇關于ViT的分析文章[23]，在encoder-decoder模型中也發現了類似的現象。三篇都來自自家公司，也真是服了。

像Positional Interpolation，六月中開始發現有效果，但在寫paper的時候發現已經有位不知名的博主于6/20把方法掛在網上[24]了，隨即又發現某個github issue里面也在討論很接近的idea，于是焦急地等待文章內部過審，在一番冰天雪地滑跪審核部門請求加速辦理之后，終于放上arXiv（其間模版還搞錯了一次）。文章放上去僅僅一天，就已經有紅迪（reddit）網友提出了幾乎不用微調的更優方案[25]，馬上有人在推特（twitter，現X）上提問[26]，然后我直接在網上回復[27]……

總的來說，這次LLM的時代潮流，造成了非常劇烈的競爭，對研究者們沖擊很大。越是愿意鉆進技術細節里手寫代碼的，跟進速度越快，對于新范式的理解也越深入，甚至連風險投資者們都開始自己碼代碼調程序做LLM應用了。LLM也導致了很多思維的變革，許多以前感覺匪夷所思的操作（比如說讓模型自我反省，或是用文字描述全新任務讓它執行），今天寫幾個prompt就能實現，這對一些傳統的研究思維，會是一個巨大的沖擊。

恍然間又回到了2013-2014深度學習起飛的年代，但這次來勢更猛，增速更快，因為基礎架構，硬件支持，開源氛圍，或是研究者們的認知，都已經更新換代了。往這個方向走下去，在不遠的將來，就如之前關于GPT-4的一點狂想（其二） - 知乎(zhihu.com)[28]所預測的那樣，也許個人及小團隊的能力會越來越重要。迭代速度越快，一手經驗越豐富，越不受已有的條條框框約束，越能發現別人發現不了的東西。

當全世界的公開數據都已經塞進模型里訓練了，個人能做的貢獻，就在于在自己深耕的領域，有獨一無二的發現了。

我覺得自己這一年還是hands-on得少了，之后還是要做更多一線的工作，才能適應時代的潮流啊。

審核編輯：黃飛

?