ChatGPT理論分析及優化討論

最近ChatGPT火出圈了，它和前陣子的Stable Diffusion（AIGC）一樣成為社交媒體上人們津津樂道的話題?！癈hatGPT要取代谷歌搜索了？”“ChatGPT要讓程 序員失業了嗎？”……類似的標題又一次刺激了我們的神經。作為一名碼農，我對后一個標題其實是嗤之以鼻的。無論ChatGPT是用了什么樣的“魔 法”，僅從目前展現的能力來看，它學會的頂多就是熟練使用編程語言的API，去實現某個函數完成人類給定的特定小任務。在真實的項目場景下，程序員 通常要接過一個含糊不清的需求，梳理其中的每個細節直至形成邏輯閉環，再將其抽象成一個個特定任務并實現功能，現有AI至多能幫上最后一個小階 段；更別提真正讓程序員頭大的往往是并發、事務一致性等問題，這些都是現有AI無法解決的。

但是作為一名深度學習愛好者，我對ChatGPT表現出來的能力是驚嘆的。無論是OpenAI提供的示例還是社交媒體上的各路花活，都讓我更新了以往對AI語 言模型特有的“人工智障”的認識。因此我其實十分好奇，ChatGPT的“魔法”原理是什么？遺憾的是，我在中文互聯網上并沒有找到對這個工作很好的解 讀文字，而直接看論文既費事又不是特別能理解。在一些網上優質解讀視頻的幫助下，我逐漸理解了所謂的“魔法”究竟是什么，并嘗試梳理成如下的文 字。

ChatGPT的“魔法”原理
由于ChatGPT并沒有放出論文，我們沒法直接了解ChatGPT的設計細節。但它的blog中提到一個相似的工作InstructGPT，兩者的區別是ChatGPT在后者的基 礎上針對多輪對話的訓練任務做了優化，因此我們可以參考后者的論文去理解ChatGPT。

然而，InstructGPT的論文由25頁正文和43頁附錄組成，所以本文并不試圖去講清包括訓練策略在內的每個細節。為了保證梳理的完整性，本文將分為上下 兩個部分：第一部分參考了Youtube上的 李宏毅 和 陳蘊儂 老師，旨在講清InstructGPT的改進思路；第二部分參考了B站UP主弗蘭克甜，試圖轉述他對 ChatGPT的深刻理解。