中國研究人員提出StructGPT，提高LLM對結構化數據的零樣本推理能力

大型語言模型 (LLM) 最近在自然語言處理 (NLP) 方面取得了重大進展?，F有研究表明，LLM) 具有很強的零樣本和少樣本能力，可以借助專門創建的提示完成各種任務，而無需針對特定任務進行微調。盡管它們很有效，但根據目前的研究，LLM 可能會產生與事實知識不符的不真實信息，并且無法掌握特定領域或實時的專業知識。這些問題可以通過在LLM中添加外部知識源來修復錯誤的生成來直接解決。

結構化數據，如數據庫和知識圖譜，已被常規用于在各種資源中攜帶 LLM 所需的知識。但是，由于結構化數據使用 LLM 在預訓練期間未接觸過的獨特數據格式或模式，因此他們可能需要幫助才能理解它們。與純文本相反，結構化數據以一致的方式排列并遵循特定的數據模型。數據表按行排列為列索引記錄，而知識圖 (KG) 經常組織為描述頭尾實體之間關系的事實三元組。

盡管結構化數據的體量往往非常巨大，但不可能容納輸入提示中的所有數據記錄（例如，ChatGPT 的最大上下文長度為 4096）。將結構化數據線性化為 LLM 可以輕松掌握的語句是解決此問題的簡單方法。工具操作技術激勵他們增強 LLM 解決上述困難的能力。他們策略背后的基本思想是使用專門的接口來更改結構化數據記錄（例如，通過提取表的列）。在這些接口的幫助下，他們可以更精確地定位完成特定活動所需的證據，并成功地限制數據記錄的搜索范圍。

來自中國人民大學、北京市大數據管理與分析方法重點實驗室和中國電子科技大學的研究人員在這項研究中著重于為某些任務設計合適的接口，并將它們用于 LLM 的推理，這些接口是應用界面增強方法需要解決的兩個主要問題。以這種方式，LLM 可以根據從界面收集的證據做出決定。為此，他們在本研究中提供了一種稱為 StructGPT 的迭代閱讀然后推理 (IRR) 方法，用于解決基于結構化數據的任務。他們的方法考慮了完成各種活動的兩個關鍵職責：收集相關數據（閱讀）和假設正確的反應或為下一步行動制定策略（推理）。

據他們所知，這是第一項著眼于如何使用單一范式幫助 LLM 對各種形式的結構化數據（例如表、KG 和 DB）進行推理的研究。從根本上說，他們將 LLM 的閱讀和推理兩個過程分開：他們使用結構化數據接口來完成精確、有效的數據訪問和過濾，并依靠他們的推理能力來確定下一步的行動或查詢的答案。

對于外部接口，他們特別建議調用線性化生成過程，以幫助 LLM 理解結構化數據并做出決策。通過使用提供的接口重復此過程，他們可能會逐漸接近對查詢的期望響應。

他們對各種任務（例如基于知識圖譜的問答、基于表的問答和基于數據庫的文本到 SQL）進行了全面試驗，以評估其技術的有效性。八個數據集的實驗結果表明，他們建議的方法可能會顯著提高 ChatGPT 在結構化數據上的推理性能，甚至達到與全數據監督調優方法競爭的水平。

? KGQA。他們的方法使 KGQA 挑戰的 WebQSP 上的 Hits@1 增加了 11.4%。借助他們的方法，ChatGPT 在多跳 KGQA 數據集（例如 MetaQA-2hop 和 MetaQA-3hop）中的性能可能分別提高了 62.9% 和 37.0%。

? 質量保證表。在 TableQA 挑戰中，與直接使用 ChatGPT 相比，他們的方法在 WTQ 和 WikiSQL 中將標注準確度提高了大約 3% 到 5%。在 TabFact 中，他們的方法將表格事實驗證的準確性提高了 4.2%。

? 文本到SQL。在 Text-to-SQL 挑戰中，與直接使用 ChatGPT 相比，他們的方法將三個數據集的執行準確性提高了約 4%。

作者已經發布了 Spider 和 TabFact 的代碼，可以幫助理解 StructGPT 的框架，整個代碼庫尚未發布。

審核編輯 ：李倩