對比解碼在LLM上的應用

深度學習自然語言處理 原創

作者：wkk

為了改進LLM的推理能力，University of California聯合Meta AI實驗室提出將Contrastive Decoding應用于多種任務的LLM方法。實驗表明，所提方法能有效改進LLM的推理能力。讓我們走進論文一探究竟吧！

對比解碼(Contrastive Decoding)

在走進論文之前首先介紹一下什么是對比解碼，其是由Li等人在2022年提出的一種文本生成方法，具有簡單、計算量小、訓練自由等特點。它通過查找到最大化強模型和弱模型之間可能性差異的字符串來生成文本，從而產生更多且更高質量的文本。在對比解碼中，弱模型可以是常規的貪心解碼方法，如一些簡單的采樣方法，強模型可以是經過訓練的大型語言模型。對比解碼可以在很多推理任務上表現出色，包括算術推理和多項選擇排名任務，可以提高語言模型的準確率。

本文創新點：探索對比解碼在LLM上的應用。具體地，通過最大化專家模型和較弱的業余模型之間存在的可能性誤差(如下圖所示)來搜索字符串，避免了專家模型中的不良影響和貪婪解碼會出現的采樣誤差問題。

實驗結論：通過在多種任務上的測試，本文證明了對比解碼可以提高大型語言模型在推理和文本生成問題上的性能，這是第一種同時在推理和文本生成問題上實現最先進結果的生成算法。此外，還分析了對比解碼的改進原因，并探討了該方法在常識推理和事實檢索方面的適用性。

實驗

實驗設置

模型：實驗采用LLaMA家族的原始模型，其中專家模型為LLaMA-65B，業余模型為具有1.5B的LLaMA模型。此外，在消融實驗中，本文還對FLAN-T5家族的模型進行實驗分析。

解碼參數：α=0.1，為原始論文中相同的超參數：專家模型分配的最大概率的比例，任何標記都分配了較低的概率被屏蔽掉。β=0.5是對應于業余懲罰強度的超參數。將前導 (1 + β) 系數包含在專家 logits 中，以將對比懲罰的強度與輸出 logits 的預期尺度解耦，描述了用于采樣的溫度的對比權衡之間的對比權衡。

prompt：對于生成任務使用8-shot的CoT。

數據集：聚焦代數問題的AQuA、ASDiv、GSM8K、SVAMP和MATH數據集，針對常識推理的CommonsenseQA、StrategyQA數據集以及AI2 Reasoning Challenge、BooIQ、HellaSwag、MMLU、PIQA、SIQA和WinoGrande等基準數據集。

實驗結果

在GSM8K上的實驗表明，β=0.5能獲得更好的結果同時業余模型對于性能的提升可能大于專家模型。

對比解碼往往有助于全面完成具有CoT提示的算術推理任務。其中一個例外是MATH數據集，它被證明對標準解碼和對比解碼都具有挑戰性。作者推測因為對比解碼放大了專家比業余模型學得更好的技能，所以它對遠遠超出專家模型的任務沒有幫助。

在CommonsenseQA和StrategyQA數據集上實驗發現對比解碼會損害較小模型的性能。

對比解碼的影響

本文還進行了一系列附加實驗，研究表明，對比解碼可以在大型語言模型中提高推理能力。在算術推理和多項選擇排名任務上，包括LLaMA-65B這樣的大型模型，都有普遍的改進，這表明對比解碼可以使更大的模型受益。通過分析對比解碼改進的原因。實證表明，與貪婪解碼相比，對比解碼從提示中復制的表面層次較少，錯過的推理步驟也較少。這一結果表明，對比解碼通過減少模型分布中的短、重復或其他不良模式來起作用。

結論

使用對比解碼（Contrastive Decoding）方法可以顯著提高大型語言模型在一系列推理任務中的準確性，這種方法不僅在生成文本方面表現優異，還可以在推理問題方面超越當前現有的各種模型。同時，該方法能夠減少模型分布中的短、重復或其他不良模式，從而提高模型的推理能力。然而，該方法在常識推理任務中表現良莠不齊，需要進一步研究和改進?？偟膩碚f，對比解碼方法在改善語言模型的生成和推理能力上具有廣泛的應用前景。

審核編輯：湯梓紅