一種基于亂序語(yǔ)言模型的預訓練模型-PERT

寫(xiě)在前面

今天分享給大家一篇哈工大訊飛聯(lián)合實(shí)驗室的論文，一種基于亂序語(yǔ)言模型的預訓練模型-PERT，全名《PERT: PRE-TRAINING BERT WITH PERMUTED LANGUAGE MODEL》。該篇論文的核心是，將MLM語(yǔ)言模型的掩碼詞預測任務(wù)，替換成詞序預測任務(wù)，也就是在不引入掩碼標記[MASK]的情況下自監督地學(xué)習文本語(yǔ)義信息，隨機將一段文本的部分詞序打亂，然后預測被打亂詞語(yǔ)的原始位置。

PERT模型的Github以及對應的開(kāi)源模型其實(shí)年前就出來(lái)了，只是論文沒(méi)有放出。今天一瞬間想起來(lái)去看一眼，這不，論文在3月14號的時(shí)候掛到了axirv上，今天分享給大家。

paper：https://arxiv.org/pdf/2203.06906.pdf
github：https://github.com/ymcui/PERT

介紹

預訓練語(yǔ)言模型（PLMs）目前在各種自然語(yǔ)言處理任務(wù)中均取得了優(yōu)異的效果。預訓練語(yǔ)言模型主要分為自編碼和自回歸兩種。自編碼PLMs的預訓練任務(wù)通常是掩碼語(yǔ)言模型任務(wù)，即在預訓練階段，使用[MASK]標記替換原始輸入文本中的一些token，并在詞匯表中恢復這些被[MASK]的token。

常用預訓練語(yǔ)言模型總結：https://zhuanlan.zhihu.com/p/406512290

那么，自編碼PLMs只能使用掩碼語(yǔ)言模型任務(wù)作為預訓練任務(wù)嗎？我們發(fā)現一個(gè)有趣的現象“在一段文本中隨機打亂幾個(gè)字并不會(huì )影響我們對這一段文本的理解”，如下圖所示，乍一看，可能沒(méi)有注意到句子中存在一些亂序詞語(yǔ)，并且可以抓住句子的中心意思。該論文探究了是否可以通過(guò)打亂句子中的字詞來(lái)學(xué)習上下文的文本表征，并提出了一個(gè)新的預訓練任務(wù)，即亂序語(yǔ)言模型（PerLM）。

模型

PERT模型結構如上圖所示。PERT模型結構與BERT模型結構相同，僅在模型輸入以及預訓練目標上略有不同。

PERT模型的細節如下：

• 采用亂序語(yǔ)言模型作為預訓練任務(wù)，預測目標為原始字詞的位置；
• 預測空間大小取決于輸入序列長(cháng)度，而不是整個(gè)詞表的大?。ㄑ诖a語(yǔ)言模型預測空間為詞表）；
• 不采用NSP任務(wù)；
• 通過(guò)全詞屏蔽和N-gram屏蔽策略來(lái)選擇亂序的候選標記；
• 亂序的候選標記的概率為15%，并且真正打亂順序僅占90%，剩余10%保持不變。

由于亂序語(yǔ)言模型不使用[MASK]標記，減輕了預訓練任務(wù)與微調任務(wù)之間的gap，并由于預測空間大小為輸入序列長(cháng)度，使得計算效率高于掩碼語(yǔ)言模型。PERT模型結構與BERT模型一致，因此在下游預訓練時(shí)，不需要修改原始BERT模型的任何代碼與腳本。注意，與預訓練階段不同，在微調階段使用正常的輸入序列，而不是打亂順序的序列。

中文實(shí)驗結果與分析

預訓練參數

• 數據：由中文維基百科、百科全書(shū)、社區問(wèn)答、新聞文章等組成，共5.4B字，大約20G。
• 訓練參數：詞表大小為21128，最大序列長(cháng)度為512，batch大小為416（base版模型）和128（large版模型），初始學(xué)習率為1e-4，使用 warmup動(dòng)態(tài)調節學(xué)習率，總訓練步數為2M，采用ADAM優(yōu)化器。
• 訓練設備：一臺TPU，128G。

機器閱讀理解MRC任務(wù)

在CMRC2018和DRCD兩個(gè)數據集上對機器閱讀理解任務(wù)進(jìn)行評測，結果如下表所示。
PERT模型相比于MacBERT模型有部分的提高，并且始終優(yōu)于其他模型。

文本分類(lèi)TC任務(wù)

在XNLI、LCQMC、BQ Corpus、ChnSentiCorp、TNEWS和OCNLI 6個(gè)數據集上對文本分類(lèi)任務(wù)進(jìn)行評測，結果如下表所示。

在文本分類(lèi)任務(wù)上，PERT模型表現不佳。推測與MRC任務(wù)相比，預訓練中的亂序文本給理解短文本帶來(lái)了困難。

命名實(shí)體識別NER任務(wù)

在MSRA-NER和People’s Daily兩個(gè)數據集上對命名實(shí)體識別任務(wù)進(jìn)行評測，結果如下表所示。

PERT模型相比于其他模型均取得最優(yōu)的效果，表明預訓練中的亂序文在序列標記任務(wù)中的良好能力。

對比機器閱讀理解、文本分類(lèi)和命名實(shí)體識別三個(gè)任務(wù)，可以發(fā)現，PERT模型在MRC和NER任務(wù)上表現較好，但在TC任務(wù)上表現不佳，這意味著(zhù)TC任務(wù)對詞語(yǔ)順序更加敏感，由于TC任務(wù)的輸入文本相對較短，有些詞語(yǔ)順序的改變會(huì )給輸入文本帶來(lái)完全的意義變化。然而，MRC任務(wù)的輸入文本通常很長(cháng)，幾個(gè)單詞的排列可能不會(huì )改變整個(gè)文章的敘述流程；并且對于NER任務(wù)，由于命名實(shí)體在整個(gè)輸入文本中只占很小的比例，因此詞語(yǔ)順序改變可能不會(huì )影響NER進(jìn)程。

語(yǔ)法檢查任務(wù)

在Wikipedia、Formal Doc、Customs和Legal 4個(gè)數據集上對文本分類(lèi)任務(wù)進(jìn)行評測語(yǔ)法檢查任務(wù)進(jìn)行評測，結果如下表所示。

PERT模型相比于其他模型均取得最優(yōu)的效果，這是由于下游任務(wù)與預訓練任務(wù)非常相似導致的。

預訓練的訓練步數對PERT模型的影響

不同的下游任務(wù)的最佳效果可能出現在不同的預訓練步驟上，如下圖所示。

我們發(fā)現對于MRC和NER任務(wù)，隨著(zhù)預訓練步數的增加，下游任務(wù)也會(huì )隨之提高。然而，對于TC任務(wù)，不同數據的指標在不同的步數上取得最優(yōu)。如果考慮到特定任務(wù)的效果，有必要在早期訓練中保存部分模型。

不同的打亂粒度對PERT模型的影響

不同粒度間的打亂，可以使使輸入文本更具可讀性。通過(guò)在不同粒度內亂序輸入文本來(lái)比較性能，如下表所示。

我們發(fā)現，在各種打亂粒度中，無(wú)限制亂序的PERT模型在所有任務(wù)中都取得了最優(yōu)的效果；而選擇最小粒度（詞語(yǔ)之間）的模型，效果最差?？赡茉蚴?，雖然使用更小的粒度的亂序可以使輸入文本更具可讀性，但是對預訓練任務(wù)的挑戰性較小，使模型不能學(xué)習到更好地語(yǔ)義信息。

不同預測空間對PERT模型的影響

將PERT模型使用詞表空間作為預測目標是否有效？如下表所示。



實(shí)驗結果表明，PERT模型不需要在詞表空間中進(jìn)行預測，其表現明顯差于在輸入序列上的預測；并且將兩者結合的效果也不盡如人意。

預測部分序列和預測全部序列對PERT模型的影響

ELECTRA模型的實(shí)驗發(fā)現預測完全序列的效果比部分序列的更好，因此ELECTRA模型采用RTD任務(wù)對判別器采用完全序列預測。但通過(guò)本論文實(shí)驗發(fā)現，預測完全序列在PERT模型中并沒(méi)有產(chǎn)生更好的效果。表明在預訓練任務(wù)中使用預測全部序列并不總是有效的，需要根據所設計的預訓練任務(wù)進(jìn)行調整。

總結

PERT模型的預訓練思路還是挺有意思的，并在MRC、NER和WOR任務(wù)上均取得了不錯的效果。并且由于結構與BERT模型一致，因此在下游任務(wù)使用時(shí)，僅修改預訓練模型加載路徑就實(shí)現了模型替換，也比較方便。當打比賽或者做業(yè)務(wù)時(shí)候，可以不妨試一試，說(shuō)不定有奇效。（ps：我在我們自己的MRC數據集上做過(guò)實(shí)驗，效果不錯呦?。。?/p>

審核編輯 ：李倩