近年來，語言模型（LM）在自然語言處理（NLP）研究中變得更加突出，在實踐中也越來越有影響力。一般來說，擴大模型的規(guī)模已被證明可以提升在一系列 NLP 任務中的性能。

不過，擴大模型規(guī)模的挑戰(zhàn)也是顯而易見的：訓練新的、更大的模型需要大量的計算資源。此外，新的模型往往是從頭開始訓練的，無法利用以前的模型的訓練權(quán)重。

對于這個問題，谷歌的研究人員探討了兩種互補的方法，在不額外消耗大量計算資源的情況下，大幅提高現(xiàn)有語言模型的性能。

首先，在 「Transcending Scaling Laws with 0.1% Extra Compute」一文中，研究人員介紹了 UL2R，這是一個輕量級的第二階段預訓練模型，使用一個混合 enoisers 目標。UL2R 提高了一系列任務的性能，甚至在以前具有接近隨機性能的任務上釋放出突發(fā)性能。

另外，在「Scaling Instruction-Finetuned Language Models」中，探討了在一個以指令為措辭的數(shù)據(jù)集上微調(diào)語言模型的問題，這個過程我們稱為 "Flan"。這種方法不僅提高了性能，而且還提高了語言模型對用戶輸入的可用性。

最后，F(xiàn)lan 和 UL2R 可以作為互補技術(shù)結(jié)合在一個名為 Flan-U-PaLM 540B 的模型中，該模型在一系列具有挑戰(zhàn)性的評估基準中，比未經(jīng)調(diào)整的 PaLM 540B 模型表現(xiàn)高出 10%。

UL2R 的訓練

傳統(tǒng)上，大多數(shù)語言模型都是在因果語言建模目標上進行預訓練，使模型能夠預測序列中的下一個詞（如 GPT-3 或 PaLM）或去噪目標，其中模型學習從損壞的單詞序列中恢復原句（如 T5）。

盡管在語言建模目標中存在一些權(quán)衡，即因果關(guān)系的語言模型在長句生成方面表現(xiàn)更好，而在去噪目標上訓練的語言模型在微調(diào)方面表現(xiàn)更好，但在之前的工作中，研究人員表明，包括這兩個目標的混合 enoisers 目標在兩種情況下都能取得更好的性能。

不過，在不同的目標上從頭開始對大型語言模型進行預訓練，在計算上是很困難的。因此，我們提出了 UL2 修復（UL2R），這是一個用 UL2 目標繼續(xù)預訓練的附加階段，只需要相對較少的計算量。

我們將 UL2R 應用于 PaLM，并將產(chǎn)生的新語言模型稱為 U-PaLM。

在實證評估中，我們發(fā)現(xiàn)，只需少量的 UL2 訓練，模型就會有大幅改善。

例如，通過在 PaLM 540B 的中間檢查點上使用 UL2R，可以達到 PaLM 540B 在最終檢查點的性能，同時使用了 2 倍的計算量。當然，將 UL2R 應用于最終的 PaLM 540B 檢查點也會帶來巨大的改進。

PaLM 540B 和 U-PaLM 540B 在 26 個 NLP 基準上的計算與模型性能對比。U-PaLM 540B 繼續(xù)訓練 PaLM，計算量非常小，但在性能上有很大的提升。

使用 UL2R 的另一個好處是，它在一些任務上的性能比純粹在因果語言建模目標上訓練的模型好得多。例如，有許多 BIG-Bench 任務具備所謂「新興能力」，即只有在足夠大的語言模型中才有的能力。

雖然最常見的發(fā)現(xiàn)新興能力的方式是通過擴大模型規(guī)模，但 UL2R 實際上可以在不擴大模型規(guī)模的情況下激發(fā)新興能力。

比如在 BIG-Bench 的導航任務中，衡量模型進行狀態(tài)跟蹤的能力，除了 U-PaLM，所有模型的訓練 FLOPs 少于 10^23 個。另一個例子是 BIG-Bench 的 Snarks 任務，該任務衡量模型檢測諷刺語言的能力。

對于來自 BIG-Bench 的兩種能力，展示了新興的任務性能，U-PaLM 由于使用了 UL2R 目標，所以在較小的模型規(guī)模下實現(xiàn)了新興性能。

指令微調(diào)

在第二篇論文中，我們探討了指令微調(diào)，這涉及到在一組以指令為措辭的 NLP 數(shù)據(jù)集上對 LM 進行微調(diào)。

在之前的工作中，我們將指令微調(diào)應用于 62 個 NLP 任務的 137B 參數(shù)模型，比如回答一個小問題，對電影表達的情感進行分類，或者將句子翻譯成西班牙語等。

在這項工作中，我們在超過 1.8K 的任務上微調(diào)了 540B 參數(shù)的語言模型。此外，以前的工作只對有少量例證的語言模型（如 MetaICL）或無例證的零例證語言模型（如 FLAN、T0）進行微調(diào)，而我們對兩者的組合都進行了微調(diào)。

我們還包括思維鏈微調(diào)數(shù)據(jù)，這使得模型能夠進行多步驟推理。我們把我們改進的方法稱為 "Flan"，用于微調(diào)語言模型。

值得注意的是，即使在 1.8K 的任務上進行微調(diào)，與預訓練相比，F(xiàn)lan 只用了一小部分的計算量（對于 PaLM 540B，F(xiàn)lan 只需要預訓練計算量的 0.2%）。

在 1.8K 個以指令形式表述的任務上對語言模型進行微調(diào)，并在新任務上對模型進行評估，這些任務不包括在微調(diào)中。分別在有 / 無示例的情況下進行微調(diào)（即 0-shot 和 few-shot），以及有 / 無思維鏈的情況下進行微調(diào)，使模型可以在一系列評估場景中推廣開來。

本文中，一系列規(guī)模的 LM 進行了指令-微調(diào)，目的是研究同時擴大語言模型的規(guī)模和增加微調(diào)任務數(shù)量的共同效果。

例如，對于 PaLM 類語言模型，包括 8B、62B 和 540B 參數(shù)規(guī)格。在四個具有挑戰(zhàn)性的基準評估標準（MMLU、BBH、TyDiQA 和 MGSM）上評估了我們的模型，發(fā)現(xiàn)擴大參數(shù)數(shù)量和微調(diào)任務數(shù)量都能提高在此前未見的新任務上的性能表現(xiàn)。

擴大到 540B 的參數(shù)模型和使用 1.8K 的微調(diào)任務都能提高性能。上圖 y 軸是四個評估套件（MMLU、BBH、TyDiQA 和 MGSM）的歸一化均值。

除了更好的性能之外，指令微調(diào) LM 能夠在推理時對用戶的指令做出反應，而不需要少量的示例或提示工程。這使得 LM 在一系列的輸入中更加方便用戶。例如，沒有指令微調(diào)的 LM 有時會重復輸入或不能遵循指令，但指令微調(diào)可以減輕這種錯誤。

我們的指令微調(diào)語言模型 Flan-PaLM 與沒有指令微調(diào)的 PaLM 模型相比，對指令的反應更好。

強強聯(lián)合，實現(xiàn)「1+1>2」

最后，我們表明，UL2R 和 Flan 可以結(jié)合起來訓練 Flan-U-PaLM 模型。

由于 Flan 使用來自 NLP 任務的新數(shù)據(jù)，并能實現(xiàn)零點指令跟蹤，我們將 Flan 作為 UL2R 之后的次選方法。

我們再次對四個基準套件進行評估，發(fā)現(xiàn) Flan-U-PaLM 模型優(yōu)于只有 UL2R（U-PaLM）或只有 Flan（Flan-PaLM）的 PaLM 模型。此外，當與思維鏈和自洽性相結(jié)合時，F(xiàn)lan-U-PaLM 在 MMLU 基準上達到了新的 SOTA，得分達到 75.4%。

與只使用 UL2R（U-PaLM）或只使用 Flan（Flan-U-PaLM）相比，將 UL2R 和 Flan（Flan-U-PaLM）結(jié)合起來會帶來最佳性能：四個評估套件（MMLU、BBH、TyDiQA 和 MGSM）的歸一化平均值。

總的來說，UL2R 和 Flan 是兩種互補的方法，用于改進預訓練的語言模型。UL2R 使用相同的數(shù)據(jù)使 LM 適應 denoisers 的混合目標，而 Flan 則利用超過 1.8K NLP 任務的訓練數(shù)據(jù)來教模型遵循指令。

隨著語言模型變得更大，像 UL2R 和 Flan 這樣無需大量計算就能提高一般性能的技術(shù)，可能會變得越來越有吸引力。

參考資料：

• https://ai.googleblog.com/2022/11/better-language-models-without-massive.html

本文來自微信公眾號：新智元 （ID：AI_era），編輯：David

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。