nhk在线

zhucejikelingquyuandalibao，zhouzhoudouyoujingxi！suishisuidikeyirangdajiadeshoujiyunxinggengjialiuchang，yijianshadufuwuyekeyidedaomanzu。dailaigengduodelequ，fasanzijidesiwei，wanchengduozhongrenwu，rangxiaoqiushunlideyidong；erqiehaikeyijishidelejiebutongdeyouhuixinxi;zhandouxitong：xuankuwubidejinengtexiao，qianbianwanhuadejinengxiaoguo，rangnitiyanpaibingbuzhendailaidezhanchangzongheng。算(suan)力(li)就(jiu)這(zhe)麽(me)點(dian)，如(ru)何(he)提(ti)升(sheng)語(yu)言(yan)模(mo)型(xing)性(xing)能(neng)？谷(gu)歌(ge)想(xiang)了(le)個(ge)新(xin)点子(zi)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：David

【新智元導(dao)讀(du)】语言模型越(yue)來(lai)越厲(li)害(hai)，也(ye)越来越大(da)。如何在(zai)不(bu)擴(kuo)大規(gui)模的(de)情(qing)況(kuang)下(xia)提升模型性能？谷歌AI想出(chu)了壹(yi)个「強(qiang)强聯(lian)合(he)」的好(hao)点子。

近(jin)年(nian)来，语言模型（LM）在自(zi)然(ran)语言處(chu)理(li)（NLP）研(yan)究(jiu)中(zhong)變(bian)得(de)更(geng)加(jia)突(tu)出，在實(shi)踐(jian)中也越来越有(you)影(ying)響(xiang)力。一般(ban)来說(shuo)，扩大模型的规模已(yi)被(bei)證(zheng)明(ming)可(ke)以(yi)提升在一系(xi)列(lie)NLP任(ren)務(wu)中的性能。

不過(guo)，扩大模型规模的挑(tiao)戰(zhan)也是(shi)顯(xian)而(er)易(yi)見(jian)的：訓(xun)練(lian)新的、更大的模型需(xu)要(yao)大量(liang)的計(ji)算資(zi)源(yuan)。此(ci)外(wai)，新的模型往(wang)往是從(cong)頭(tou)開(kai)始(shi)训练的，無(wu)法(fa)利(li)用(yong)以前(qian)的模型的训练權(quan)重(zhong)。

對(dui)於(yu)这个問(wen)題(ti)，谷歌的研究人(ren)員(yuan)探(tan)討(tao)了兩(liang)種(zhong)互(hu)補(bu)的方(fang)法，在不額(e)外消(xiao)耗(hao)大量计算资源的情况下，大幅(fu)提高(gao)現(xian)有语言模型的性能。

首(shou)先(xian)，在 「Transcending Scaling Laws with 0.1% Extra Compute」一文(wen)中，研究人员介(jie)紹(shao)了UL2R，这是一个輕(qing)量級(ji)的第(di)二(er)階(jie)段(duan)預(yu)训练模型，使(shi)用一个混(hun)合enoisers目(mu)標(biao)。UL2R提高了一系列任务的性能，甚(shen)至(zhi)在以前具(ju)有接(jie)近隨(sui)機(ji)性能的任务上(shang)釋(shi)放(fang)出突發(fa)性能。

論(lun)文鏈(lian)接：https://arxiv.org/pdf/2210.11399.pdf

另(ling)外，在「Scaling Instruction-Finetuned Language Models」中，探讨了在一个以指(zhi)令(ling)為(wei)措(cuo)辭(ci)的數(shu)據(ju)集(ji)上微(wei)調(tiao)语言模型的问题，这个过程(cheng)我(wo)們(men)稱(cheng)为"Flan"。这种方法不僅(jin)提高了性能，而且(qie)還(hai)提高了语言模型对用戶(hu)輸(shu)入(ru)的可用性。

论文链接：https://arxiv.org/abs/2210.11416

最(zui)後(hou)，Flan和(he)UL2R可以作(zuo)为互补技(ji)術(shu)結(jie)合在一个名(ming)为Flan-U-PaLM 540B的模型中，該(gai)模型在一系列具有挑战性的評(ping)估(gu)基(ji)準(zhun)中，比(bi)未(wei)經(jing)调整(zheng)的PaLM 540B模型表(biao)现高出10%。

UL2R的训练

傳(chuan)統(tong)上，大多(duo)数语言模型都(dou)是在因(yin)果(guo)语言建(jian)模目标上進(jin)行(xing)预训练，使模型能夠(gou)预測(ce)序(xu)列中的下一个詞(ci)（如GPT-3或(huo)PaLM）或去(qu)噪(zao)目标，其(qi)中模型學(xue)習(xi)从損(sun)壞(huai)的單(dan)词序列中恢(hui)復(fu)原(yuan)句(ju)（如T5）。

盡(jin)管(guan)在语言建模目标中存(cun)在一些(xie)权衡(heng)，即(ji)因果關(guan)系的语言模型在長(chang)句生(sheng)成(cheng)方面(mian)表现更好，而在去噪目标上训练的语言模型在微调方面表现更好，但(dan)在之(zhi)前的工(gong)作中，研究人员表明，包(bao)括(kuo)这两个目标的混合enoisers目标在两种情况下都能取(qu)得更好的性能。

不过，在不同(tong)的目标上从头开始对大型语言模型进行预训练，在计算上是很(hen)困(kun)難(nan)的。因此，我们提出了UL2修(xiu)复（UL2R），这是一个用UL2目标繼(ji)續(xu)预训练的附(fu)加阶段，只(zhi)需要相(xiang)对較(jiao)少(shao)的计算量。

我们將(jiang)UL2R應(ying)用于PaLM，並(bing)将產(chan)生的新语言模型称为U-PaLM。

在实证评估中，我们发现，只需少量的UL2训练，模型就會(hui)有大幅改(gai)善(shan)。

例(li)如，通(tong)过在PaLM 540B的中間(jian)檢(jian)查(zha)点上使用UL2R，可以達(da)到(dao)PaLM 540B在最終(zhong)检查点的性能，同時(shi)使用了2倍(bei)的计算量。當(dang)然，将UL2R应用于最终的PaLM 540B检查点也会帶(dai)来巨(ju)大的改进。

PaLM 540B和U-PaLM 540B在26个NLP基准上的计算與(yu)模型性能对比。U-PaLM 540B继续训练PaLM，计算量非(fei)常(chang)小(xiao)，但在性能上有很大的提升。

使用UL2R的另一个好处是，它(ta)在一些任务上的性能比純(chun)粹(cui)在因果语言建模目标上训练的模型好得多。例如，有許(xu)多BIG-Bench任务具備(bei)所(suo)謂(wei)「新興(xing)能力」，即只有在足(zu)够大的语言模型中才(cai)有的能力。

雖(sui)然最常见的发现新兴能力的方式(shi)是通过扩大模型规模，但UL2R实際(ji)上可以在不扩大模型规模的情况下激(ji)发新兴能力。

比如在BIG-Bench的导航(hang)任务中，衡量模型进行狀(zhuang)態(tai)跟(gen)蹤(zong)的能力，除(chu)了U-PaLM，所有模型的训练FLOPs少于10^23个。另一个例子是BIG-Bench的Snarks任务，该任务衡量模型检测諷(feng)刺(ci)语言的能力。

对于来自BIG-Bench的两种能力，展(zhan)示(shi)了新兴的任务性能，U-PaLM由(you)于使用了UL2R目标，所以在较小的模型规模下实现了新兴性能。

指令微调

在第二篇(pian)论文中，我们探讨了指令微调，这涉(she)及(ji)到在一組(zu)以指令为措辞的NLP数据集上对LM进行微调。

在之前的工作中，我们将指令微调应用于62个NLP任务的137B參(can)数模型，比如回(hui)答(da)一个小问题，对電(dian)影表达的情感(gan)进行分(fen)類(lei)，或者(zhe)将句子翻(fan)譯(yi)成西(xi)班(ban)牙(ya)语等(deng)。

在这項(xiang)工作中，我们在超(chao)过1.8K的任务上微调了540B参数的语言模型。此外，以前的工作只对有少量例证的语言模型（如MetaICL）或无例证的零(ling)例证语言模型（如FLAN、T0）进行微调，而我们对两者的组合都进行了微调。

我们还包括思(si)維(wei)链微调数据，这使得模型能够进行多步(bu)驟(zhou)推(tui)理。我们把(ba)我们改进的方法称为"Flan"，用于微调语言模型。

值(zhi)得註(zhu)意(yi)的是，即使在1.8K的任务上进行微调，与预训练相比，Flan只用了一小部(bu)分的计算量（对于PaLM 540B，Flan只需要预训练计算量的0.2%）。

在1.8K个以指令形(xing)式表述(shu)的任务上对语言模型进行微调，并在新任务上对模型进行评估，这些任务不包括在微调中。分別(bie)在有/无示例的情况下进行微调（即0-shot 和 few-shot），以及有/无思维链的情况下进行微调，使模型可以在一系列评估場(chang)景(jing)中推廣(guang)开来。

本(ben)文中，一系列规模的LM进行了指令-微调，目的是研究同时扩大语言模型的规模和增(zeng)加微调任务数量的共(gong)同效(xiao)果。

例如，对于PaLM类语言模型，包括8B、62B和540B参数规格(ge)。在四(si)个具有挑战性的基准评估标准（MMLU、BBH、TyDiQA和MGSM）上评估了我们的模型，发现扩大参数数量和微调任务数量都能提高在此前未见的新任务上的性能表现。

扩大到540B的参数模型和使用1.8K的微调任务都能提高性能。上圖(tu)y軸(zhou)是四个评估套(tao)件(jian)（MMLU、BBH、TyDiQA和MGSM）的歸(gui)一化(hua)均(jun)值。

除了更好的性能之外，指令微调LM能够在推理时对用户的指令做(zuo)出反(fan)应，而不需要少量的示例或提示工程。这使得LM在一系列的输入中更加方便(bian)用户。例如，沒(mei)有指令微调的LM有时会重复输入或不能遵(zun)循(xun)指令，但指令微调可以減(jian)轻这种錯(cuo)誤(wu)。

我们的指令微调语言模型Flan-PaLM与没有指令微调的PaLM模型相比，对指令的反应更好。

强强联合，实现「1+1>2」

最后，我们表明，UL2R和Flan可以结合起(qi)来训练Flan-U-PaLM模型。

由于Flan使用来自NLP任务的新数据，并能实现零点指令跟踪，我们将Flan作为UL2R之后的次(ci)選(xuan)方法。

我们再(zai)次对四个基准套件进行评估，发现Flan-U-PaLM模型優(you)于只有UL2R（U-PaLM）或只有Flan（Flan-PaLM）的PaLM模型。此外，当与思维链和自洽(qia)性相结合时，Flan-U-PaLM在MMLU基准上达到了新的SOTA，得分达到75.4%。

与只使用UL2R（U-PaLM）或只使用Flan（Flan-U-PaLM）相比，将UL2R和Flan（Flan-U-PaLM）结合起来会带来最佳(jia)性能：四个评估套件（MMLU、BBH、TyDiQA和MGSM）的归一化平(ping)均值。

總(zong)的来说，UL2R和Flan是两种互补的方法，用于改进预训练的语言模型。UL2R使用相同的数据使LM適(shi)应denoisers的混合目标，而Flan則(ze)利用超过1.8K NLP任务的训练数据来教(jiao)模型遵循指令。

随著(zhe)语言模型变得更大，像(xiang)UL2R和Flan这樣(yang)无需大量计算就能提高一般性能的技术，可能会变得越来越有吸(xi)引(yin)力。

参考(kao)资料(liao)：

https://ai.googleblog.com/2022/11/better-language-models-without-massive.html返(fan)回搜(sou)狐(hu)，查看(kan)更多

責(ze)任编辑：