led大型广告牌制作

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>算(suan)數(shu)能(neng)力(li)接(jie)近(jin)滿(man)分(fen)！新(xin)加(jia)坡(po)國(guo)立(li)大(da)學(xue)發(fa)布(bu)Goat，僅(jin)用(yong)70億(yi)參(can)数秒(miao)殺(sha)GPT-4，起(qi)步(bu)支(zhi)持(chi)16位(wei)数乘(cheng)除(chu)法(fa)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】語(yu)言(yan)模(mo)型(xing)終(zhong)於(yu)會(hui)乘除法了(le)！

大規(gui)模语言模型雖(sui)然(ran)在(zai)各(ge)大自(zi)然语言處(chu)理(li)任(ren)務(wu)上(shang)都(dou)展(zhan)現(xian)了優(you)越(yue)的(de)性(xing)能，不(bu)過(guo) 算術(shu)類(lei)題(ti)目(mu)仍(reng)然是(shi)壹(yi)大難(nan)關(guan)，即(ji)便(bian)是當(dang)下(xia)最(zui)強(qiang)的GPT-4也(ye)很(hen)难处理基(ji)礎(chu)運(yun)算的問(wen)题。

最近，來(lai)自新加坡国立大学的研(yan)究(jiu)人(ren)員(yuan)提(ti)出(chu)了一個(ge)專(zhuan)供(gong)算术的模型山(shan)羊(yang)Goat，在LLaMA模型基础上微(wei)調(tiao)後(hou)，實(shi)现了顯(xian)著(zhu)优于GPT-4的算术能力。

論(lun)文(wen)鏈(lian)接：https://arxiv.org/pdf/2305.14201.pdf

通(tong)过對(dui)合(he)成(cheng)的算术数據(ju)集(ji)進(jin)行(xing)微调，Goat在BIG-bench算术子(zi)任务上实现了最先(xian)进的性能，

Goat仅通过監(jian)督(du)微调就(jiu)可(ke)以(yi)在大数加減(jian)运算上实现近乎(hu)完(wan)美(mei)的準(zhun)確(que)率(lv)，超(chao)越了之(zhi)前(qian)所(suo)有(you)的預(yu)訓(xun)練(lian)语言模型，如(ru)Bloom、OPT、GPT-NeoX等(deng)，其(qi)中(zhong)零(ling)樣(yang)本(ben)的Goat-7B所達(da)到(dao)的精(jing)度(du)甚(shen)至(zhi)超过了少(shao)样本学習(xi)后的PaLM-540

研究人员將(jiang)Goat的卓(zhuo)越性能歸(gui)功(gong)于LLaMA对数字(zi)的一致(zhi)性分詞(ci)技(ji)术。

為(wei)了解(jie)決(jue)更(geng)有挑(tiao)戰(zhan)性的任务，如大数乘法和(he)除法，研究人员還(hai)提出了一種(zhong)方(fang)法，根(gen)据算术的可学习性对任务进行分类，然后利(li)用基本的算术原(yuan)理将不可学习的任务（如多(duo)位数乘法和除法）分解为一系(xi)列(lie)可学习的任务。

通过全(quan)面(mian)的实驗(yan)验證(zheng)后，文中提出的分解步驟(zhou)可以有效(xiao)地(di)提升(sheng)算术性能。

並(bing)且(qie)Goat-7 B可以在24 GB VRAM GPU上使(shi)用LoRA高(gao)效训练，其他(ta)研究人员可以非(fei)常(chang)容(rong)易(yi)地重(zhong)復(fu)該(gai)实验，模型、数据集和生(sheng)成数据集的python腳(jiao)本即将開(kai)源(yuan)。

会算数的语言模型

语言模型

LLaMA是一組(zu)开源的预训练语言模型，使用公(gong)开可用的数据集在数萬(wan)亿个token上进行训练后得(de)到，并在多个基准測(ce)試(shi)上实现了最先进的性能。

先前的研究結(jie)果(guo)表(biao)明(ming)，分词（tokenization）对LLM的算术能力很重要(yao)，不过常用的分词技术無(wu)法很好(hao)地表示(shi)数字，比(bi)如位数过多的数字可能会被(bei)切(qie)分。

LLaMA選(xuan)擇(ze)将数字切分为多个token，确保(bao)数字表示的一致性，研究人员認(ren)为，实验结果中表现出的非凡(fan)算术能力主(zhu)要归功于LLaMA对数字的一致性分词。

在实验中，其他微调后的语言模型，如Bloom、OPT、GPT-NeoX和Pythia，无法與(yu)LLaMA的算术能力相(xiang)匹(pi)配(pei)。

算术任务的可学习性（Learnability of Arithmetic Tasks）

之前有研究人员对使用中間(jian)监督解决复合任务（composite task）进行了理论分析(xi)，结果表明這(zhe)种任务是不可学习的，但(dan)可以分解为多項(xiang)式(shi)数量(liang)的簡(jian)單(dan)子任务。

也就是說(shuo)，不可学习的复合问题可以通过使用中间监督或(huo)逐(zhu)步思(si)維(wei)链（CoT）来学习。

在此(ci)分析基础上，研究人员首(shou)先对可学习和不可学习任务进行实验分类。

在算术計(ji)算的背(bei)景(jing)下，可学习任务通常是指(zhi)那(na)些(xie)可以成功训练模型以直(zhi)接生成答(da)案(an)的任务，從(cong)而(er)在预定(ding)義(yi)数量的训练epochs內(nei)实现足(zu)夠(gou)高的精度。

不可学习的任务是那些即使經(jing)过廣(guang)泛(fan)训练，模型也难以正(zheng)确学习和生成直接答案的任务。

虽然任务可学习性變(bian)化(hua)背后的确切原因(yin)尚(shang)不完全清(qing)楚(chu)，但可以假(jia)設(she)这与基本模式的复雜(za)性和完成任务所需(xu)的工(gong)作(zuo)記(ji)憶(yi)大小(xiao)有关。

研究人员通过在简化的合成環(huan)境(jing)中专門(men)針(zhen)对每(mei)个任务微调模型来实验檢(jian)查(zha)这些任务的可学习性。

可学习的和不可学习的任务

任务分类的结果也与人类的感(gan)知(zhi)相同(tong)，通过实踐(jian)，人类可以在腦(nao)海(hai)中计算兩(liang)个大数字的加法和减法，无需手(shou)算的情(qing)況(kuang)下，可以直接从左(zuo)（最高有效数字）到右(you)（最低(di)有效数字）寫(xie)下最终的数字答案。

不过心(xin)算解决大数乘法和除法是一项具(ju)有挑战性的任务。

还可以觀(guan)察(cha)到，上述(shu)对任务的分类结果与GPT-4的性能也一致，特(te)別(bie)是GPT-4擅(shan)長(chang)为大数加法和减法生成直接答案，当涉(she)及(ji)到多位乘法和除法任务時(shi)，准确性会显著下降(jiang)。

像(xiang)GPT-4这样强大的模型无法直接解决不可学习的任务，也可能表明，即使经过广泛的训练，为这些任务生成直接答案也是極(ji)具挑战性的。

值(zhi)得註(zhu)意(yi)的是，对于LLaMA来说是可学习的任务可能不一定对于其他LLM来说是可学的。

此外(wai)，并非所有被归类为不可学习的任务对模型来说都是完全不可能学习到的。

例(li)如，两位数乘两位数被认为是一项不可学习的任务，但如果训练集中包(bao)含(han)所有可能的2位数乘法枚(mei)舉(ju)数据的話(hua)，模型仍然可以通过过擬(ni)合训练集来直接生成答案。

不过整(zheng)个过程(cheng)需要近10个epoch才(cai)能达到90%左右的准确率。

而通过在最终答案之前插(cha)入(ru)文中提出的CoT，该模型可以在1个epoch的训练后就可以在两位数乘法中实现相当不錯(cuo)的精度，也与之前的研究结论一致，即中间监督的存(cun)在有助(zhu)于学习过程。

加法与减法

这两个算术操(cao)作是可学习的，仅通过有监督微调，模型就表现出了准确生成直接数字答案的非凡能力。

盡(jin)管(guan)模型只(zhi)是在非常有限(xian)的加法数据子集上进行了训练，但从模型在未(wei)見(jian)过的测试集上实现了近乎完美的准确率上可以看(kan)出来，模型成功地捕(bu)獲(huo)了算术运算的基本模式，并且无需使用CoT

乘法

研究人员通过实验验证了n位数乘1位数的乘法是可学习的，而多位数乘法則(ze)无法学习。

为了克(ke)服(fu)这个问题，研究人员选择在生成答案之前对LLM进行微调以生成CoT，将多位数乘法分解为5个可学习的子任务：

1. 抽(chou)取(qu)（extraction），从自然语言指令(ling)中抽取算术表达式

2. 拆(chai)分（split），将两者(zhe)中較(jiao)小的数拆分为place值

3. 展开（expansion），基于分配性展开求(qiu)和

4. 乘積(ji)（product），同时计算每个乘积

5. 逐项相加（adding term by term），将前两项相加，复制(zhi)其余(yu)项，得到最终和

其中每个任务都是可学习的。

除法

类似(si)地，可以通过实验观察到n位数除以1位数是可以学习的，而多位数除法是不可学习的。

研究人员利用改(gai)进慢(man)除法的遞(di)推(tui)方程，设计了一个全新的思维链提示。

主要思想(xiang)是从被除数中减去(qu)除数的倍(bei)数，直到余数小于除数。

数据集

文章(zhang)中设计的实验为两个正整数的加法和减法，每个正整数最多包含16位数字，并且减法运算的结果可能是負(fu)数。

为了限制生成的最大序(xu)列长度，乘法的结果为12位以内的正整数；两个正整数的除法中，被除数小于12位，商(shang)值6位数以内。

研究人员使用Python脚本合成了一个数据集，生成了大約(yue)100万个问答对，答案包含提出的CoT以及最终的数字輸(shu)出，所有数字都是隨(sui)機(ji)生成的，可以保证重复实例的概(gai)率非常低，不过小数字可能会被多次(ci)采(cai)样。

微调

为了使该模型能够基于指令解决算术问题，并促(cu)进自然语言问答，研究人员使用ChatGPT生成了数百(bai)个指令模板(ban)。

在指令调整过程中，从训练集中为每个算术输入随机选择一个模板，并微调LLaMA-7B，类似于Alpaca中使用的方法。

Goat-7B可以在24GB VRAM GPU上使用LoRA进行微调，在A100 GPU上仅花(hua)費(fei)大约1.5小时即可完成10万样本的微调，并实现近乎完美的精度。

实验结果

比较Goat和GPT-4在大量乘法和除法方面的性能似乎不公平(ping)，因为GPT-4会直接生成答案，而Goat则依(yi)賴(lai)于设计的思维链，所以在GPT-4評(ping)估(gu)时还在每个提示的结尾(wei)加入「Solve it step by step」

不过可以观察到，虽然GPT-4在某(mou)些情况下，长乘法和除法的中间步骤错了，但最终答案仍然是正确的，也就意味(wei)著(zhe)GPT-4并沒(mei)有利用思维链的中间监督来提高最终输出。

最终从GPT-4的解决方案中确定了以下3个常见错誤(wu)：

1. 对應(ying)数字的对齊(qi)

2. 重复数字

3. n位数乘以1位数的中间结果错误

从实验结果中可以看插到，GPT-4在8D+8D和16D+16D任务上表现相当好，但在大多数16D+8D任务上的计算结果都是错误的，尽管直观上来看，16D+8D应该比16D+16D相对容易。

虽然造(zao)成这种情况的确切原因尚不清楚，但一个可能的因素(su)可能是GPT-4不一致的数字分词过程，使得两个数字之间很难对齐.

参考(kao)資(zi)料(liao)：

https://huggingface.co/papers/2305.14201返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任编辑：