推销ktv广告词

●jianzaodongwuyuan，jinxingdongwuyuzhongxiufuyizhiwenti，tishengyonghutiyan！wulunchuxingdeguizhangzhiduhaishidaoluanquantixing，doukeyizaihoutaizhangwo。remendemeituquan，ruyijiangongxiang，keyiqingsonghuodenulizaigengduandeshijianneishoujidaogengduodeqipao，yijiesuofashaomoshi。徹(che)底(di)解(jie)決(jue)ChatGPT健(jian)忘(wang)癥(zheng)！突(tu)破(po)Transformer輸(shu)入(ru)限(xian)制(zhi)：實(shi)測(ce)支(zhi)持(chi)200萬(wan)個(ge)有(you)效(xiao)token

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】用(yong)RMT模(mo)型(xing)提(ti)升(sheng)Transformer類(lei)模型的(de)腦(nao)容(rong)量(liang)，內(nei)存(cun)需(xu)求(qiu)不(bu)變(bian)，输入序(xu)列(lie)可(ke)以(yi)無(wu)限長(chang)。

ChatGPT，或(huo)者(zhe)說(shuo) Transformer类的模型都(dou)有壹(yi)个致(zhi)命(ming)缺(que)陷(xian)，就(jiu)是(shi)太(tai)容易(yi)健忘，一旦(dan)输入序列的token超(chao)過(guo)上(shang)下(xia)文(wen)窗(chuang)口(kou)閾(yu)值(zhi)，後(hou)續(xu)输出(chu)的内容和(he)前(qian)文邏(luo)辑就對(dui)不上了(le)。

ChatGPT只(zhi)能(neng)支持4000个token（約(yue)3000个詞(ci)）的输入，即(ji)便(bian)最(zui)新發(fa)布(bu)的GPT-4也(ye)只支持最大(da)32000的token窗口，如(ru)果(guo)繼(ji)续加(jia)大输入序列长度(du)，計(ji)算(suan)復(fu)雜(za)度也會(hui)成(cheng)二(er)次(ci)方(fang)增(zeng)长。

最近(jin)來(lai)自(zi)DeepPavlov, AIRI, 倫(lun)敦(dun)數(shu)學(xue)科(ke)学研(yan)究(jiu)所(suo)的研究人(ren)員(yuan)发布了一篇(pian)技(ji)術(shu)报告(gao)，使(shi)用 循(xun)環(huan)記(ji)憶(yi)Transformer（RMT）將(jiang)BERT的有效上下文长度提升到(dao) 「前所未(wei)有的200万tokens」，同(tong)時(shi)保(bao)持了很(hen)高(gao)的记忆檢(jian)索(suo)準(zhun)確(que)性(xing)。

論(lun)文鏈(lian)接(jie)：https://arxiv.org/pdf/2304.11062.pdf

該(gai)方法(fa)可以存儲(chu)和處(chu)理(li)局(ju)部(bu)和全(quan)局信(xin)息(xi)，並(bing)通(tong)过使用循环讓(rang)信息在(zai)输入序列的各(ge)segment之(zhi)間(jian)流(liu)動(dong)。

实驗(yan)部分(fen)證(zheng)明(ming)了该方法的有效性，在增強(qiang)自然(ran)語(yu)言(yan)理解和生(sheng)成任(ren)務(wu)中(zhong)的长期(qi)依(yi)賴(lai)处理方面(mian)具(ju)有非(fei)凡(fan)的潛(qian)力(li)，可以為(wei)记忆密(mi)集(ji)型應(ying)用程(cheng)序实現(xian)大規(gui)模上下文处理。

不过天(tian)下沒(mei)有免(mian)費(fei)的午(wu)餐(can)，雖(sui)然RMT可以不增加内存消(xiao)耗(hao)，可以擴(kuo)展(zhan)到近乎(hu)无限的序列长度，但(dan) 仍(reng)然存在RNN中的记忆衰(shuai)減(jian)問(wen)題(ti)，并且(qie)需要(yao)更(geng)长的推(tui)理时间。

但也有網(wang)友(you)提出了解决方案(an)，RMT用於(yu)长期记忆，大上下文用于短(duan)期记忆，然后在夜(ye)间/維(wei)修(xiu)期间進(jin)行(xing)模型訓(xun)練(lian)。

循环记忆Transformer

2022年(nian)，该團(tuan)隊(dui)提出循环记忆Transformer（RMT）模型，通过在输入或输出序列中添(tian)加一个特(te)殊(shu)的memory token，然后对模型进行训练以控(kong)制记忆操(cao)作(zuo)和序列表(biao)征(zheng)处理，能夠(gou)在不改(gai)变原(yuan)始(shi)Transformer模型的前提下，实现一个全新的记忆機(ji)制。

论文链接：https://arxiv.org/abs/2207.06881

发表会議(yi)：NeurIPS 2022

與(yu)Transformer-XL相(xiang)比(bi)，RMT需要的内存更少(shao)，并可以处理更长序列的任务。

具體(ti)来说，RMT由(you)m个实值的可训练向(xiang)量組(zu)成，过长的输入序列被(bei)切(qie)分为幾(ji)个segments，记忆向量被預(yu)置(zhi)到第(di)一个segment embedding中，并与segment token一起(qi)处理。

与2022年提出的原始RMT模型不同的是，对于像(xiang)BERT這(zhe)樣(yang)的純(chun)编碼(ma)器(qi)模型，只在segment的開(kai)始部分添加一次记忆；解码模型将记忆分成读和寫(xie)兩(liang)部分。

在每(mei)个时间步(bu)长和segment中，按(an)以下方式(shi)进行循环，其(qi)中N为Transformer的層(ceng)数，t为时间步，H为segment

按順(shun)序处理输入序列的segments后，为了实现遞(di)歸(gui)連(lian)接，研究人员将當(dang)前segment的memory token的输出傳(chuan)递給(gei)下一个segment的输入：

RMT中的记忆和循环都只基(ji)于全局memory token，可以保持骨(gu)幹(gan)Transformer模型不变，使得(de)RMT的记忆增强能力可以与任意(yi)的Transformer模型兼(jian)容。

计算效率(lv)

按照(zhao)公(gong)式可以估(gu)算不同大小(xiao)和序列长度的RMT和Transformer模型所需的FLOPs

在词匯(hui)量大小、层数、隱(yin)藏(zang)大小、中间隐藏大小和註(zhu)意頭(tou)数的參(can)数配(pei)置上，研究人员遵(zun)循OPT模型的配置，并计算了前向传递后的FLOPs数量，同时考(kao)慮(lv)到RMT循环的影(ying)響(xiang)。

通过将一个输入序列劃(hua)分为若(ruo)干段(duan)，并僅(jin)在segment的邊(bian)界(jie)内计算全部注意力矩(ju)陣(zhen)来实现線(xian)性扩展，結(jie)果可以看(kan)到，如果segment长度固(gu)定(ding)，RMT的推理速(su)度对任意模型尺(chi)寸(cun)都是线性增长的。

由于FFN层的计算量較(jiao)大，所以较大的Transformer模型往(wang)往表现出相对于序列长度较慢(man)的二次方增长速度，不过在长度大于32,000的極(ji)长序列上，FLOPs又(you)回(hui)到了二次增长的狀(zhuang)態(tai)。

对于有一个以上segment的序列（在本(ben)研究中大于512），RMT比非循环模型有更低(di)的FLOPs，在尺寸较小的模型上最多(duo)可以将FLOPs的效率提升×295倍(bei)；在尺寸较大的模型如OPT-175B，可以提升×29倍。

记忆任务

为了测試(shi)记忆能力，研究人员構(gou)建(jian)了一个合(he)成数據(ju)集，要求模型记忆簡(jian)單(dan)的事(shi)实和基本推理。

任务输入包(bao)括(kuo)一个或几个事实和一个只能用所有这些(xie)事实来回答(da)的问题。

为了增加任务的難(nan)度，任务中還(hai)添加了与问题或答案无關(guan)的自然语言文本，这些文本可以看作是噪(zao)音(yin)，所以模型的任务实際(ji)上是将事实与不相关的文本分开，并使用事实文本来回答问题。

事实记忆

测试RMT在记忆中长时间写入和存储信息的能力：在最简单的情(qing)況(kuang)下，事实位(wei)于输入的开头，问题在输入的最后，并逐(zhu)漸(jian)增加问题和答案之间的不相关文本数量，直(zhi)到模型无法一次性接受(shou)所有输入。

事实检测和记忆

事实检测通过将事实移(yi)到输入中的一个隨(sui)机位置来增加任务难度，要求模型首(shou)先(xian)将事实与不相关的文本區(qu)分开来，将其写入记忆，然后回答位于最后的问题。

基于记忆事实进行推理

记忆的另(ling)一个重(zhong)要操作是利(li)用记忆的事实和当前的背(bei)景(jing)进行推理。

为了評(ping)估这个功(gong)能，研究人员引(yin)入了一个更复杂的任务，将生成两个事实并随机地(di)放(fang)置在输入序列；在序列末(mo)尾(wei)提出的问题是必(bi)須(xu)選(xuan)擇(ze)用正(zheng)确的事实来回答问题。

实验结果

研究人员使用HuggingFace Transformers中预训练的Bert-base-cased模型作为所有实验中RMT的主(zhu)干，所有模型以记忆大小为10进行增强。

在4-8塊(kuai)英(ying)偉(wei)達(da)1080Ti GPU上进行训练和评估；对于更长的序列，則(ze)切換(huan)到单張(zhang)40GB的英伟达A100上进行加速评估。

課(ke)程学習(xi)（Curriculum Learning）

研究人员觀(guan)察(cha)到，使用训练調(tiao)度可以顯(xian)著(zhu)改善(shan)解决方案的准确性和穩(wen)定性。

剛(gang)开始让RMT在较短的任务版(ban)本上进行训练，在训练收(shou)斂(lian)后，通过增加一个segment来增加任务长度，将课程学习过程一直持续到达到理想(xiang)的输入长度。

從(cong)適(shi)合单个segment的序列开始实验，实际segment的大小为499，因(yin)为从模型输入中保留(liu)了3个BERT的特殊標(biao)记和10个记忆占(zhan)位符(fu)，總(zong)共(gong)大小为512。

可以注意到，在对较短的任务进行训练后，RMT更容易解决较长的任务，因为使用较少的训练步驟(zhou)就能收敛到完(wan)美(mei)的解决方案。

外(wai)推能力（Extrapolation Abilities）

为了观察RMT对不同序列长度的泛(fan)化(hua)能力，研究人员评估了在不同数量的segment上训练的模型，以解决更大长度的任务。

可以观察到，模型在较短的任务上往往表现良(liang)好(hao)，但在较长的序列上训练模型后，就很难处理单segment推理任务。

一个可能的解釋(shi)是，由于任务规模超过了一个segment，模型在第一个segment就停(ting)止(zhi)了对问题的预期，导致質(zhi)量下降(jiang)。

有趣(qu)的是，随著(zhe)训练segment数量的增加，RMT对较长序列的泛化能力也出现了，在对5个或更多的segment进行训练后，RMT可以对两倍长的任务进行近乎完美的泛化。

为了测试泛化的极限，研究人员验证任务的规模增加到4096个segment（即2,043,904个tokens）。

RMT在如此(ci)长的序列上保持得出奇(qi)的好，其中「检测和记忆」任务是最简单的，推理任务是最复杂的。

参考資(zi)料(liao)：

https://arxiv.org/pdf/2304.11062.pdf返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：