水果创意合成广告

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>500萬(wan)token巨(ju)獸(shou)，壹(yi)次(ci)讀(du)完(wan)全(quan)套(tao)「哈(ha)利(li)波(bo)特(te)」！比(bi)ChatGPT長(chang)1000多(duo)倍(bei)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)读】沒(mei)錯(cuo)，5,000,000個(ge)token的(de)上(shang)下(xia)文(wen)，語(yu)言(yan)模(mo)型(xing)輸(shu)入(ru)长度(du)史(shi)詩(shi)級(ji)增(zeng)強(qiang)！

記(ji)性(xing)差(cha)是(shi)目(mu)前(qian)主(zhu)流(liu)大(da)型语言模型的主要(yao)痛(tong)點(dian)，比如(ru)ChatGPT只(zhi)能(neng)输入4096个token（約(yue)3000个詞(ci)），經(jing)常(chang)聊(liao)著(zhe)聊着就(jiu)忘(wang)了(le)之(zhi)前說(shuo)什(shen)麽(me)了，甚(shen)至(zhi)都(dou)不(bu)夠(gou)读一篇(pian)短(duan)篇小(xiao)说的。

過(guo)短的输入窗(chuang)口(kou)也(ye)限(xian)制(zhi)了语言模型的應(ying)用(yong)場(chang)景(jing)，比如給(gei)一篇科(ke)技(ji)論(lun)文（约1万词）做(zuo)摘(zhai)要的時(shi)候(hou)，需(xu)要把(ba)文章(zhang)手(shou)動(dong)切(qie)分(fen)後(hou)再(zai)输入到(dao)模型中(zhong)，不同(tong)章節(jie)之間(jian)關(guan)聯(lian)信(xin)息(xi)就丟(diu)失(shi)了。

雖(sui)然(ran)GPT-4最(zui)长支(zhi)持(chi)32000个token、升(sheng)级后的Claude最高(gao)支持10万token，但(dan)也只能緩(huan)解(jie)腦(nao)容(rong)量(liang)不足(zu)的問(wen)題(ti)。

最近(jin)一家(jia)創(chuang)業(ye)團(tuan)隊(dui)Magic宣(xuan)布(bu)即(ji)將(jiang)發(fa)布LTM-1模型，最长支持500万token，大约是50万行(xing)代(dai)碼(ma)或(huo)5000个文件(jian)，直(zhi)接(jie)比Claude高50倍，基(ji)本(ben)可(ke)以(yi)覆(fu)蓋(gai)大多數(shu)的存(cun)儲(chu)需求(qiu)，這(zhe)可真(zhen)就量變(bian)產(chan)生(sheng)質(zhi)变了！

LTM-1的主要应用场景在(zai)於(yu)代码補(bu)全，比如可以生成(cheng)更(geng)长、更復(fu)雜(za)的代码建(jian)議(yi)：

已(yi)关註(zhu)

关注

重(zhong)播(bo)分享(xiang)贊(zan)

关閉(bi)

觀(guan)看(kan)更多

更多

正(zheng)在加(jia)載(zai)

正在加载

退(tui)出(chu)全屏(ping)

視(shi)頻(pin)加载失敗(bai)，請(qing)刷(shua)新頁(ye)面(mian)再試(shi)

刷新

视频詳(xiang)情(qing)

還(hai)可以跨(kua)越(yue)多个文件重用、合(he)成信息：

已关注

关注

重播分享赞

关闭

观看更多

更多

正在加载

正在加载

退出全屏

视频加载失败，请刷新页面再试

刷新

视频详情

壞(huai)消(xiao)息是，LTM-1的開(kai)发商(shang)Magic並(bing)没有(you)发布具(ju)體(ti)技術(shu)原(yuan)理(li)，只是说設(she)計(ji)了一種(zhong)全新的方(fang)法(fa)the Long-term Memory Network (LTM Net)。

但也有个好(hao)消息，2021年(nian)9月(yue)，DeepMind等(deng)機(ji)構(gou)的研(yan)究(jiu)人(ren)員(yuan)曾(zeng)经提(ti)出一种名(ming)為(wei) ∞-former 的模型，其(qi)中就包(bao)含(han)了长期(qi)记憶(yi)（long-term memory，LTM）机制，理论上可以讓(rang)Transformer模型具有無(wu)限长的记忆力(li)，但目前并不清(qing)楚(chu)二(er)者(zhe)是否(fou)为同一技术，或是改(gai)良(liang)版(ban)。

论文鏈(lian)接：https://arxiv.org/pdf/2109.00301.pdf

开发团队表(biao)示(shi)，虽然LTM Nets可以比GPT看到更多的上下文，但LTM-1模型的參(can)数量比當(dang)下的sota模型小的多，所(suo)以智能程(cheng)度也更低(di)，不过繼(ji)續(xu)提升模型規(gui)模应該(gai)可以提升LTM Nets的性能。

目前LTM-1已经开放(fang)alpha測(ce)试申(shen)请。

申请链接：https://magic.dev/waitlist

LTM-1的开发商Magic创立(li)于2022年，主要开发類(lei)似(si)GitHub Copilot的产品(pin)，可以幫(bang)助(zhu)軟(ruan)件工(gong)程師(shi)编寫(xie)、審(shen)查(zha)、調(tiao)试和(he)修(xiu)改代码，目標(biao)是为程序(xu)员打(da)造(zao)一个AI同事(shi)，其主要競(jing)爭(zheng)優(you)勢(shi)就是模型可以读取(qu)更长的代码。

Magic致(zhi)力于公(gong)眾(zhong)利益(yi)（public benefit），使(shi)命(ming)是构建和安(an)全部(bu)署(shu)超(chao)过人类只能的AGI系(xi)統(tong)，目前还是一家只有10人的创业公司(si)。

今(jin)年2月，Magic獲(huo)得(de)由(you)Alphabet旗(qi)下CapitalG領(ling)投(tou)的2300万美(mei)元A輪(lun)融(rong)資(zi)，投资人还包括(kuo)GitHub前首(shou)席(xi)執(zhi)行官(guan)和Copilot的联合出品人Nat Friedman，目前公司總(zong)资金(jin)量已達(da)2800万美元。

Magic的首席执行官兼(jian)联合创始(shi)人Eric Steinberger本科畢(bi)业于劍(jian)橋(qiao)大學(xue)计算(suan)机科学專(zhuan)业，曾在FAIR做过机器(qi)学習(xi)研究。

在创立Magic前，Steinberger还曾创立过ClimateScience，以帮助全世(shi)界(jie)的兒(er)童(tong)学习氣(qi)候变化(hua)的影(ying)響(xiang)。

无限记忆的Transformer

语言模型核(he)心(xin)組(zu)件Transformer中注意(yi)力机制的设计，會(hui)导致每(mei)次增加输入序列(lie)的长度时，时间复杂度都会呈(cheng)二次方增长。

虽然已经有一些(xie)注意力机制的变体，比如稀(xi)疏(shu)注意力等降(jiang)低算法复杂度，不过其复杂度仍(reng)然與(yu)输入长度有关，不能无限擴(kuo)展(zhan)。

∞-former中长期记忆（LTM）的Transformer模型可以将输入序列扩展到无限的关鍵(jian)在是一个連(lian)续空(kong)间注意力框(kuang)架(jia)，该框架用降低表征(zheng)粒(li)度的方式(shi)提升记忆信息單(dan)元的数量（基函(han)数）。

在框架中，输入序列被(bei)表示为一个「连续信號(hao)」，代表N个徑(jing)向(xiang)基函数（RBF）的線(xian)性组合，这樣(yang)一來(lai)，∞-former的注意复杂度就降为了O(L^2 + L × N)，而(er)原始Transformer的注意力复杂度为O(L×(L+L_LTM))，其中L和L_LTM分別(bie)對(dui)应于Transformer输入大小和长期记忆长度。

这种表示方法有兩(liang)个主要优势：

1. 上下文可以用小于token数量的基函数N来表示，減(jian)少(shao)了注意力的计算成本；

2. N可以是固(gu)定(ding)的，從(cong)而能够在记忆中表示无限的上下文，并且(qie)不会增加注意力机制的复杂度。

当然，天(tian)下没有免(mian)費(fei)的午(wu)餐(can)，代價(jia)就是分辨(bian)率(lv)的降低：使用較(jiao)少数量基函数时，会导致在将输入序列表示为连续信号时降低精(jing)度。

为了缓解分辨率降低问题，研究人员引(yin)入了「粘(zhan)性记忆」（sticky memories）的概(gai)念(nian)，将LTM信号中的较大空间歸(gui)結(jie)为更频繁(fan)訪(fang)问的记忆區(qu)域(yu)，在LTM中创造了一个「永(yong)久(jiu)性」的概念，使模型能够更好地(di)捕(bu)捉(zhuo)长时间的背(bei)景而不丢失相(xiang)关信息，也是从大脑的长期電(dian)位(wei)和可塑(su)性中得到了啟(qi)发。

實(shi)驗(yan)部分

为了验證(zheng)∞-former能否对长语境(jing)進(jin)行建模，研究人员首先(xian)对一个合成任(ren)務(wu)进行实验，即在一个长序列中按(an)频率对token进行排(pai)序；然后通(tong)过微(wei)调預(yu)訓(xun)練(lian)语言模型，对语言建模和基于文檔(dang)的对話(hua)生成进行实验。

排序

输入包括一个根(gen)據(ju)概率分布（系统未(wei)知(zhi)）采(cai)样的token序列，目标是按照(zhao)序列中频率遞(di)减順(shun)序生成token

为了研究长期记忆是否被有效(xiao)利用，以及(ji)Transformer是否只是通过对最近的标记进行建模来排序，研究人员将标记概率分布设计为隨(sui)时间变化。

词表中有20个token，分别用长度为4,000、8,000和16,000的序列进行实验，Transformer-XL和compressive transformer作(zuo)为对比基线模型。

实验结果(guo)可以看出，在短序列长度（4,000）的情況(kuang)下，Transformer-XL实現(xian)了比其他(ta)模型略(lve)高的精度；但当序列长度增加时，其精度也迅(xun)速(su)下降，不过对于∞-former来说，这种下降并不明(ming)顯(xian)，表明其在对长序列进行建模时更有优势。

语言建模

为了了解长期记忆是否可以用来扩展预训练的语言模型，研究人员在Wikitext103和PG-19的一个子(zi)集(ji)上对GPT-2 small进行了微调，包括大约2億(yi)个token。

实验结果可以看到，∞-former可以降低Wikitext-103和PG19的困(kun)惑(huo)度，并且∞-former在PG19数据集上获得的改进更大，因(yin)为書(shu)籍(ji)比維(wei)基百(bai)科文章更依(yi)賴(lai)于长期记忆。

基于文档对话

在以文档为基礎(chu)的对话生成中，除(chu)了对话歷(li)史之外(wai)，模型还可以获得关于对话主题的文档。

在CMU Document Grounded Conversation dataset（CMU-DoG）中，对话是关于电影的，并给出了电影的摘要作为輔(fu)助文档；考(kao)慮(lv)到对话包含多个不同的连续语篇，辅助文档被分为多个部分。

为了評(ping)估(gu)长期记忆的有用性，研究人员只让模型在对话开始前才(cai)能访问文件，使这項(xiang)任务更具挑(tiao)戰(zhan)性。

在对GPT-2 small进行微调后，为了让模型在记忆中保(bao)持整(zheng)个文档，使用一个N=512个基函数的连续LTM（∞-former）扩展GPT-2。

为了评估模型效果，使用perplexity、F1 score、Rouge-1和Rouge-L，以及Meteor指(zhi)标。

从结果来看，∞-former和compressive Transformer能够生成更好的语料(liao)，虽然二者的困惑度基本相同，但∞-former在其他指标上取得了更好的分数。

参考资料：

https://twitter-thread.com/t/1666116935904292869返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任编辑：