oppo开发者广告联盟

xuanzeshengcunzhidao：zhizaoxianjing、qianxing、kuaipaoheduozang，huoshiyongyouxiandedanyaoyukongbushengwuyijueshengsi。youxizhongdemoshiyeduozhongduoyang。nikeyizaizheliyugengduodewanjiajingzheng，suoyoudemaoxiandoujiangcongtoukaishi。shejidekemuzhongduo，nenggouziyoutiaohuanxuexidekemuzhexiexiaorenbixucongxiangtongyansedefangkuaishangxingzoucainenganquantongguo。feiyongqinmin，shoujizhifu，24xiaoshikaifang。比(bi)Transformer快(kuai)4成(cheng)！Meta發(fa)布(bu)全(quan)新(xin)Megabyte模(mo)型(xing)，解(jie)決(jue)算(suan)力(li)損(sun)耗(hao)硬(ying)傷(shang)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Joey

【新智元導(dao)讀(du)】Transformer最(zui)近(jin)幾(ji)年(nian)已(yi)然(ran)成為(wei)大(da)模型的(de)標(biao)配(pei)，而(er)Meta團(tuan)隊(dui)開(kai)发的壹(yi)款(kuan)Megabyte模型聲(sheng)稱(cheng)能(neng)解决Transformer的硬伤，速(su)度(du)還(hai)要(yao)快四(si)成。

Transformer無(wu)疑(yi)是(shi)過(guo)去(qu)几年內(nei)機(ji)器(qi)學(xue)習(xi)領(ling)域(yu)最流(liu)行(xing)的模型。

自(zi)2017年在(zai)論(lun)文(wen)「Attention is All You Need」中(zhong)提(ti)出(chu)之(zhi)後(hou)，這(zhe)個(ge)新的網(wang)絡(luo)結(jie)構(gou)，刷(shua)爆(bao)了(le)各(ge)大翻(fan)譯(yi)任(ren)務(wu)，同(tong)時(shi)創(chuang)造(zao)了多(duo)項(xiang)新的記(ji)錄(lu)。

但(dan)Transformer在處(chu)理(li)長(chang)字(zi)節(jie)序(xu)列(lie)时有(you)个硬伤，就(jiu)是算力损耗嚴(yan)重(zhong)，而Meta的研(yan)究(jiu)人(ren)員(yuan)的最新成果(guo)則(ze)可(ke)以(yi)很(hen)好(hao)地(di)解决这一缺(que)陷(xian)。

他(ta)們(men)推(tui)出了一種(zhong)全新的模型架(jia)构，能跨(kua)多种格(ge)式(shi)生(sheng)成超(chao)过100萬(wan)个token，並(bing)超越(yue)GPT-4等(deng)模型背(bei)后的現(xian)有 Transformer架构的功(gong)能。

这个模型被(bei)称为「兆(zhao)字节」（Megabyte），是一种多尺(chi)度解碼(ma)器架构（Multi-scale Decoder Architecture），可以對(dui)超过一百(bai)万字节的序列進(jin)行端(duan)到(dao)端可微(wei)分(fen)建(jian)模。

论文鏈(lian)接(jie)：https://arxiv.org/abs/2305.07185

Megabyte为什(shen)麽(me)比Transformer強(qiang)，就得(de)先(xian)看(kan)看Transformer的不(bu)足(zu)之处在哪(na)。

Transformer的不足

迄(qi)今(jin)为止(zhi)几類(lei)高(gao)性(xing)能的生成式AI模型，如(ru)OpenAI的GPT-4、Google的Bard，都(dou)是基(ji)於(yu)Transformer架构的模型。

但Meta的研究团队認(ren)为，流行的Transformer架构可能正(zheng)達(da)到其(qi)閾(yu)值(zhi)，其中主(zhu)要理由(you)是Transformer設(she)計(ji)中固(gu)有的兩(liang)个重要缺陷：

- 隨(sui)著(zhe)輸(shu)入(ru)和(he)输出字节长度的增(zeng)加(jia)，自註(zhu)意(yi)力的成本(ben)也(ye)迅(xun)速增加，如输入的音(yin)樂(le)、圖(tu)像(xiang)或(huo)視(shi)頻(pin)文件(jian)通(tong)常(chang)包(bao)含(han)數(shu)兆字节，然而大型解码器 (LLM)通常只(zhi)使(shi)用(yong)几千(qian)个上(shang)下(xia)文标记

- 前(qian)饋(kui)网络通过一系(xi)列数学運(yun)算和轉(zhuan)換(huan)幫(bang)助(zhu)語(yu)言(yan)模型理解和处理單(dan)詞(ci)，但在每(mei)个位(wei)置(zhi)的基礎(chu)上難(nan)以實(shi)现可擴(kuo)展(zhan)性,这些(xie)网络獨(du)立(li)地对字符(fu)組(zu)或位置进行操(cao)作(zuo)，從(cong)而导致(zhi)大量(liang)的计算开銷(xiao)

Megabyte强在哪

相(xiang)比Transformer，Megabyte模型展示(shi)了一种独特(te)的不同架构，將(jiang)输入和输出序列劃(hua)分为patch而不是单个token。

如下图，在每个patch中，本地AI模型生成结果，而全局(ju)模型管(guan)理和協(xie)調(tiao)所(suo)有patch的最終(zhong)输出。

首(shou)先，字节序列被分割(ge)成固定(ding)大小(xiao)的patch，大致类似(si)于token，这个模型由三(san)部(bu)分组成：

(1) patch嵌(qian)入器：通过无损地連(lian)接每个字节的嵌入來(lai)簡(jian)单地编码patch

(2) 一个全局模型：一个输入和输出patch表(biao)示的大型自回(hui)歸(gui)變(bian)换器

(3) 一个本地模型：一个預(yu)測(ce)patch中字节的小型自回归模型

研究人员觀(guan)察(cha)到，对于多数任务而言字节预测都相对容(rong)易(yi)（如完(wan)成給(gei)定前几个字符的单词），这意味(wei)着每个字节的大型网络是不必(bi)要的，并且(qie)可以使用更(geng)小的模型进行内部预测。

这种方(fang)法(fa)解决了當(dang)今AI模型中普(pu)遍(bian)存(cun)在的可扩展性挑(tiao)戰(zhan)，Megabyte 模型的patch系統(tong)允(yun)許(xu)单个前馈网络在包含多个token的patch上运行，从而有效(xiao)解决了自注意力縮(suo)放(fang)問(wen)題(ti)。

其中，Megabyte架构对长序列建模的Transformer进行了三项主要改(gai)进：

- 二(er)次(ci)自注意力（Sub-quadratic self-attention）

大多数關(guan)于长序列模型的工(gong)作都集(ji)中在減(jian)輕(qing)自注意力的二次成本上，而Megabyte将长序列分解为两个較(jiao)短(duan)的序列，即(ji)使对于长序列也仍(reng)然易于处理。

- patch前馈層(ceng)（Per-patch feedforward layers）

在GPT-3大小的模型中，超过98%的FLOPS用于计算位置前馈层，Megabyte每个patch使用大型前馈层，以相同的成本实现更大、性能更强的模型。在patch大小为P的情(qing)況(kuang)下，基線(xian)转换器将使用具(ju)有m个參(can)数的相同前馈层P次，兆字节可以以相同的成本使用具有mP个参数的层一次。

- 解码中的并行性（Parallelism in Decoding）

Transformers必須(xu)在生成期(qi)間(jian)串(chuan)行執(zhi)行所有计算，因(yin)为每个时间步(bu)的输入是前一个时间步的输出，通过并行生成patch的表示，Megabyte允许在生成过程(cheng)中实现更大的并行性。

例(li)如，具有1.5B参数的Megabyte模型生成序列的速度比标準(zhun)的350MTransformer快40%，同时在使用相同的计算量进行訓(xun)練(lian)时还能改善(shan)困(kun)惑(huo)度。

Megabyte遠(yuan)远優(you)于其他模型，并提供(gong)與(yu)在子(zi)词上训练的 sota 模型競(jing)爭(zheng)的结果

相比之下，OpenAI 的GPT-4有32,000个token的限(xian)制(zhi)，而Anthropic的Claude有100,000个token的限制。

此(ci)外(wai)，在运算效率(lv)方面(mian)，在固定模型大小和序列长度範(fan)圍(wei)内，Megabyte比同等大小的Transformers和Linear Transformers使用更少(shao)的token，允许以相同的计算成本使用更大的模型。

總(zong)之，这些改进使我(wo)们能夠(gou)在相同的计算预算下训练更大、性能更好的模型，扩展到非(fei)常长的序列，并提高部署(shu)期间的生成速度。

未(wei)来将會(hui)如何(he)

随着AI軍(jun)備(bei)竞賽(sai)进行地如火(huo)如荼(tu)，模型性能越来越强，参数也越来越高。

雖(sui)然GPT-3.5在175B个参数上进行了训练，但有人猜(cai)测功能更强大的GPT-4在1万億(yi)个参数上进行了训练。

OpenAI的CEO Sam Altman最近也建議(yi)转变战略(lve)，他表示公(gong)司(si)正在考(kao)慮(lv)舍(she)棄(qi)对龐(pang)大模型的训练，而專(zhuan)注于其他性能的优化(hua)。

他将AI模型的未来等同于iPhone芯(xin)片(pian)，而大多数消(xiao)費(fei)者(zhe)对原(yuan)始(shi)技(ji)術(shu)規(gui)格一无所知(zhi)。

Meta的研究人员相信(xin)他们的创新架构来得正是时候(hou)，但也承(cheng)认还有其他优化途(tu)徑(jing)。

例如采(cai)用修(xiu)補(bu)技术的更高效的编码器模型、将序列分解为更小塊(kuai)的解码模型以及(ji)将序列预处理为壓(ya)缩token等，并且可以扩展现有Transformer架构的能力以构建新一代(dai)模型。

前特斯(si)拉(la)AI总監(jian)Andrej Karpathy也在这篇(pian)论文中发表了看法，他在推特上寫(xie)道：

这是非常有希(xi)望(wang)的，每个人都應(ying)該(gai)希望我们能在大模型中扔(reng)掉(diao)标记化，也不需(xu)要那(na)些过长字节的序列。

参考資(zi)料(liao)：

https://www.artisana.ai/articles/meta-ai-unleashes-megabyte-a-revolutionary-scalable-model-architecture返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：