火锅新品，美味上市！

ninengxiangshoudaojiqingPK，chaocijidexianxiajingjiwanfa，zhijiancaozuozhanxiannidejishu。huafengyijiu，kengdiejiemidengnilaizhan！chengshidechangjingfeichangdefengfu，guangkuodedituzhonghuiyongyougengduodetiaozhandengzheni；shengjihezidingyiyouguanningongsidesuoyouxinxi，baokuozongbuhecheliang。yifujueduibinixiangxiangdeyaoduo，congfaxingdaoxieshishenmedoukeyihuanTransformer全(quan)新(xin)裏(li)程(cheng)碑(bei)！誕(dan)生(sheng)6年(nian)，開(kai)山(shan)之(zhi)作(zuo)被(bei)引(yin)近(jin)8萬(wan)，沒(mei)奪(duo)下(xia)NeurIPS最(zui)佳(jia)論(lun)文(wen)，卻(que)徹(che)底(di)改(gai)變(bian)AI界(jie)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：桃(tao)子(zi) 好(hao)困(kun)

【新智元導(dao)讀(du)】Transformer，6歲(sui)了(le)！2017年，Attention is All You Need奠(dian)基(ji)之作問(wen)世(shi)，至(zhi)今(jin)被引數(shu)近8万。這(zhe)個(ge)王(wang)者(zhe)架(jia)構(gou)還(hai)能(neng)繼(ji)續(xu)打(da)多(duo)久(jiu)？

2017年6月(yue)12日(ri)，Attention is All You Need，壹(yi)聲(sheng)炸(zha)雷(lei)，大(da)名(ming)鼎(ding)鼎的(de)Transformer橫(heng)空(kong)出(chu)世。

它(ta)的出現(xian)，不(bu)僅(jin)讓(rang)NLP变了天(tian)，成(cheng)為(wei)自(zi)然(ran)語(yu)言(yan)領(ling)域(yu)的主(zhu)流(liu)模(mo)型(xing)，还成功(gong)跨(kua)界CV，給(gei)AI界帶(dai)來(lai)了意(yi)外(wai)的驚(jing)喜(xi)。

到(dao)今天为止(zhi)，Transformer诞生6周(zhou)年。而(er)这篇(pian)论文被引数高(gao)達(da)77926。

英(ying)偉(wei)达科(ke)學(xue)家(jia)Jim Fan對(dui)这篇蓋(gai)世之作做(zuo)了深(shen)度(du)總(zong)結(jie)：

1. Transformer並(bing)没有(you)發(fa)明(ming)註(zhu)意力(li)，而是(shi)將(jiang)其(qi)推(tui)向(xiang)極(ji)致(zhi)。

第(di)一篇注意力论文是在(zai)3年前(qian)（2014年）发表(biao)的。

这篇论文来自Yoshua Bengio的實(shi)驗(yan)室(shi)，而標(biao)題(ti)并不起(qi)眼(yan)「Neural Machine Translation by Jointly Learning to Align and Translate」。

它是「RNN+上(shang)下文向量(liang)」（即(ji)注意力）的組(zu)合(he)。

或(huo)許(xu)很(hen)多人(ren)都(dou)没有聽(ting)說(shuo)過(guo)这篇论文，但(dan)它是NLP中(zhong)最伟大的里程碑之一，已(yi)經(jing)被引用(yong)了29K次(ci)（相(xiang)比(bi)之下，Transformer为77K）。

2. Transformer和(he)最初(chu)的注意力论文，都没有談(tan)到通(tong)用序(xu)列(lie)計(ji)算(suan)機(ji)。

相反(fan)，兩(liang)者都为了解(jie)決(jue)一个狹(xia)隘(ai)而具(ju)體(ti)的问题：机器(qi)翻(fan)譯(yi)。值(zhi)得(de)注意的是，AGI（不久的某(mou)一天）可(ke)以(yi)追(zhui)溯(su)到不起眼的谷(gu)歌(ge)翻译。

3. Transformer发表在2017年的NeurIPS上，这是全球(qiu)頂(ding)級(ji)的人工(gong)智能會(hui)議(yi)之一。然而，它甚(shen)至没有獲(huo)得Oral演(yan)講(jiang)，更(geng)不用说获獎(jiang)了。

那(na)一年的NeurIPS上有3篇最佳论文。截(jie)止到今天，它們(men)加(jia)起来有529次引用。

Transformer这一经典(dian)之作却在NeurIPS 2017没有引起很多人的關(guan)注。

对此(ci)，Jim Fan認(ren)为，在一項(xiang)出色(se)的工作变得有影(ying)響(xiang)力之前，很難(nan)让人们认可它。

我(wo)不会責(ze)怪(guai)NeurIPS委(wei)員(yuan)会——获奖论文仍(reng)然是一流的，但影响力没有那麽(me)大。一个反例(li)是ResNet。

何(he)凱(kai)明等(deng)人在CVPR 2016年获得了最佳论文。这篇论文當(dang)之無(wu)愧(kui)，得到了正(zheng)確(que)的认可。

2017年，該(gai)领域聰(cong)明的人中，很少(shao)有人能夠(gou)預(yu)測(ce)到今天LLM革(ge)命(ming)性(xing)的規(gui)模。就(jiu)像(xiang)20世紀(ji)80年代(dai)一樣(yang)，很少有人能预見(jian)自2012年以来深度学習(xi)的海(hai)嘯(xiao)。

OpenAI科学家Andrej Karpathy对Jim Fan第2點(dian)总结頗(po)感(gan)興(xing)趣(qu)，并表示(shi)，

介(jie)紹(shao)注意力的论文（由(you)@DBahdanau , @kchonyc , Bengio）比 「Attention is All You Need」的论文受(shou)到的关注要(yao)少1000倍(bei)。而且(qie)從(cong)歷(li)史(shi)上看(kan)，这两篇论文都非(fei)常(chang)普(pu)通，但有趣的是恰(qia)好都是为机器翻译而开发的。

妳(ni)只(zhi)需(xu)要注意力！

Transformer诞生之前，AI圈(quan)的人在自然语言處(chu)理(li)中大都采(cai)用基於(yu)RNN（循(xun)環(huan)神(shen)经網(wang)絡(luo)）的编碼(ma)器-解码器（Encoder-Decoder）结构来完(wan)成序列翻译。

然而，RNN及(ji)其衍(yan)生的网络最致命的缺(que)点就是慢(man)。关鍵(jian)问题就在于前後(hou)隱(yin)藏(zang)狀(zhuang)態(tai)的依(yi)賴(lai)性，无法(fa)实现并行(xing)。

Transformer的现世可謂(wei)是如(ru)日中天，让许多研(yan)究(jiu)人员开啟(qi)了追星(xing)之旅(lv)。

2017年，8位(wei)谷歌研究人员发表了Attention is All You Need。可以说，这篇论文是NLP领域的顛(dian)覆(fu)者。

论文地(di)址(zhi)：https://arxiv.org/pdf/1706.03762.pdf

它完全摒(bing)棄(qi)了遞(di)歸(gui)结构，依赖注意力机制(zhi)，挖(wa)掘(jue)輸(shu)入(ru)和输出之間(jian)的关系(xi)，進(jin)而实现了并行计算。

甚至，有人发问「有了Transformer框(kuang)架后是不是RNN完全可以廢(fei)弃了？」

JimFan所(suo)稱(cheng)Transformer当初的設(she)计是为了解决翻译问题，毋(wu)庸(yong)置(zhi)疑(yi)。

谷歌当年发的博(bo)客(ke)，便(bian)闡(chan)述(shu)了Transformer是一種(zhong)语言理解的新型神经网络架构。

文章(zhang)地址：https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

具体来讲，Transformer由四(si)部(bu)分(fen)组成：输入、编码器、解码器，以及输出。

输入字(zi)符(fu)首(shou)先(xian)通过Embedding轉(zhuan)为向量，并加入位置编码（Positional Encoding）来添(tian)加位置信(xin)息(xi)。

然后，通过使(shi)用多頭(tou)自注意力和前饋(kui)神经网络的「编码器」和「解码器」来提(ti)取(qu)特(te)征(zheng)，最后输出结果(guo)。

如下圖(tu)所示，谷歌给出了Transformer如何用在机器翻译中的例子。

机器翻译的神经网络通常包(bao)含(han)一个编码器，在读取完句(ju)子后生成一个表征。空心(xin)圓(yuan)代表著(zhe)Transformer为每(mei)个單(dan)詞(ci)生成的初始(shi)表征。

然后，利(li)用自注意力，从所有其他(ta)的词中聚(ju)合信息，在整(zheng)个上下文中为每个词產(chan)生一个新表征，由实心圆表示。

接(jie)着，将这个步(bu)驟(zhou)对所有单词并行重(zhong)復(fu)多次，依次生成新的表征。

同(tong)样，解码器的过程與(yu)之類(lei)似(si)，但每次从左(zuo)到右(you)生成一个词。它不仅关注其他先前生成的单词，还关注编码器生成的最終(zhong)表征。

2019年，谷歌还專(zhuan)門(men)为其申(shen)請(qing)了专利。

自此，在自然语言处理中，Transformer逆(ni)襲(xi)之路(lu)颇有王者之風(feng)。

归宗(zong)溯源(yuan)，现在各(ge)类層(ceng)出不窮(qiong)的GPT（Generative Pre-trained Transformer），都起源于这篇17年的论文。

然而，Transformer燃(ran)爆(bao)的不仅是NLP学術(shu)圈。

万能Transformer：从NLP跨到CV

2017年的谷歌博客中，研究人员曾(zeng)对Transformer未(wei)来應(ying)用潛(qian)力进行了暢(chang)享(xiang)：

不仅涉(she)及自然语言，还涉及非常不同的输入和输出，如图像和視(shi)頻(pin)。

没錯(cuo)，在NLP领域掀(xian)起巨(ju)浪(lang)后，Transformer又(you)来「踢(ti)館(guan)」计算机视覺(jiao)领域。甚至，当時(shi)许多人狂(kuang)呼(hu)Transformer又攻(gong)下一城(cheng)。

自2012年以来，CNN已经成为视觉任(ren)務(wu)的首選(xuan)架构。

隨(sui)着越(yue)来越高效(xiao)的结构出现，使用Transformer来完成CV任务成为了一个新的研究方(fang)向，能够降(jiang)低(di)结构的复雜(za)性，探(tan)索(suo)可擴(kuo)展(zhan)性和訓(xun)練(lian)效率(lv)。

2020年10月，谷歌提出的Vision Transformer (ViT)，不用卷(juan)積(ji)神经网络（CNN），可以直(zhi)接用Transformer对图像进行分类。

值得一提的是，ViT性能表现出色，在计算資(zi)源減(jian)少4倍的情(qing)況(kuang)下，超(chao)过最先进的CNN。

緊(jin)接着，2021年，OpenAI連(lian)仍两顆(ke)炸彈(dan)，发布(bu)了基于Transformer打造(zao)的DALL-E，还有CLIP。

这两个模型借(jie)助(zhu)Transformer实现了很好的效果。DALL-E能够根(gen)據(ju)文字输出穩(wen)定(ding)的图像。而CLIP能够实现图像与文本(ben)的分类。

再(zai)到后来的DALL-E进化(hua)版(ban)DALL-E 2，还有Stable Diffusion，同样基于Transformer架构，再次颠覆了AI繪(hui)畫(hua)。

以下，便是基于Transformer诞生的模型的整條(tiao)时间線(xian)。

由此可见，Transformer是有多么地能打。

2021年，当时就连谷歌的研究人员David Ha表示，Transformers是新的LSTMs。

而他曾在Transformer诞生之前，还称LSTM就像神经网络中的AK47。无论我们如何努(nu)力用新的東(dong)西(xi)来取代它，它仍然会在50年后被使用。

Transformer仅用4年的时间，打破(po)了这一预言。

新矽(gui)谷「七(qi)叛(pan)徒(tu)」

如今，6年过去(qu)了，曾经聯(lian)手(shou)打造出谷歌最強(qiang)Transformer的「变形(xing)金(jin)剛(gang)们」怎(zen)么样了？

Jakob Uszkoreit被公(gong)认是Transformer架构的主要貢(gong)獻(xian)者。

他在2021年中離(li)开了Google，并共(gong)同創(chuang)立(li)了Inceptive Labs，致力于使用神经网络设计mRNA。

到目(mu)前为止，他们已经籌(chou)集(ji)了2000万美(mei)元，并且團(tuan)隊(dui)规模也(ye)超过了20人。

Ashish Vaswani在2021年底离开Google，创立了AdeptAILabs。

可以说，AdeptAILabs正处在高速(su)发展的階(jie)段(duan)。

目前，公司(si)不仅已经筹集了4.15億(yi)美元，而且也估(gu)值超过了10亿美元。

此外，团队规模也刚刚超过了40人。

然而，Ashish却在幾(ji)个月前离开了Adept。

在Transformers论文中，Niki Parmar是唯(wei)一的女(nv)性作者。

她(ta)在2021年底离开Google，并和刚刚提到的Ashish Vaswani一起，创立了AdeptAILabs。

不过，Niki在几个月前也离开了Adept。

Noam Shazeer在Google工作了20年后，于2021年底离开了Google。

随后，他便立刻(ke)与自己(ji)的朋(peng)友(you)Dan Abitbol一起，创立了Character AI。

雖(sui)然公司只有大約(yue)20名员工，但效率却相当之高。

目前，他们已经筹集了近2亿美元，并即将躋(ji)身(shen)獨(du)角(jiao)獸(shou)的行列。

Aidan Gomez在2019年9月离开了Google Brain，创立了CohereAI。

经过3年的稳定发展后，公司依然正在扩大规模——Cohere的员工数量最近超过了180名。

与此同时，公司筹集到的资金也即将突(tu)破4亿美元大关。

Lukasz Kaiser是TensorFlow的共同作者人之一，他在2021年中离开了Google，加入了OpenAI。

Illia Polosukhin在2017年2月离开了Google，于2017年6月创立了NEAR Protocol。

目前，NEAR估值约为20亿美元。

与此同时，公司已经筹集了约3.75亿美元，并进行了大量的二(er)次融(rong)资。

现在，只有Llion Jones还在谷歌工作。

在论文的贡献方面(mian)，他风趣地調(tiao)侃(kan)道：「自己最大的意義(yi)在于——起标题。」

网友熱(re)評(ping)

走(zou)到现在，回(hui)看Transformer，还是会引发不少网友的思(si)考(kao)。

AI中的开创性论文。

馬(ma)庫(ku)斯(si)表示，这有点像波(bo)特蘭(lan)开拓(tuo)者队对邁(mai)克(ke)爾(er)·喬(qiao)丹(dan)的放(fang)弃。

这件(jian)事(shi)说明了，即使在这样的一级研究水(shui)平(ping)上，也很难预测哪(na)篇论文会在该领域产生何种程度的影响。

这个故(gu)事告(gao)訴(su)我们，一篇研究文章的真(zhen)正價(jia)值是以一种長(chang)期(qi)的方式(shi)体现出来的。

哇(wa)，时间过得真快(kuai)！令(ling)人惊訝(ya)的是，这个模型突破了注意力的极限(xian)，彻底改变了NLP。

在我攻读博士(shi)期间，我的导師(shi) @WenmeiHwu 总是教(jiao)育(yu)我们，最有影响力的论文永(yong)遠(yuan)不会获得最佳论文奖或任何认可，但随着时间的推移(yi)，它们最终会改变世界。我们不应该为奖项而奮(fen)鬥(dou)，而应该专注于有影响力的研究！

參(can)考资料(liao)：返(fan)回搜(sou)狐(hu)，查(zha)看更多

责任编辑：