经典月饼创意广告文案

Coupon：DRAGONCOUPON（shuruzaicouponlanwei）rixiweimeixuanlidexiaoyuandongmanyouxihuafeng，chaoranjuqingyongmanhuadexingshizaixian;neiwangcunchuliaotianjilu、tongxunludengshujucunchuzaizhengfuneiwang，anquankekongduchuanghunshouxitong，shoujiyouxineiyiqieBOSSweiwosuoyong，dianjizhaohuanhengsaoqianjun。youzhemeduodegezhongpiaoliangdezhuangshipinzhuangdiannideshiwu，nidechengkexiangzhexieshiwu。Transformer六(liu)周(zhou)年(nian)：當(dang)年連(lian)NeurIPS Oral都(dou)沒(mei)拿(na)到(dao)，8位(wei)作(zuo)者(zhe)已(yi)創(chuang)辦(ban)數(shu)家(jia)AI獨(du)角(jiao)獸(shou)有(you)的(de)人(ren)加(jia)入(ru) OpenAI，有的人成(cheng)立(li)创業(ye)公(gong)司(si)，也(ye)有的堅(jian)守(shou)谷(gu)歌(ge) AI。当年正(zheng)是(shi)他(ta)們(men)共(gong)同(tong)開(kai)啟(qi)了(le)今(jin)天(tian)的 AI 大(da)發(fa)展(zhan)時(shi)代(dai)。

從(cong) ChatGPT 到 AI 畫(hua)圖(tu)技(ji)術(shu)，人工(gong)智(zhi)能(neng)領(ling)域(yu)最(zui)近(jin)的這(zhe)波(bo)突(tu)破(po)或(huo)許(xu)都要(yao)感(gan)謝(xie)壹(yi)下(xia) Transformer。

今天是著(zhu)名(ming)的 transformer 論(lun)文(wen)提(ti)交(jiao)六周年的日(ri)子(zi)。

论文鏈(lian)接(jie)：https://arxiv.org/abs/1706.03762

六年前(qian)，一篇(pian)名字(zi)有點(dian)浮(fu)誇(kua)的论文被(bei)上(shang)傳(chuan)到了預(yu)印(yin)版(ban)论文平(ping)臺(tai) arXiv 上，「xx is All You Need」这句(ju)話(hua)被 AI 领域的开发者们不(bu)斷(duan)復(fu)述(shu)，甚(shen)至(zhi)已經(jing)成了论文標(biao)題(ti)的潮(chao)流(liu)，而(er) Transformer 也不再(zai)是變(bian)形(xing)金(jin)剛(gang)的意(yi)思(si)，它(ta)現(xian)在(zai)代表(biao)著(zhe) AI 领域最先(xian)進(jin)的技术。

六年後(hou)，回(hui)看(kan)当年的这篇论文，我(wo)们可(ke)以(yi)发现很(hen)多(duo)有趣(qu)或鮮(xian)為(wei)人知(zhi)的地(di)方(fang)，正如(ru)英(ying)偉(wei)達(da) AI 科(ke)學(xue)家 Jim Fan 所(suo)總(zong)結(jie)的那(na)樣(yang)。

「註(zhu)意力(li)機(ji)制(zhi)」並(bing)不是 Transformer 作者所提出(chu)的

Transformer 模(mo)型(xing)拋(pao)棄(qi)了传統(tong)的 CNN 和(he) RNN 單(dan)元(yuan)，整(zheng)個(ge)網(wang)絡(luo)结構(gou)完(wan)全(quan)是由(you)注意力机制組(zu)成。

雖(sui)然(ran) Transformer 论文的名字是《Attention is All You Need》，我们也因(yin)它而不断推(tui)崇(chong)注意力机制，但(dan)請(qing)注意一个有趣的事(shi)實(shi)：并不是 Transformer 的研(yan)究(jiu)者发明(ming)了注意力，而是他们把(ba)这種(zhong)机制推向(xiang)了極(ji)致(zhi)。

注意力机制（Attention Mechanism）是由深(shen)度(du)学習(xi)先驅(qu) Yoshua Bengio 帶(dai)领的團(tuan)隊(dui)於(yu) 2014 年提出的：

《Neural Machine Translation by Jointly Learning to Align and Translate》，标题比(bi)較(jiao)樸(pu)实。

在这篇 ICLR 2015 论文中(zhong)，Bengio 等(deng)人提出了一种 RNN +「上下文向量(liang)」（即(ji)注意力）的组合(he)。虽然它是 NLP 领域最伟大的裏(li)程(cheng)碑(bei)之(zhi)一，但相(xiang)比 transformer，其(qi)知名度要低(di)得(de)多，Bengio 团队的论文至今已被引(yin)用(yong) 2.9 萬(wan)次(ci)，Transformer 有 7.7 万次。

AI 的注意力机制，自(zi)然是仿(fang)照(zhao)人類(lei)的視(shi)覺(jiao)注意力而來(lai)。人类大腦(nao)里有一种天生(sheng)能力：当我们看一幅(fu)图时，先是快(kuai)速(su)掃(sao)過(guo)图片(pian)，然后鎖(suo)定(ding)需(xu)要重(zhong)点關(guan)注的目(mu)标區(qu)域。

如果(guo)不放(fang)过任(ren)何(he)局(ju)部(bu)信(xin)息(xi)，必(bi)然會(hui)作很多無(wu)用功(gong)，不利(li)于生存(cun)。同样地，在深度学习网络中引入类似(si)的机制可以簡(jian)化(hua)模型，加速計(ji)算(suan)。从本(ben)質(zhi)上說(shuo)，Attention 就(jiu)是从大量信息中有篩(shai)選(xuan)出少(shao)量重要信息，并聚(ju)焦(jiao)到这些(xie)重要信息上，忽(hu)略(lve)大多不重要的信息。

近年来，注意力机制被廣(guang)泛(fan)應(ying)用在深度学习的各(ge)个领域，如在计算机视觉方向用于捕(bu)捉(zhuo)图像(xiang)上的感受(shou)野(ye)，或者 NLP 中用于定位关鍵(jian) token 或者特(te)征(zheng)。大量实驗(yan)證(zheng)明，添(tian)加了注意力机制的模型在图像分(fen)类、分割(ge)、追(zhui)蹤(zong)、增(zeng)強(qiang)以及(ji)自然語(yu)言(yan)識(shi)別(bie)、理(li)解(jie)、問(wen)答(da)、翻(fan)譯(yi)中任務(wu)中均(jun)取(qu)得了明顯(xian)的性(xing)能提升(sheng)。

引入了注意力机制的 Transformer 模型可以看做(zuo)一种通(tong)用序(xu)列(lie)计算机（general-purpose sequence computer），注意力机制允(yun)许模型在處(chu)理輸(shu)入序列时根(gen)據(ju)序列中不同位置(zhi)的相关性分配(pei)不同的注意力權(quan)重，这使(shi)得 Transformer 能夠(gou)捕捉到長(chang)距(ju)離(li)的依(yi)賴(lai)关系(xi)和上下文信息，从而提高(gao)序列处理的效(xiao)果。

但在当年，不论是 Transformer 還(hai)是最初(chu)的 attention 论文都没有談(tan)到通用序列计算机。相反(fan)，作者们認(ren)为它是解決(jue)一个狹(xia)窄(zhai)而具(ju)體(ti)的问题 —— 机器(qi)翻译的机制。所以未(wei)来的我们追溯(su)起(qi) AGI 的起源(yuan)时，说不定可以追溯到「不起眼(yan)」的谷歌翻译。

虽然被 NeurIPS 2017 接收(shou)，但连个 Oral 都没拿到

Transformer 这篇论文虽然现在影(ying)響(xiang)力很大，但在当年的全球(qiu)頂(ding)級(ji) AI 会議(yi) NeurIPS 2017 上，连个 Oral 都没拿到，更(geng)不用说拿到獎(jiang)項(xiang)了。当年大会共收到 3240 篇论文投(tou)稿(gao)，其中 678 篇被选为大会论文，Transformer 论文就是被接收的论文之一，在这些论文中，40 篇为 Oral 论文，112 篇为 Spotlight 论文，3 篇最佳(jia)论文，一篇 Test of time award 奖项，Transformer 无緣(yuan)奖项。

虽然无缘 NeurIPS 2017 论文奖项，但 Transformer 的影响力大家也是有目共睹(du)的。

Jim Fan 評(ping)價(jia)说：在一项有影响力的研究变得有影响力之前，人们很難(nan)意识到它的重要性，这不是评委(wei)的錯(cuo)。不过，也有论文足(zu)够幸(xing)運(yun)，能够第(di)一时間(jian)被发现，比如何愷(kai)明等人提出的 ResNet，当年獲(huo)得了 CVPR 2016 最佳论文，这一研究当之无愧(kui)，得到了 AI 顶会的正確(que)认可。但在 2017 年那个当下，非(fei)常(chang)聰(cong)明的研究者也未必能够预測(ce)现在 LLM 带来的变革(ge)，就像 20 世(shi)紀(ji) 80 年代一样，很少有人能预見(jian)到 2012 年以来深度学习带来的海(hai)嘯(xiao)。

八(ba)位作者，人生各自精(jing)彩(cai)

当时这篇论文的作者共有 8 位，他们分别来自谷歌和多倫(lun)多大学，五(wu)年过去(qu)了，大部分论文作者都已离开了原(yuan)机构。

2022 年 4 月(yue) 26 日，一家名为「Adept」的公司官(guan)宣(xuan)成立，共同创始(shi)人有 9 位，其中就包(bao)括(kuo) Transformer 论文作者中的兩(liang)位 Ashish Vaswani 和 Niki Parmar。

Ashish Vaswani在南(nan)加州(zhou)大学拿到博(bo)士(shi)学位，師(shi)从華(hua)人学者蔣(jiang)伟（David Chiang）和黃(huang)亮(liang)（Liang Huang），主(zhu)要研究现代深度学习在语言建(jian)模中的早(zao)期(qi)应用。2016 年，他加入了谷歌大脑并领導(dao)了 Transformer 的研究，2021 年离开谷歌。

Niki Parmar碩(shuo)士畢(bi)业于南加州大学，2016 年加入谷歌。工作期间，她(ta)为谷歌搜(sou)索(suo)和广告(gao)研发了一些成功的问答和文本相似度模型。她领导了擴(kuo)展 Transformer 模型的早期工作，將(jiang)其扩展到了图像生成、计算机视觉等领域。2021 年，她也离开谷歌。

在离开之后，两人參(can)與(yu)创立了 Adept，并分别擔(dan)任首(shou)席(xi)科学家（Ashish Vaswani）和首席技术官（Niki Parmar）。Adept 的願(yuan)景(jing)是创建一个被稱(cheng)为「人工智能队友(you)」的 AI，該(gai) AI 经过訓(xun)練(lian)，可以使用各种不同的軟(ruan)件(jian)工具和 API。

2023 年 3 月，Adept 宣布(bu)完成 3.5 億(yi)美(mei)元的 B 輪(lun)融(rong)資(zi)，公司估(gu)值(zhi)超(chao)过 10 亿美元，晉(jin)升独角兽。不过，在 Adept 公开融资的时候(hou)，Niki Parmar 和 Ashish Vaswani 已经离开了 Adept，并创立了自己(ji)的 AI 新(xin)公司。不过，这家新公司目前还处于保(bao)密(mi)階(jie)段(duan)，我们无法(fa)获取该公司的詳(xiang)細(xi)信息。

另(ling)一位论文作者 Noam Shazeer是谷歌最重要的早期員(yuan)工之一。他在 2000 年底(di)加入谷歌，直(zhi)到 2021 年最終(zhong)离職(zhi)，之后成为了一家初创企(qi)业的 CEO，名字叫(jiao)做「Character.AI」。

Character.AI 创始人除(chu)了 Noam Shazeer，还有一位是 Daniel De Freitas，他们都来自谷歌的 LaMDA 团队。此(ci)前，他们在谷歌构建了支(zhi)持(chi)對(dui)话程序的语言模型 LaMDA。

今年三(san)月，Character.AI 宣布完成 1.5 亿美元融资，估值达到 10 亿美元，是为数不多有潛(qian)力与 ChatGPT 所屬(shu)机构 OpenAI 競(jing)爭(zheng)的初创公司之一，也是罕(han)见的僅(jin)用 16 个月时间就成长为独角兽的公司。其应用程序 Character.AI 是一个神(shen)经语言模型聊(liao)天机器人，可以生成类似人类的文本响应并参与上下文对话。

Character.AI 于 2023 年 5 月 23 日在 Apple App Store 和 Google Play Store 发布，第一周下載(zai)量超过 170 万次。2023 年 5 月，该服(fu)务增加了每(mei)月 9.99 美元的付(fu)費(fei)訂(ding)閱(yue)，称为 c.ai+，该订阅允许用戶(hu)優(you)先聊天訪(fang)问，获得更快的响应时间和早期访问新功能等特权。

Aidan N. Gomez早在 2019 年就已离开谷歌，之后担任 FOR.ai 研究员，现在是 Cohere 的聯(lian)合创始人兼(jian) CEO。

Cohere 是一家生成式(shi) AI 初创公司，于 2019 年成立，其核(he)心(xin)业务包括提供(gong) NLP 模型，并幫(bang)助(zhu)企业改(gai)进人机交互(hu)。三位创始人分别为 Ivan Zhang、Nick Frosst 和 Aidan Gomez，其中 Gomez 和 Frosst 是谷歌大脑团队的前成员。2021 年 11 月，Google Cloud 宣布他们将与 Cohere 合作，Google Cloud 将使用其强大的基(ji)礎(chu)設(she)施(shi)为 Cohere 平台提供動(dong)力，而 Cohere 将使用 Cloud 的 TPU 来开发和部署(shu)其產(chan)品(pin)。

值得注意的是，Cohere 刚刚获得 2.7 亿美元 C 轮融资，成为市(shi)值 22 亿美元的独角兽。

?ukasz Kaiser在 2021 年离开谷歌，在谷歌工作了 7 年零(ling) 9 个月，现在是 OpenAI 一名研究员。在谷歌担任研究科学家期间，他参与了机器翻译、解析(xi)及其他算法和生成任务的 SOTA 神经模型设计，是 TensorFlow 系统、Tensor2Tensor 庫(ku)的共同作者。

Jakob Uszkoreit于 2021 年离开谷歌，在谷歌工作时间长达 13 年，之后加入 Inceptive，成为联合创始人。Inceptive 是一家 AI 制藥(yao)公司，致力于运用深度学习去设计 RNA 药物(wu)。

在谷歌工作期间，Jakob Uszkoreit 参与了组建谷歌助理的语言理解团队，早期还曾(zeng)从事过谷歌翻译的工作。

Illia Polosukhin于 2017 年离开谷歌，现在是 NEAR.AI（一家区塊(kuai)链底層(ceng)技术公司）的联合创始人兼 CTO。

唯(wei)一还留(liu)在谷歌的是 Llion Jones，今年是他在谷歌工作的第 9 年。

如今，距离《 Attention Is All You Need 》论文发表已经过去 6 年了，原创作者们有的选擇(ze)离开，有的选择繼(ji)續(xu)留在谷歌，不管(guan)怎(zen)样，Transformer 的影响力还在继续。返(fan)回搜狐(hu)，查(zha)看更多

責(ze)任編(bian)輯(ji)：