旅游广告创意文案

ziyouliyongbutongdedaojubangzhuwanjiawanchengbutongdegequtiaozhan，fengfudegequrangwonajiaziyoudexuanze。zhijianhuadongdianjiganshoucijidejingsutiaozhan，zaiyouxizhongqingsongrangninenggoulaishizhanchuzijicheliangdecaozuojiqiao；huoredeqingxubuduandeshifang，chengweidingjiandegaoshou，bushiyibankunnan;wujindeshijianxitong，zonghuiyouyixielingrenfengkuangdeshiqingfasheng，wanjiayongyuanbuhuiganjiaodaowuliao，haijiarulesuijishijianfasheng。daliangdejiangshixuyaowanjiabuduandequjibai，zailimianxuyaozhuyiduobijiangshiqundegongji。田(tian)淵(yuan)棟(dong)新(xin)作(zuo)：打(da)開(kai)1層(ceng)Transformer黑(hei)盒(he)，註(zhu)意(yi)力(li)機(ji)制(zhi)沒(mei)那(na)麽(me)神(shen)秘(mi)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】AI理(li)論(lun)再(zai)進(jin)壹(yi)步(bu)，破(po)解(jie)ChatGPT指(zhi)日(ri)可(ke)待(dai)？

Transformer架(jia)構(gou)已(yi)經(jing)橫(heng)掃(sao)了(le)包(bao)括(kuo)自(zi)然(ran)語(yu)言(yan)處(chu)理、計(ji)算(suan)机視(shi)覺(jiao)、语音(yin)、多(duo)模(mo)態(tai)等(deng)多個(ge)領(ling)域(yu)，不(bu)過(guo)目(mu)前(qian)只(zhi)是(shi)實(shi)驗(yan)效(xiao)果(guo)非(fei)常(chang)驚(jing)艷(yan)，對(dui)Transformer工(gong)作原(yuan)理的(de)相(xiang)關(guan)研(yan)究(jiu)仍(reng)然十(shi)分(fen)有(you)限(xian)。

其(qi)中(zhong)最(zui)大(da)謎(mi)團(tuan)在(zai)於(yu)，Transformer為(wei)什(shen)么僅(jin)依(yi)靠(kao)一个「簡(jian)單(dan)的預(yu)測(ce)損(sun)失(shi)」就(jiu)能(neng)從(cong)梯(ti)度(du)訓(xun)練(lian)動(dong)态（gradient training dynamics）中湧(yong)現(xian)出(chu)高(gao)效的表(biao)征(zheng)？

最近(jin)田渊栋博(bo)士(shi)公(gong)布(bu)了团隊(dui)的最新研究成(cheng)果，以(yi)數(shu)學(xue)嚴(yan)格(ge)方(fang)式(shi)，分析(xi)了1层Transformer（一个自注意力层加(jia)一个解碼(ma)器(qi)层）在下(xia)一个token预测任(ren)務(wu)上(shang)的SGD训练动态。

论文(wen)鏈(lian)接(jie)：https://arxiv.org/abs/2305.16380

這(zhe)篇(pian)论文打开了自注意力层如(ru)何(he)組(zu)合(he)輸(shu)入(ru)token动态过程(cheng)的黑盒子(zi)，並(bing)揭(jie)示(shi)了潛(qian)在的歸(gui)納(na)偏(pian)見(jian)的性(xing)質(zhi)。

具(ju)體(ti)來(lai)說(shuo)，在没有位(wei)置(zhi)编码、長(chang)输入序(xu)列(lie)、以及(ji)解码器层比(bi)自注意力层学習(xi)更(geng)快(kuai)的假(jia)設(she)下，研究人(ren)員(yuan)證(zheng)明(ming)了自注意力就是一个 判(pan)別(bie)式扫描(miao)算法(fa)（discriminative scanning algorithm）：

从均(jun)勻(yun)分布的注意力（uniform attention）开始(shi)，对于要(yao)预测的特(te)定(ding)下一个token，模型(xing)逐(zhu)漸(jian)关注不同(tong)的key token，而(er)較(jiao)少(shao)关注那些(xie)出现在多个next token窗(chuang)口(kou)中的常见token

对于不同的token，模型會(hui)逐渐降(jiang)低(di)注意力權(quan)重(zhong)，遵(zun)循(xun)训练集(ji)中的key token和(he)query token之(zhi)間(jian)从低到(dao)高共(gong)现的順(shun)序。

有趣(qu)的是，这个过程不会导致(zhi)贏(ying)家(jia)通(tong)吃(chi)，而是由(you)兩(liang)层学习率(lv)控(kong)制的相變(bian)而減(jian)速(su)，最後(hou)变成（幾(ji)乎(hu)）固(gu)定的token组合，在合成和真(zhen)实世(shi)界(jie)的数據(ju)上也(ye)验证了这種(zhong)动态。

田渊栋博士是Meta人工智能研究院(yuan)研究员、研究经理，圍(wei)棋(qi)AI項(xiang)目負(fu)責(ze)人，其研究方向(xiang)为深(shen)度增(zeng)強(qiang)学习及其在遊(you)戲(xi)中的應(ying)用(yong)，以及深度学习模型的理论分析。先(xian)后于2005年(nian)及2008年獲(huo)得(de)上海(hai)交(jiao)通大学本(ben)碩(shuo)学位，2013年获得美(mei)國(guo)卡(ka)耐(nai)基(ji)梅(mei)隆(long)大学机器人研究所(suo)博士学位。

曾(zeng)获得2013年国際(ji)计算机视觉大会（ICCV）馬(ma)爾(er)獎(jiang)提(ti)名(ming)（Marr Prize Honorable Mentions），ICML2021傑(jie)出论文榮(rong)譽(yu)提名奖。

曾在博士畢(bi)業(ye)后發(fa)布《博士五(wu)年總(zong)結(jie)》系(xi)列，从研究方向選(xuan)擇(ze)、閱(yue)读積(ji)累(lei)、時(shi)间管(guan)理、工作态度、收(shou)入和可持(chi)續(xu)的職(zhi)业发展(zhan)等方面(mian)对博士生(sheng)涯(ya)总结心(xin)得和体会。

揭秘1层Transformer

基于Transformer架构的预训练模型通常只包括非常简单的監(jian)督(du)任务，比如预测下一个单詞(ci)、填(tian)空(kong)等，但(dan)卻(que)可以为下游任务提供(gong)非常豐(feng)富(fu)的表征，实在是令(ling)人費(fei)解。

之前的工作雖(sui)然已经证明了Transformer本质上就是一个通用近似(si)器（universal approximator），但之前常用的机器学习模型，比如kNN、核(he)SVM、多层感(gan)知(zhi)机等其实也是通用近似器，这种理论無(wu)法解釋(shi)这两類(lei)模型在性能上的巨(ju)大差(cha)距(ju)。

研究人员認(ren)为，了解Transformer的训练动态（training dynamics）是很(hen)重要的，也就是说，在训练过程中，可学习參(can)数是如何隨(sui)时间变化(hua)的。

文章(zhang)首(shou)先以严謹(jin)数学定義(yi)的方式，形(xing)式化描述(shu)了1层无位置编码Transformer的SGD在下一个token预测（GPT系列模型常用的训练範(fan)式）上的训练动态。

1层的Transformer包含(han)一个softmax自注意力层和预测下一个token的解码器层。

在假设序列很长，而且(qie)解码器的学习速度比自注意力层快的情(qing)況(kuang)下，证明了训练期(qi)间自注意力的动态行(xing)为：

1. 頻(pin)率偏差Frequency Bias

模型会逐渐关注那些與(yu)query token大量(liang)共现的key token，而对那些共现较少的token降低注意力。

2. 判别偏差Discrimitive Bias

模型更关注那些在下一个要预测的token中唯(wei)一出现的獨(du)特token，而对那些在多个下一个token中出现的通用token失去(qu)興(xing)趣。

这两个特性表明，自注意力隱(yin)式地(di)運(yun)行著(zhe)一种判别式扫描（discriminative scanning）的算法，并存(cun)在归纳偏差（inductive bias），即(ji)偏向于经常与query token共同出现的独特的key token

此(ci)外(wai)，虽然自注意力层在训练过程中趨(qu)向于变得更加稀(xi)疏(shu)，但正(zheng)如频率偏差所暗(an)示的，模型因(yin)为训练动态中的相变（phase transition），所以不会崩(beng)潰(kui)为独熱(re)（one hot）。

学习的最后階(jie)段(duan)并没有收斂(lian)到任何梯度为零(ling)的鞍(an)點(dian)，而是进入了一个注意力变化緩(huan)慢(man)的區(qu)域（即随时间变化的对数），并出现参数凍(dong)结和学会（learned）。

研究结果进一步表明，相变的开始是由学习率控制的：大的学习率会產(chan)生稀疏的注意力模式，而在固定的自注意力学习率下，大的解码器学习率会导致更快的相变和密(mi)集的注意力模式。

研究人员將(jiang)工作中发现的SGD动态命(ming)名为扫描（scan）和snap：

扫描阶段：自注意力集中在key tokens上，即不同的、经常与下一个预测token同时出现的token；其他(ta)所有token的注意力都(dou)下降。

snap阶段：注意力全(quan)中几乎冻结，token组合固定。

这一现象(xiang)在简单的真实世界数据实验中也得到验证，使(shi)用SGD在WikiText上训练的1层和3层Transformer的最低自注意力层进行觀(guan)察(cha)，可以发现即使在整(zheng)个训练过程中学习率保(bao)持不变，注意力也会在训练过程中的某(mou)一时刻(ke)冻结，并变得稀疏。

参考(kao)資(zi)料(liao)：

https://arxiv.org/abs/2305.16380返(fan)回(hui)搜(sou)狐(hu)，查(zha)看(kan)更多

责任编辑：