销售广告词大全创意月饼

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>史(shi)上(shang)最(zui)全(quan)Transformer合(he)集(ji)！LeCun力(li)推(tui)：給(gei)60個(ge)模(mo)型(xing)建(jian)目(mu)錄(lu)，哪(na)篇(pian)論(lun)文(wen)妳(ni)錯(cuo)過(guo)了(le)？

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】Transformer家(jia)族(zu)成(cheng)員(yuan)太(tai)多(duo)？壹(yi)个目录就(jiu)夠(gou)了！

如(ru)果(guo)說(shuo)过去(qu)幾(ji)年(nian)是(shi)什(shen)麽(me)在(zai)支(zhi)撐(cheng)著(zhu)(zhe)大(da)規(gui)模模型的(de)發(fa)展(zhan)，那(na)一定(ding)是Transformer了！

基(ji)於(yu)Transformer，大量(liang)模型在各(ge)个領(ling)域(yu)猶(you)如雨(yu)後(hou)春(chun)筍(sun)般(ban)不(bu)斷(duan)湧(yong)現(xian)，每(mei)个模型都(dou)有(you)不同(tong)的架(jia)構(gou)，不同的細(xi)節(jie)，以(yi)及(ji)一个不容(rong)易(yi)解(jie)釋(shi)的名(ming)字(zi)。

最近(jin)有作(zuo)者(zhe)對(dui)近几年发布(bu)的所(suo)有流(liu)行(xing)的Transformer模型進(jin)行了一次(ci)全面(mian)的分(fen)類(lei)和(he)索(suo)引(yin)，盡(jin)可(ke)能(neng)提(ti)供(gong)一个全面但(dan)簡(jian)單(dan)的目录（catalog），文中(zhong)包(bao)括(kuo)对Transformer創(chuang)新的简介(jie)，以及发展脈(mai)絡(luo)梳(shu)理(li)。

论文鏈(lian)接(jie)：https://arxiv.org/pdf/2302.07730.pdf

圖(tu)靈(ling)獎(jiang)得(de)主(zhu)Yann LeCun表(biao)示(shi)認(ren)可。

文章(zhang)作者Xavier (Xavi) Amatriain于2005年博(bo)士(shi)畢(bi)業(ye)于西(xi)班(ban)牙(ya)龐(pang)培(pei)法(fa)布拉(la)大學(xue)，目前(qian)是LinkedIn工(gong)程(cheng)部(bu)副(fu)總(zong)裁(cai)，主要(yao)負(fu)責(ze)產(chan)品(pin)人(ren)工智能戰(zhan)略(lve)。

什么是Transformer？

Transformer是一类深(shen)度(du)学習(xi)模型，具(ju)有一些(xie)獨(du)特(te)的架构特征(zheng)，最早(zao)出(chu)现在谷(gu)歌(ge)研(yan)究(jiu)人员于2017年发表的著名的「Attention is All you Need」论文中，該(gai)论文在短(duan)短5年內(nei)積(ji)累(lei)了驚(jing)人的38000次引用(yong)。

Transformer架构也(ye)屬(shu)于编碼(ma)器(qi)-解码器模型（encoder-decoder），只(zhi)不过在此(ci)之(zhi)前的模型，註(zhu)意(yi)力只是其(qi)中的機(ji)制(zhi)之一，大多都是基于LSTM（長(chang)短時(shi)記(ji)憶(yi)）和其他(ta)RNN（循(xun)環(huan)神(shen)經(jing)網(wang)络）的變(bian)體(ti)。

提出Transformer的這(zhe)篇论文的一个關(guan)鍵(jian)見(jian)解如標(biao)題(ti)所说，注意力机制可以作為(wei)推导輸(shu)入(ru)和输出之間(jian)依(yi)賴(lai)关系(xi)的唯(wei)一机制，这篇论文並(bing)不打(da)算(suan)深入研究Transformer架构的所有细节，感(gan)興(xing)趣(qu)的朋(peng)友(you)可以搜(sou)索「The Illustrated Transformer」博客(ke)。

博客链接：https://jalammar.github.io/illustrated-transformer/

下(xia)面只简要地(di)描(miao)述(shu)最重(zhong)要的一些組(zu)件(jian)。

编码器-解码器架构

一个通(tong)用的编码器/解码器架构由(you)兩(liang)个模型组成，编码器接受(shou)输入并將(jiang)其编码为一个固(gu)定长度的向(xiang)量；解码器接收(shou)该向量并将其解码为输出序(xu)列(lie)。

对编码器和解码器进行聯(lian)合訓(xun)練(lian)以最小(xiao)化(hua)條(tiao)件对數(shu)似(si)然(ran)。训练完(wan)成后，编码器/解码器就可以根(gen)據(ju)给定输入序列的生(sheng)成一个输出，或(huo)者可以给一对输入/输出序列打分。

在最初(chu)的Transformer架构下，编码器和解码器都有6个相(xiang)同的層(ceng)，在这6层中的每一层，编码器有两个子(zi)层：一个多頭(tou)注意层，和一个简单的前饋(kui)网络，每个子层都有一个殘(can)差(cha)連(lian)接和一个层歸(gui)一化。

编码器的输出大小为512，解码器增(zeng)加(jia)了第(di)三(san)个子层，即(ji)在编码器输出上的另(ling)一个多头注意层。此外(wai)，解码器中的另一个多头层被(bei)mask掉(diao)，以防(fang)止(zhi)对后續(xu)位(wei)置(zhi)應(ying)用注意力，造(zao)成信(xin)息(xi)泄(xie)露(lu)。

注意力机制

從(cong)上面的描述中可以看(kan)出，模型結(jie)构中唯一「奇(qi)特」的元素(su)是多头的注意力，也正(zheng)是该模型的全部力量所在。

注意力函(han)数是query和一组key-value pairs到(dao)输出之间的映(ying)射(she)，输出的計(ji)算为数值(zhi)的加權(quan)和，其中分配(pei)给每个数值的权重是由query與(yu)相应的key的compatibility函数计算的。

Transformer使(shi)用多头注意力（multi-head attention），即对一组注意力函数的并行计算，也稱(cheng)为縮(suo)放(fang)點(dian)积注意力。

与遞(di)归和卷(juan)积网络相比(bi)，注意力层有几个優(you)勢(shi)，比較(jiao)重要的是其较低(di)的计算復(fu)雜(za)性(xing)和较高(gao)的连接性，对学习序列中的长期(qi)依赖关系特別(bie)有用。

Transformer可以做(zuo)什么？为什么流行起(qi)來(lai)了？

最初的Transformer是为語(yu)言(yan)翻(fan)譯(yi)而(er)設(she)计的，主要是从英(ying)语翻译到德(de)语，但是初版(ban)论文的實(shi)驗(yan)结果已(yi)经表明(ming)，该架构可以很(hen)好(hao)地推廣(guang)到其他语言任(ren)務(wu)。

这一特殊(shu)的趨(qu)势很快(kuai)就被研究界(jie)注意到了。

在接下来的几个月(yue)裏(li)，任何(he)与语言相关的ML任务的排(pai)行榜(bang)都完全被某(mou)个版本(ben)的Transformer架构所占(zhan)据，比如問(wen)答(da)任务Squad很快就被各種(zhong)Transformer模型屠(tu)榜了。

Transofrmer能够如此迅(xun)速(su)地占领大多数NLP排行榜的关键原(yuan)因(yin)之一是：它(ta)們(men)能够快速適(shi)应其他任务，也就是遷(qian)移(yi)学习；預(yu)先(xian)训练好的Transformer模型可以非(fei)常(chang)容易和迅速地适应它们沒(mei)有被训练过的任务，相比其他模型有巨(ju)大的优势。

作为一个ML从业者，你不再(zai)需(xu)要在一个巨大的数据集上从头训练一个大型模型，只需要在手(shou)头任务上重新使用预训练过的模型，也許(xu)只是用一个小得多的数据集对其稍(shao)作調(tiao)整(zheng)。

用来使预训练的模型适应不同任务的具体技(ji)術(shu)是所謂(wei)的微(wei)调（fine-tuning）。

事(shi)实證(zheng)明，Transformer适应其他任务的能力是如此之強(qiang)，雖(sui)然它们最初是为语言相关的任务而開(kai)发的，但它们很快就对其他任务有用了，从視(shi)覺(jiao)或音(yin)頻(pin)和音樂(le)应用一直(zhi)到下棋(qi)或做数学。

當(dang)然，如果不是因为有無(wu)数的工具，使任何能寫(xie)几行代(dai)码的人都能隨(sui)时使用这些工具，所有这些应用就不可能实现。

Transformer不僅(jin)很快被整合到主要的人工智能框(kuang)架中（即Pytorch和TensorFlow），還(hai)有一些完全为Transformer而生的公(gong)司(si)。

Huggingface，一家到今(jin)天(tian)为止已经籌(chou)集了超(chao)过6000萬(wan)美(mei)元的创业公司，几乎(hu)完全是圍(wei)繞(rao)着将他们的开源(yuan)Transformer庫(ku)商(shang)业化的想(xiang)法而建立(li)的。

GPT-3是OpenAI在2020年5月推出的Transformer模型，是他们早期GPT和GPT-2的后续版本。该公司在一份(fen)预印(yin)本中介紹(shao)了该模型，引起了很大的轟(hong)動(dong)，论文中聲(sheng)称该模型非常强大，以至(zhi)于他们没有資(zi)格(ge)向世(shi)界发布。

而且(qie)，OpenAI不仅没有发布GPT-3，而且通过和微軟(ruan)之间的一个非常大的夥(huo)伴(ban)关系实现了商业化。

现在，GPT-3为300多个不同的应用程序提供底(di)层技术支持(chi)，并且是OpenAI商业战略的基礎(chu)。对于一个已经獲(huo)得超过10億(yi)美元资金(jin)的公司来说，这是很重要的。

RLHF

从人类反(fan)馈（或偏(pian)好）中强化学习，又(you)称RLHF（或RLHP），最近已经成为人工智能工具箱(xiang)的一个巨大補(bu)充(chong)。

这个概(gai)念(nian)最早来自(zi)2017年的论文「来自人类偏好的深度强化学习」，但最近它被应用于ChatGPT和类似的对話(hua)智能体中，取(qu)得了相当好的效(xiao)果，又引起了大眾(zhong)的关注。

文中的想法是非常简单的，一旦(dan)语言模型被预训练后，就可以对对话产生不同的回(hui)应，并讓(rang)人类对结果进行排名，可以使用这些排名（又称偏好或反馈）利(li)用强化学习机制来训练奖勵(li)。

擴(kuo)散(san)模型Diffusion

扩散模型已经成为图像(xiang)生成的新的SOTA，大有取代GANs（生成对抗(kang)网络）的趋势。

扩散模型是一类经过训练的变分推理（varitional inference）的潛(qian)变量模型，在实踐(jian)中的意思(si)就是训练一个深度神经网络来对用某种噪(zao)声函数模糊(hu)的图像进行去噪。

以这种方(fang)式(shi)训练的网络实際(ji)上是在学习这些图像所代表的潜空(kong)间。

看完介绍，快开啟(qi)Transformer的回溯(su)之旅(lv)吧(ba)！

參(can)考(kao)资料(liao)：

https://arxiv.org/abs/2302.07730返(fan)回搜狐(hu)，查(zha)看更(geng)多

责任编辑：