2020湖人火箭直播

xuehuizhangwobutongjulongdejineng，zujianzuiqiangdadeduiwu，bingshisuoyoudirenjupanin。【xiongdiqixinjiangyaobaozhenbao】weiyonghutigongbianjiedegoumaipingtai，keyizhijiezaishoujishanggoumai，shangpinzhongleifanduokaixinshuizuxiangtiyanfuanzhuobanxiazaiquanminzhanjianjingjie，fulihailiangzengsongTransformers+世(shi)界(jie)模(mo)型(xing)，竟(jing)能(neng)拯(zheng)救(jiu)深(shen)度(du)強(qiang)化(hua)學(xue)習(xi)？

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：武(wu)穆(mu)

【新智元導(dao)讀(du)】 前(qian)壹(yi)段(duan)時(shi)間(jian)，LeCun曾(zeng)預(yu)言(yan)AGI：大(da)模型和(he)强化学习都(dou)沒(mei)出(chu)路(lu)，世界模型才(cai)是(shi)新路。但(dan)最(zui)近(jin)，康(kang)奈(nai)爾(er)大学有(you)研(yan)究(jiu)人(ren)員(yuan)，正(zheng)試(shi)著(zhe)用(yong)Transformers將(jiang)强化学习與(yu)世界模型連(lian)接(jie)起(qi)來(lai)。

很(hen)多(duo)人都知(zhi)道，當(dang)年(nian)打(da)敗(bai)李(li)世石(shi)、柯(ke)潔(jie)等(deng)一眾(zhong)國(guo)際(ji)頂(ding)尖(jian)棋(qi)手(shou)的(de)AlphaGo一共(gong)叠(die)代(dai)了(le)三(san)個(ge)版(ban)本(ben)，分(fen)別(bie)是戰(zhan)勝(sheng)李世石的一代目(mu)AlphaGo Lee、战胜柯洁的二(er)代目AlphaGo Master，以(yi)及(ji)吊(diao)打前兩(liang)代的三代目AlphaGo Zero。

AlphaGo的棋藝(yi)能夠(gou)逐(zhu)代遞(di)增(zeng)，背(bei)後(hou)其(qi)實(shi)是在(zai)AI技(ji)術(shu)上(shang)一个出現(xian)了明(ming)顯(xian)的變(bian)化趨(qu)勢(shi)，就(jiu)是强化学习的比(bi)重(zhong)越(yue)来越大。

到(dao)了近幾(ji)年，强化学习又(you)發(fa)生(sheng)了一次(ci)「進(jin)化」，人們(men)把(ba)「进化」后的强化学习，稱(cheng)為(wei)深度强化学习。

但深度强化学习代理(li)的樣(yang)本效(xiao)率(lv)低(di)下(xia)，這(zhe)極(ji)大地(di)限(xian)制(zhi)了它(ta)们在实际問(wen)題(ti)中(zhong)的應(ying)用。

最近，許(xu)多基(ji)於(yu)模型的方(fang)法(fa)被(bei)設(she)計(ji)来解(jie)決(jue)这个问题，在世界模型的想(xiang)象(xiang)中学习是最突(tu)出的方法之(zhi)一。

然(ran)而(er)，雖(sui)然与模擬(ni)環(huan)境(jing)几乎(hu)無(wu)限的交(jiao)互(hu)聽(ting)起来很吸(xi)引(yin)人，但世界模型必(bi)須(xu)在很長(chang)一段时间內(nei)保(bao)持(chi)準(zhun)確(que)。

受(shou)Transformer在序(xu)列(lie)建(jian)模任(ren)務(wu)中的成(cheng)功(gong)啟(qi)发，康奈尔大学的文(wen)森(sen)特(te)·米(mi)凱(kai)利(li)、埃(ai)洛(luo)伊(yi)·阿(e)隆(long)索(suo)、弗(fu)朗(lang)索瓦(wa)·弗勒(le)雷(lei)介(jie)紹(shao)了IRIS，这是一種(zhong)數(shu)據(ju)高(gao)效代理，它在由(you)離(li)散(san)自(zi)编碼(ma)器(qi)和自回(hui)歸(gui)Transformer組(zu)成的世界模型中学习。

在Atari 100k基准測(ce)试中，在僅(jin)相(xiang)当于两个小(xiao)时的遊(you)戲(xi)时间裏(li)，IRIS的平(ping)均(jun)人類(lei)標(biao)准化得(de)分为1.046，並(bing)且(qie)在26場(chang)比賽(sai)中的10场比赛中表(biao)现優(you)于人类。

此(ci)前，LeCun曾說(shuo)，强化学习會(hui)走(zou)进死(si)胡(hu)同(tong)。

现在看(kan)来，康奈尔大学的文森特·米凯利、埃洛伊·阿隆索、弗朗索瓦·弗勒雷等人，正在将世界模型与强化学习（更(geng)准确地说是深度强化学习）融(rong)为一體(ti)，而连接两者(zhe)的橋(qiao)梁(liang)，便(bian)是Transformers。

深度强化学习有什(shen)麽(me)不(bu)一样

一提(ti)到人工(gong)智能技术，很多人能想到的，還(hai)是深度学习上。

其实，虽然深度学习还活(huo)躍(yue)在AI領(ling)域(yu)，但已(yi)經(jing)暴(bao)露(lu)出很多问题。

现在深度学习用得最多的就是有監(jian)督(du)学习。有监督学习不妨(fang)理解成“有參(can)考(kao)答(da)案(an)的学习”，它有一个特點(dian)，就是数据必须经過(guo)标識(shi)才能用于訓(xun)練(lian)。但现在海(hai)量(liang)的数据是未(wei)标识数据，且标识成本很高。

以至(zhi)于針(zhen)對(dui)这种局(ju)面(mian)，有人調(tiao)侃(kan)道「有多少(shao)人工，就有多少智能」。

很多研究人员，甚(shen)至包(bao)括(kuo)有不少的大牛(niu)都在反(fan)思(si)，琢(zhuo)磨(mo)深度学习是不是“錯(cuo)了”。

于是，强化学习開(kai)始(shi)崛(jue)起了。

强化学习和有监督学习、无监督学习都不太(tai)一样，它是用智能体不斷(duan)地试错，并按(an)试错結(jie)果(guo)獎(jiang)懲(cheng)AI。这是DeepMind家(jia)做(zuo)各(ge)种棋牌(pai)AI、游戏AI的路数。这种路徑(jing)的信(xin)徒(tu)認(ren)为，只(zhi)要(yao)奖勵(li)激(ji)励设定(ding)对頭(tou)，强化学习終(zhong)将造(zao)出真(zhen)正AGI。

但强化学习也(ye)有问题，用LeCun的話(hua)说，就是「强化学习要用巨(ju)量数据才能训练模型執(zhi)行(xing)最簡(jian)單(dan)任务」。

于是强化学习与深度学习进行了结合(he)，成为深度强化学习。

深度强化学习，强化学习是骨(gu)架(jia)，深度学习是靈(ling)魂(hun)，这是什么意(yi)思呢(ne)？深度强化学习的主(zhu)要運(yun)行機(ji)制，其实与强化学习是基本一致(zhi)的，只不过使(shi)用了深度神(shen)经網(wang)絡(luo)来完(wan)成这一过程(cheng)。

更有甚者，有的深度强化学习算(suan)法，幹(gan)脆(cui)直(zhi)接在现成的强化学习算法上，通(tong)过添(tian)加(jia)深度神经网络来实现一套(tao)新的深度强化学习算法，非(fei)常(chang)有名(ming)的深度强化学习算法DQN就是典(dian)型的例(li)子(zi)。

Transformers有什么神奇(qi)之處(chu)

Transformers首(shou)次亮(liang)相于2017年，是Google的論(lun)文《Attention is All You Need》中提出的。

在 Transformer出现之前，人工智能在語(yu)言任务上的进展(zhan)一直落(luo)后于其他(ta)领域的发展。「在过去(qu)10年发生的这场深度学习革(ge)命(ming)中，自然语言处理在某(mou)种程度上是后来者，」馬(ma)薩(sa)諸(zhu)塞(sai)大学洛厄(e)尔分校(xiao)的计算机科(ke)学家Anna Rumshisky 说，「從(cong)某种意義(yi)上说，NLP曾落后于计算机視(shi)覺(jiao)，而Transformer改(gai)变了这一点。」

近年来，Transformer机器学习模型已经成为深度学习和深度神经网络技术进步(bu)的主要亮点之一。它主要用于自然语言处理中的高級(ji)应用。谷(gu)歌(ge)正在使用它来增强其搜(sou)索引擎(qing)结果。

Transformer很快(kuai)成为專(zhuan)註(zhu)于分析(xi)和预测文本的单詞(ci)识别等应用程序的引领者。它引发了一波(bo)工具(ju)浪(lang)潮(chao)，比如(ru)OpenAI的GPT-3可(ke)以在数千(qian)億(yi)个单词上进行训练并生成连貫(guan)的新文本。

目前，Transformer架構(gou)不断发展并擴(kuo)展到多种不同的变体，从语言任务扩展到其他领域。

比如， Transformer已被用于时间序列预测， 同时也是DeepMind的蛋(dan)白(bai)質(zhi)结构预测模型 AlphaFold背后的關(guan)鍵(jian)創(chuang)新。

Transformer最近也进入(ru)了计算机视觉领域，在许多復(fu)雜(za)任务中它们正在慢(man)慢取(qu)代卷(juan)積(ji)神经网络(CNN)。

世界模型与Transformers聯(lian)手，其他人怎(zen)么看

对于康奈尔大学的研究成果，有外(wai)国网友(you)評(ping)论道：「請(qing)注意，这两个小时是来自环境的鏡(jing)头长度，在GPU上进行训练需(xu)要一周(zhou)的时间」。

还有人质疑(yi)：所(suo)以这个系(xi)統(tong)在一个特别精(jing)确的潛(qian)在世界模型上学习？該(gai)模型不需要预先(xian)训练嗎(ma)？

另(ling)外，有人觉得，康奈尔大学的文森特·米凯利等人的成果并没有破(po)天(tian)荒(huang)的突破：「似(si)乎他们只是训练了世界模型，vqvae和演(yan)员评论家，所有这些(xie)都来自那(na)2个小时的经驗(yan)（和大約(yue)600个紀(ji)元）的重播(bo)緩(huan)沖(chong)區(qu)」。

参考資(zi)料(liao)：

https://www.reddit.com/r/MachineLearning/comments/x4e4jx/r_transformers_are_sample_efficient_world_models/返(fan)回搜狐(hu)，查(zha)看更多

責(ze)任编辑：