全球首家代排队平台！

shishigenjunidexihaoweinishaixuangezhonggaoyanzhidexiaohuoban。zhaodaoshuyunidexindongshengyin。【jianlishuaxin】hailiangtiezhineirongrangniqingsongzhaodaoxiangyaobiaodade。fangbiansuishizaixiaohongshuyijipengyouquanshurugezhongwenan，rangnishunjianshangremen。gezhongleixingyijixingzhuangdenianyeyounizijizhizuo，nikeyiduinianyejinqingderoucuoheanyao。清(qing)北(bei)聯(lian)合(he)出(chu)品(pin)！壹(yi)篇(pian)Survey整(zheng)明(ming)白(bai)「Transformer+強(qiang)化(hua)學(xue)習(xi)」的(de)來(lai)龍(long)去(qu)脈(mai)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】Transformer與(yu)强化学习結(jie)合的綜(zong)述(shu)！

Transformer模(mo)型(xing)自(zi)發(fa)布(bu)後(hou)，很(hen)快(kuai)就(jiu)成(cheng)了(le)自然(ran)語(yu)言(yan)處(chu)理(li)和(he)計(ji)算(suan)機(ji)視(shi)覺(jiao)領(ling)域(yu)在(zai)有(you)監(jian)督(du)学习設(she)置(zhi)下(xia)的主(zhu)流(liu)神(shen)經(jing)架(jia)構(gou)。

雖(sui)然Transformer的熱(re)潮(chao)已(yi)经開(kai)始(shi)席(xi)卷(juan)强化学习领域，但(dan)由(you)於(yu)RL本(ben)身(shen)的特(te)性(xing)，例(li)如(ru)需(xu)要(yao)進(jin)行(xing)獨(du)特的特征(zheng)、架构设计等(deng)，當(dang)前(qian)Transformer与强化学习的结合並(bing)不(bu)順(shun)利(li)，其(qi)发展(zhan)路(lu)線(xian)也(ye)缺(que)乏(fa)相(xiang)關(guan)論(lun)文(wen)进行貫(guan)穿(chuan)性地(di)總(zong)结。

最(zui)近(jin)来自清華(hua)大(da)学、北京(jing)大学、騰(teng)訊(xun)的研(yan)究(jiu)人(ren)員(yuan)联手(shou)发表(biao)了一篇关于Transformer与强化学习结合的調(tiao)研论文，系(xi)統(tong)性地回(hui)顧(gu)了在强化学习中(zhong)使(shi)用(yong)Transformer的動(dong)机和发展歷(li)程(cheng)。

论文鏈(lian)接(jie)：https://arxiv.org/pdf/2301.03044.pdf

文章(zhang)中對(dui)現(xian)有的相关工(gong)作(zuo)成果(guo)进行分(fen)類(lei)，并对每(mei)個(ge)子(zi)领域进行深(shen)入(ru)討(tao)论，最后還(hai)总结了該(gai)研究方(fang)向(xiang)的未(wei)来前景(jing)。

Transformer配(pei)RL

强化学习（RL）為(wei)序(xu)列(lie)決(jue)策(ce)（sequential decision-making）提(ti)供(gong)了一个數(shu)学化的形(xing)式(shi)，可(ke)以(yi)讓(rang)模型自动獲(huo)得(de)智能(neng)行为。

RL为基(ji)于学习的控(kong)制(zhi)提供了一个通(tong)用框(kuang)架，隨(sui)著(zhe)深度(du)神经網(wang)絡(luo)的引(yin)入，深度强化学习（DRL）的通用性在近年(nian)来也取(qu)得了巨(ju)大的进展，但樣(yang)本效(xiao)率(lv)問(wen)題(ti)阻(zu)礙(ai)了DRL在现實(shi)世(shi)界(jie)中的廣(guang)泛(fan)應(ying)用。

为了解(jie)决這(zhe)个问题，一个有效的机制是(shi)在DRL框架中引入inductive bias，其中比(bi)較(jiao)重(zhong)要的是函(han)数近似(si)器(qi)架构的選(xuan)擇(ze)（the choice of function approximator architectures），例如DRL智能體(ti)的神经网络的參(can)数化。

然而(er)，与监督学习（SL）中的架构设计相比，在DRL中选择架构设计的问题仍(reng)然沒(mei)有得到(dao)充(chong)分的探(tan)讨，大多(duo)数现有的关于RL架构的工作是由（半(ban)）监督学习社(she)區(qu)的成功(gong)所(suo)激(ji)发的。

例如，处理DRL中基于圖(tu)像(xiang)的高(gao)維(wei)輸(shu)入的常(chang)見(jian)做(zuo)法(fa)是引入卷積(ji)神经网络（CNN）；处理部(bu)分可觀(guan)察(cha)性的另(ling)一種(zhong)常见做法是引入遞(di)歸(gui)神经网络（RNN）。

近年来，Transformer架构在广泛的SL任(ren)務(wu)中徹(che)底(di)改(gai)變(bian)了学习範(fan)式，并表现出比CNN和RNN更(geng)優(you)越(yue)的性能，比如Transformer架构能夠(gou)对较長(chang)的依(yi)賴(lai)关系进行建(jian)模，并具(ju)有出色(se)的可擴(kuo)展性。

受(shou)SL成功啟(qi)发，行業(ye)內(nei)对在强化学习中应用Transformer的興(xing)趣(qu)激增(zeng)，最早(zao)可以追(zhui)溯(su)到2018年的一篇论文，其中自註(zhu)意(yi)机制被(bei)用于结构化狀(zhuang)態(tai)表示(shi)的关系推(tui)理。

之(zhi)后，許(xu)多研究人员开始試(shi)图將(jiang)自注意力(li)应用于表示学习，以提取实体之間(jian)的关系，從(cong)而可以更好(hao)地进行策略(lve)学习。

除(chu)了状态表示学习外(wai)，先(xian)前的工作还用Transformer来捕(bu)捉(zhuo)多步(bu)驟(zhou)的時(shi)间依赖性，以处理部分可观察性问题。

最近，離(li)线RL由于其利用离线大規(gui)模数據(ju)集(ji)的能力而受到关注，相关研究结果也表明，Transformer架构可以直(zhi)接作为序列决策的模型，并可推广到多个任务和领域。

这篇调研论文的目(mu)的是介(jie)紹(shao)Transformers in Reinforcement Learning领域（TransformRL）。

盡(jin)管(guan)Transformer已经被認(ren)为是目前大多数SL研究的基礎(chu)模型，但它(ta)在RL社区的探索(suo)仍然较少(shao)。事(shi)实上(shang)，与SL领域相比，在RL中使用Transformer作为函数近似器需要解决一些(xie)不同(tong)的问题：

1. RL智能体的訓(xun)練(lian)数据通常是当前策略的函数，这在Transformer学习的過(guo)程中會(hui)引起(qi)不平(ping)穩(wen)性（non-stationarity）。

2. 现有的RL算法通常对训练过程中的设计选择高度敏(min)感(gan)，包(bao)括(kuo)网络架构和容(rong)量(liang)等。

3. 基于Transformer的架构经常受到高计算和内存(cun)成本的影(ying)響(xiang)，也就是說(shuo)训练和推理起来既(ji)慢(man)又(you)貴(gui)。

比如在一些遊(you)戲(xi)中的人工智能案(an)例中，样本生(sheng)成的效率在很大程度上影响了训练性能，取决于RL策略网络和價(jia)值(zhi)网络的计算成本。

TransformRL的未来

论文中簡(jian)要回顾了Transformers for RL的进展情(qing)況(kuang)，其优勢(shi)主要包括：

1. Transformers可以作为RL中的一个powerful模塊(kuai)，比如作为一个表示模块或(huo)世界模型；

2. Transformer可以作为一个序列决策器；

3. Transformer可以提升(sheng)跨(kua)任务和领域的泛化性能。

鑒(jian)于Transformer在更广泛的人工智能社区都(dou)表现出强大的性能，研究人员认为将Transformer和RL结合起来是一个有前途(tu)的研究方向，下面(mian)是一些关于该方向的未来前景和开放(fang)性问题。

结合强化学习和（自）监督学习

追溯TransformRL的发展，可以发现其训练方法同时涵(han)蓋(gai)了RL和（自）监督学习。

当作为一个在傳(chuan)统RL框架下训练的表示模块时，Transformer架构的优化通常是不稳定(ding)的。当使用Transformer通过序列建模来解决决策问题时，（自）监督学习范式可以消(xiao)除deadly triad problem。

在（自）监督学习的框架下，策略的性能深受离线数据質(zhi)量的約(yue)束(shu)，利用（exploitation）和探索（exploration）之间的明確(que)權(quan)衡(heng)不復(fu)存在，因(yin)此(ci)在Transformer学习中结合RL和（自）监督学习时，可能会学到更好的策略。

一些工作已经嘗(chang)试了监督預(yu)训练和RL参与的微(wei)调方案，但在相对固(gu)定的策略下，探索会受到限(xian)制，这也是有待(dai)解决的瓶(ping)頸(jing)问题之一。

另外，沿(yan)着这條(tiao)路线，用于性能評(ping)估(gu)的任务也相对简單(dan)，Transfomer是否(fou)可以将这种（自）监督学习扩展到更大的数据集、更复雜(za)的環(huan)境(jing)和现实世界的应用也值得进一步探索。

此外，研究人员希(xi)望(wang)未来的工作能够提供更多的理论和经驗(yan)见解，以确定在哪(na)些条件(jian)下这种（自）监督学习有望表现良(liang)好。

通过Transformer連(lian)接在线和离线学习

踏(ta)入离线RL是TransformRL的一个裏(li)程碑(bei)，但实際(ji)上，利用Transformer来捕捉决策序列中的依赖关系并抽(chou)象(xiang)出策略，主要是与所使用的相当多的离线数据的支(zhi)持(chi)分不开的。

然而，对于一些决策任务来说，在实际应用中擺(bai)脫(tuo)在线框架是不可行的。

一方面，在某(mou)些任务中获得專(zhuan)家(jia)数据并不那(na)麽(me)容易(yi)；另一方面，有些环境是开放式的（如Minecraft），这意味(wei)着策略必(bi)須(xu)不斷(duan)调整，以处理在线互(hu)动过程中未见的任务。

因此，研究人员认为把(ba)在线学习和离线学习连接在一起是必要的。

Decision Transformer之后的大多数研究进展都集中在离线学习框架上，一些工作试图采(cai)用离线预训练和在线微调的范式。然而，在线微调中的分布轉(zhuan)变仍然存在于离线RL算法中，研究人员期(qi)望通过对Decision Transformer进行一些特殊(shu)设计来解决这个问题。

此外，如何(he)从頭(tou)开始训练一个在线Decision Transformer是一个有趣的开放性问题。

为Decision-making问题量身定做的Transformer结构

目前Decision Transformer系列方法中的Transformer结构主要是vanilla Transformer，它最初(chu)是为文本序列设计的，可能具有一些不適(shi)合决策问题的性质。

例如，对軌(gui)跡(ji)序列采用vanilla的自注意力机制是否合适？决策序列中的不同元素(su)或同一元素的不同部分是否需要在位(wei)置embedding中加(jia)以区分？

此外，由于在不同的Decision Transformer算法中，将轨迹表示为序列的变体有很多，如何从中选择，仍缺乏系统的研究。

例如，在行业中部署(shu)此类算法时，如何选择稳健(jian)的hindsight信(xin)息(xi)？

并且(qie)vanilla Transformer也是一个计算成本巨大的结构，这使得它在训练和推理階(jie)段(duan)都很昂(ang)贵，而且内存占(zhan)用率很高，也限制了它捕获依赖关系的长度。

为了緩(huan)解这些问题，NLP中的一些工作改进了Transformer的结构，但类似的结构是否可以用于决策问题也值得探讨。

用Transformer实现更多的通用智能体

论文中对通用智能体（generalist agents）Transformers的回顾已经顯(xian)示了Transformers作为一种通用策略的潛(qian)力。

事实上，Transformer的设计允(yun)许使用类似处理blocks的方式来处理多种模态（如图像、视頻(pin)、文本和语音(yin)），并展示了对超(chao)大容量网络和巨大数据集的出色可扩展性。

最近的工作也在训练能够執(zhi)行多模态和跨领域任务的智能体上取得了重大进展。

不过，鉴于这些智能体是在大规模的数据集上进行训练的，目前还不能确定它們(men)是否只(zhi)是記(ji)住(zhu)了数据集，以及(ji)它们是否能进行有效的泛化。

因此，如何学习到一个能够在没有强假(jia)设（strong assumption）的情况下对未见过的任务进行泛化的智能体仍然是一个值得研究的问题。

此外，研究人员也很好奇(qi)，Transformer是否足(zu)够强大到可以用来学习一个可用于不同任务和場(chang)景的通用世界模型。

RL for Transformers

虽然文章中已经讨论了RL如何从Transformer模型中受益(yi)，但反(fan)过来说，用RL来提升Transformer训练仍然是一个有趣的开放性问题，还没有被很好地探索过。

可以看(kan)到，最近来自人类反饋(kui)的强化学习（RLHF）可以学习到一个獎(jiang)勵(li)模型，并使用RL算法对Transformer进行微调，以使语言模型与人类意图相一致(zhi)。

在未来，研究人员认为RL可以成为一个有用的工具，进一步完(wan)善(shan)Transformer在其他(ta)领域的表现。

参考(kao)資(zi)料(liao)：

https://arxiv.org/pdf/2301.03044.pdf返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：