口腔广告创意宣传

zhelijujilehenduogaogongzidexingye，geidajiadeshenghuodailailehenduobangzhu。guanyuxuanzexingbiezhengheyonghugengduodeyuehuitiaojianhexinxi，weinintuijianzuipipeideyixing，fangbianninzaixianliaotianhudong，zengjinbiciganqingshupingqushiyigeshuyouhudongshequ，duzhezaizhelifabiaopinglunganshouhetaolunneirongjiaofeifuwu：zhichibaoxianjiaofeicaozuo，rangninjinxinglianghaodejiaofeifuwu英(ying)偉(wei)達(da)AI智(zhi)能(neng)體(ti)接(jie)入(ru)GPT-4，完(wan)勝(sheng)AutoGPT！自(zi)主(zhu)寫(xie)代(dai)碼(ma)獨(du)霸(ba)我(wo)的(de)世(shi)界(jie)，無(wu)需(xu)人(ren)類(lei)插(cha)手(shou)

新(xin)智元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Aeneas 好(hao)困(kun)

【新智元導(dao)讀(du)】給(gei)遊(you)戲(xi)行(xing)業(ye)來(lai)點(dian)GPT-4式(shi)震(zhen)撼(han)？這(zhe)個(ge)叫(jiao)Voyager的智能体不(bu)僅(jin)可(ke)以(yi)根(gen)據(ju)游戏的反(fan)饋(kui)自主訓(xun)練(lian)，而(er)且(qie)還(hai)能自行写代码推(tui)動(dong)游戏任(ren)務(wu)。

繼(ji)斯(si)坦(tan)福(fu)的25人小(xiao)鎮(zhen)後(hou)，AI智能体又(you)出(chu)爆(bao)款(kuan)新作(zuo)了(le)。

最(zui)近(jin)，英伟达首(shou)席(xi)科(ke)學(xue)家(jia)Jim Fan等(deng)人把(ba)GPT-4整(zheng)進(jin)了「我的世界」（Minecraft）——提(ti)出了壹(yi)个全(quan)新的AI智能体Voyager。

Voyager的厲(li)害(hai)之(zhi)處(chu)在(zai)於(yu)，它(ta)不仅性(xing)能完胜AutoGPT，而且还可以在游戏中(zhong)进行全場(chang)景(jing)的終(zhong)身(shen)学習(xi)！

比(bi)起(qi)之前(qian)的SOTA，Voyager獲(huo)得(de)的物(wu)品(pin)多(duo)出了3.3倍(bei)，旅(lv)行距(ju)離(li)變(bian)長(chang)了2.3倍，解(jie)鎖(suo)關(guan)鍵(jian)技(ji)能樹(shu)的速(su)度(du)快(kuai)了15.3倍。

對(dui)此(ci)，網(wang)友(you)直(zhi)接震驚(jing)了：我們(men)离通(tong)用(yong)人工(gong)智能AGI，又近了一步(bu)。

所(suo)以，未(wei)来的游戏，就(jiu)是(shi)由(you)大(da)模(mo)型(xing)帶(dai)动NPC来玩(wan)的吧(ba)？

真(zhen)·數(shu)字(zi)生(sheng)命(ming)

接入GPT-4之后，Voyager根本(ben)不用人类操(cao)心(xin)，完全就是自学成(cheng)才(cai)。

它不仅掌(zhang)握(wo)了挖(wa)掘(jue)、建(jian)房(fang)屋(wu)、收(shou)集(ji)、打(da)獵(lie)这些(xie)基(ji)本的生存(cun)技能，还学會(hui)了自个进行開(kai)放(fang)式探(tan)索(suo)。

它会自己(ji)去(qu)到(dao)不同(tong)的城(cheng)市(shi)，路(lu)過(guo)一片(pian)片海(hai)洋(yang)，一座(zuo)座金(jin)字塔(ta)，甚(shen)至(zhi)还会自己搭(da)建傳(chuan)送(song)門(men)。

通过自我驅(qu)动，它不斷(duan)探索著(zhe)这个神(shen)奇(qi)的世界，擴(kuo)充(chong)着自己的物品和(he)裝(zhuang)備(bei)，配(pei)备不同等級(ji)的盔(kui)甲(jia)，用盾(dun)牌(pai)格(ge)擋(dang)上(shang)海，用柵(zha)欄(lan)圈(quan)養(yang)动物……

論(lun)文(wen)地(di)址(zhi)：https://arxiv.org/abs/2305.16291

項(xiang)目(mu)地址：https://voyager.minedojo.org/

Voyager的英勇(yong)事(shi)跡(ji)包(bao)括(kuo)但(dan)不限(xian)于——

大戰(zhan)末(mo)影(ying)人

造(zao)基地

挖紫(zi)水(shui)晶(jing)

挖金子(zi)

收集仙(xian)人掌

打猎

釣(diao)魚(yu)

数字生命的潛(qian)能究(jiu)竟(jing)有(you)多大？我们只(zhi)知(zhi)道，現(xian)在Voyager仍(reng)然(ran)在Minecraft中一刻(ke)不停(ting)地探索，不断扩展(zhan)着自己的疆(jiang)域(yu)。

「训练」无需梯(ti)度下(xia)降(jiang)

此前，AI領(ling)域的一大挑(tiao)战就是，構(gou)建具(ju)有通用能力(li)的具身智能体，讓(rang)它们在开放世界中自主探索，自行發(fa)展新技能。

以往(wang)，学界都(dou)是采(cai)用強(qiang)化(hua)学习和模仿(fang)学习，但这些方(fang)法(fa)在系(xi)統(tong)化的探索、可解釋(shi)性和泛(fan)化性等方面(mian)，表(biao)现往往差(cha)强人意(yi)。

大語(yu)言(yan)模型的出现，给构建具身智能体带来了全新的可能性。因(yin)為(wei)基于LLM的智能体可以利(li)用預(yu)训练模型中蘊(yun)含(han)的世界知識(shi)，生成一致(zhi)的行动計(ji)劃(hua)或(huo)可執(zhi)行策(ce)略(lve)，这就非(fei)常(chang)適(shi)合(he)應(ying)用于游戏和機(ji)器(qi)人之类的任务。

此前，斯坦福研(yan)究者(zhe)构建出生活(huo)着25个AI智能体的虛(xu)擬(ni)小镇，震惊了AI社(she)區(qu)

这種(zhong)智能体还有一个好处就是，不需要(yao)具体化的自然语言处理(li)任务。

然而，这些智能体仍然无法擺(bai)脫(tuo)这樣(yang)的缺(que)陷(xian)——无法终身学习，因而不能在較(jiao)长時(shi)間(jian)跨(kua)度上逐(zhu)步获取(qu)知识，並(bing)且將(jiang)它们積(ji)累(lei)下来。

而这项工作最重(zhong)要的意義(yi)就在于，GPT-4开啟(qi)了一种新的範(fan)式：这个过程(cheng)中是靠(kao)代码执行「训练」，而非靠梯度下降。

Jim Fan解释道：我们在BabyAGI/AutoGPT之前就有了这个想(xiang)法，花(hua)了很(hen)多时间找(zhao)出最好的无梯度架(jia)构

「训练模型」是Voyager叠(die)代式构建的技能代码庫(ku)，而非浮(fu)点数矩(ju)陣(zhen)。通过这种方法，團(tuan)隊(dui)正(zheng)在将无梯度架构推向(xiang)極(ji)限。

在这种情(qing)況(kuang)下训练出的智能体，已(yi)經(jing)具备了同人类一样的终身学习能力。

比如(ru)，Voyager如果(guo)发现自己处在沙(sha)漠(mo)而非森(sen)林(lin)中，就会知道学会收集沙子和仙人掌就比学会收集鐵(tie)礦(kuang)更(geng)重要。

而且，它不仅能根据目前的技能水平(ping)和世界狀(zhuang)態(tai)明(ming)確(que)自己最合适的任务，还能根据反馈不断完善(shan)技能，保(bao)存在記(ji)憶(yi)中，留(liu)在下次(ci)調(tiao)用。

所以，我们离矽(gui)基生命出现还有多遠(yuan)？

剛(gang)刚回(hui)到OpenAI的Karpathy对这个工作表示(shi)盛(sheng)贊(zan)：这是个用于高(gao)级技能的「无梯度架构」。在这裏(li)，LLM就相(xiang)當(dang)于是前額(e)葉(ye)皮(pi)層(ceng)，通过代码生成了较低(di)级的mineflayer API。

Karpathy回忆起，在2016年(nian)左(zuo)右(you)，智能体在Minecraft環(huan)境(jing)中的表现还很让人絕(jue)望(wang)。当时的RL只能從(cong)超(chao)稀(xi)疏(shu)的獎(jiang)勵(li)中隨(sui)机地探索执行长期(qi)任务的方式，让人感(gan)覺(jiao)非常stuck。

而现在，这个障(zhang)礙(ai)已经在很大程度上被(bei)解除(chu)了——正确的做(zuo)法是另(ling)辟(pi)蹊(qi)徑(jing)，首先(xian)训练LLM从互(hu)聯(lian)网文本上学习世界知识、推理和工具使(shi)用（尤(you)其(qi)是编写代码），然后直接把問(wen)題(ti)拋(pao)给它们。

最后他(ta)感慨(kai)道：如果我在2016年就读到这种对智能体的「无梯度」方法，我肯(ken)定(ding)会大吃(chi)一惊。

微(wei)博(bo)大V「寶(bao)玉(yu)xp」也(ye)对这个工作给予(yu)了高度評(ping)價(jia)——

真的是了不起的嘗(chang)試(shi)，整个代码都是开源(yuan)的，这种自动生成任务->自动写代码执行任务->保存一个代码库可以重用的思(si)路，应該(gai)是可以很容(rong)易(yi)应用到其他领域。

Voyager

與(yu)其他AI研究中常用的游戏不同，Minecraft并沒(mei)有强加(jia)预定义的终点目標(biao)或固(gu)定的劇(ju)情線(xian)，而是提供(gong)了一个具有无盡(jin)可能性的游樂(le)场。

对于一个有效(xiao)的终身学习智能体来說(shuo)，它应该具有与人类玩家类似(si)的能力：

1. 根据其当前的技能水平和世界状态提出适当的任务，例(li)如，如果它发现自己是在沙漠而不是森林中，就会在学习收集铁之前学习收集沙子和仙人掌

2. 基于环境反馈来完善技能，并将掌握的技能记入记忆，以便(bian)在类似情况下重復(fu)使用（例如，与僵(jiang)屍(shi)战鬥(dou)与与蜘(zhi)蛛(zhu)战斗类似）

3. 持(chi)續(xu)探索世界，以自我驱动的方式尋(xun)找新的任务。

为了让Voyager具有上述(shu)这些能力，来自英伟达、加州(zhou)理工学院(yuan)、得克(ke)薩(sa)斯大学奧(ao)斯汀(ting)分(fen)校(xiao)和亞(ya)利桑(sang)那(na)州立(li)大学的团队提出了3个关键組(zu)件(jian)：

1. 一个迭代提示机制(zhi)，能結(jie)合游戏反馈、执行錯(cuo)誤(wu)和自我驗(yan)證(zheng)来改(gai)进程序(xu)

2. 一个技能代码库，用来存儲(chu)和檢(jian)索复雜(za)行为

3. 一个自动教(jiao)程，可以最大化智能体的探索

首先，Voyager会尝试使用一个流(liu)行的Minecraft Java API（Mineflayer）来编写一个實(shi)现特(te)定目标的程序。

雖(sui)然程序在第(di)一次尝试时就出错了，但是游戏环境反馈和Java执行错误（如果有的話(hua)）会幫(bang)助(zhu)GPT-4改进程序。

左：环境反馈。GPT-4意识到在制作木(mu)棒(bang)之前还需要2塊(kuai)木板(ban)。

右： 执行错误。GPT-4意识到它应该制作一把木斧(fu)，而不是一把「相思木」斧，因为Minecraft中并没有「相思木」斧。

通过提供智能体当前的状态和任务，GPT-4会告(gao)訴(su)程序是否(fou)完成了任务。

此外(wai)，如果任务失(shi)敗(bai)了，GPT-4还会提出批(pi)评，建議(yi)如何(he)完成任务。

自我验证

其次，Voyager通过在向量(liang)数据库中存储成功(gong)的程序，逐步建立一个技能库。每(mei)个程序可以通过其文檔(dang)字符(fu)串(chuan)的嵌(qian)入来检索。

复杂的技能是通过组合簡(jian)單(dan)的技能来合成的，这会使Voyager的能力随着时间的推移(yi)迅(xun)速增(zeng)长，并緩(huan)解災(zai)難(nan)性遺(yi)忘(wang)。

上：添(tian)加技能。每个技能都由其描(miao)述的嵌入索引(yin)，可以在将来的类似情况中检索。

下：检索技能。当面对自动課(ke)程提出的新任务时，会进行查(zha)詢(xun)并识別(bie)前5个相关技能。

第三(san)，自动课程会根据智能体当前的技能水平和世界状态，提出合适的探索任务。

例如，如果它发现自己在沙漠而非森林中，就学习采集沙子和仙人掌，而不是铁。

具体来说，课程是由GPT-4基于「发现尽可能多样化的東(dong)西(xi)」这个目标生成的。

自动课程

实验

接下来，让我们看(kan)一些实验！

团队将Voyager与其他基于LLM的智能体技術(shu)进行了系统性的比较，比如ReAct、Reflexion，以及(ji)在Minecraft中廣(guang)受(shou)歡(huan)迎(ying)的AutoGPT。

在160次提示迭代中，Voyager发现了63个独特的物品，比之前的SOTA多出3.3倍。

寻求(qiu)新奇的自动课程自然会驱使Voyager进行广泛的旅行。即(ji)使没有明确的指(zhi)示，Voyager也会遍(bian)歷(li)更长的距离（2.3倍），訪(fang)问更多的地形(xing)。

相比之下，之前的方法就顯(xian)得非常「懶(lan)散(san)」了，经常会在一小片区域里兜(dou)圈子。

地圖(tu)探索率(lv)

那麽(me)，经过终身学习后的「训练模型」——技能库，表现如何呢(ne)？

团队清(qing)空(kong)了物品/護(hu)甲，生成了一个新的世界，并用从未見(jian)过的任务对智能体进行了測(ce)试。

可以看到，Voyager解決(jue)任务的速度明显比其他方法更快。

值(zhi)得註(zhu)意的是，从终身学习中构建的技能库不仅提高了Voyager的性能，也提升(sheng)了AutoGPT的性能。

这表明，技能库作为一种通用工具，可以有效地作为一个即插即用的方法来提高性能。

零(ling)样本泛化

上图中的数字是三次试验中提示迭代的平均(jun)值。迭代次数越(yue)少(shao)，方法越有效。可以看到，Voyager解决了所有的任务，而AutoGPT经过50次提示迭代都无法解决。

此外，与其他方法相比，Voyager在解锁木工具上快了15.3倍，石(shi)工具快8.5倍，铁工具快6.4倍。而且擁(yong)有技能库的Voyager是唯(wei)一解锁鉆(zuan)石工具的。

技能树掌握情况（木工具 → 石工具 → 铁工具 → 钻石工具）

目前，Voyager只支(zhi)持文本，但在未来可以通过視(shi)觉感知进行增强。

在团队进行的一个初(chu)步研究中，人类可以像(xiang)一个图像标注模型一样，向智能体提供反馈。

从而让Voyager能夠(gou)构建复杂的3D结构，比如地獄(yu)门和房子。

结果表明，Voyager的性能優(you)于所有替(ti)代方案(an)。此外，GPT-4在代码生成方面也明显优于GPT-3.5。

消(xiao)融(rong)实验

结论

Voyager是第一个由LLM驱动、可以终身学习的具身智能体。它可以利用GPT-4不停地探索世界，开发越来越复杂的技能，并始(shi)终能在没有人工幹(gan)预的情况下进行新的发现。

在发现新物品、解锁Minecraft技术树、穿(chuan)越多样化地形，以及将其学习到的技能库应用于新生成世界中的未知任务方面，Voyager表现出了优越的性能。

对于通用智能体的开发来说，无需调整模型參(can)数的Voyager是可以作为一个起点的。

参考(kao)資(zi)料(liao)：

https://voyager.minedojo.org/返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：