【独家揭秘】云闪付广告代言人身份！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>斯(si)坦(tan)福(fu)AI智(zhi)能(neng)體(ti)爆(bao)火(huo)研(yan)究(jiu)！「好(hao)奇(qi)回(hui)放(fang)」算(suan)法(fa)讓(rang)AI自(zi)我(wo)反(fan)思(si)，主(zhu)動(dong)探(tan)索(suo)新(xin)奇世(shi)界(jie)

新智元(yuan)報(bao)道(dao)

編(bian)輯(ji)：桃(tao)子(zi) 好困(kun)

【新智元導(dao)讀(du)】斯坦福為(wei)AI智能体設(she)計(ji)了(le)壹(yi)種(zhong)「好奇回放」算法，让智能体在(zai)不(bu)斷(duan)變(bian)化(hua)環(huan)境(jing)中(zhong)探索新奇世界。

一夜(ye)之(zhi)間(jian)，AI智能体突(tu)然(ran)霸(ba)屏(ping)全(quan)網(wang)。

業(ye)界大(da)佬(lao)紛(fen)纷將(jiang)關(guan)註(zhu)重(zhong)點(dian)從(cong)LLM轉(zhuan)向(xiang)了AI智能体，OpenAI的(de)首(shou)席(xi)科(ke)學(xue)家(jia)Karpathy認(ren)为AI智能体是(shi)未(wei)來(lai)。

就(jiu)連(lian)英(ying)偉(wei)達(da)老(lao)黃(huang)表(biao)示(shi)，下(xia)一波(bo)人(ren)工(gong)智能浪(lang)潮(chao)是具(ju)身(shen)人工智能，簡(jian)之「AI智能体」。

這(zhe)不，近(jin)来斯坦福的最(zui)新研究，直(zhi)接(jie)让AI智能体和(he)一只(zhi)小(xiao)鼠(shu)来一場(chang)面(mian)對(dui)面的競(jing)爭(zheng)，以(yi)確(que)定(ding)誰(shui)能獲(huo)勝(sheng)。

最新研究結(jie)果(guo)已(yi)發(fa)表在arXiv上(shang)，並(bing)被(bei)ICML 2023接收(shou)。

論(lun)文(wen)地(di)址(zhi)：https://arxiv.org/pdf/2306.15934.pdf

智能体大戰(zhan)小鼠

斯坦福研究人員(yuan)Isaac Kauvar设计了一個(ge)简單(dan)任(ren)務(wu)，「探索和適(shi)應(ying)周(zhou)圍(wei)环境」。

Kauvar将一只小鼠放在狹(xia)小的空(kong)盒(he)子裏(li)，類(lei)似(si)地，将AI智能体放在一个3D虛(xu)擬(ni)竞技(ji)场中。

然後(hou)，他(ta)在兩(liang)个环境中都(dou)放了一个紅(hong)色(se)的球(qiu)。接下来，測(ce)試(shi)谁會(hui)更(geng)快(kuai)地探索这个新物(wu)体。

结果顯(xian)示，小鼠迅(xun)速(su)靠(kao)近球，并在接下来的幾(ji)分(fen)鐘(zhong)里不断與(yu)之互(hu)动。但(dan)是AI智能体似乎(hu)沒(mei)有(you)注意(yi)到(dao)它(ta)。

第(di)一回合(he)，小鼠胜，智能体失(shi)敗(bai)。

Kauvar表示，这完(wan)全出(chu)乎意料(liao)的，我們(men)意識(shi)到，即(ji)使(shi)使用(yong)最先(xian)進(jin)的算法，性(xing)能仍(reng)然存(cun)在差(cha)距(ju)。

因(yin)此(ci)，学者(zhe)们思考(kao)著(zhe)：他们是否(fou)可(ke)以利(li)用这些(xie)看(kan)似简单的动物行(xing)为作(zuo)为啟(qi)示，改(gai)进AI系(xi)統(tong)呢(ne)？

沿(yan)着这个思路(lu)的启发，研究人员设计一种名(ming)为「好奇回放」（curious replay）的全新訓(xun)練(lian)方(fang)法。

該(gai)方法使AI智能体能夠(gou)「自我反思」最近遇(yu)到的最新奇，以及(ji)最有趣(qu)的事(shi)物。

添(tian)加(jia)了「好奇回放」之后，AI智能体就能够更快地接近，并与红球进行互动。此外(wai)，它還(hai)極(ji)大地改善(shan)了基(ji)於(yu)Minecraft的遊(you)戲(xi)「Crafter」的性能。

通(tong)過(guo)好奇心(xin)学習(xi)

要(yao)知(zhi)道，真(zhen)正(zheng)的超(chao)級(ji)AI智能体，是能够像(xiang)人类一樣(yang)进行感(gan)知、交(jiao)互、理(li)解(jie)的AI。

而(er)好奇心，对于人类认知世界，探索周遭(zao)环境至(zhi)关重要，不论是避(bi)免(mian)危(wei)險(xian)情(qing)況(kuang)，还是尋(xun)找(zhao)生(sheng)存必(bi)需(xu)品(pin)都必不可少(shao)。

在實(shi)驗(yan)中，红球可能是致(zhi)命(ming)的毒(du)藥(yao)，亦(yi)或(huo)是一頓(dun)滋(zi)養(yang)的餐(can)食(shi)，如(ru)果我们忽(hu)視(shi)它，将很(hen)難(nan)找出真相(xiang)。

这就是为什(shen)麽(me)斯坦福研究人员，在驅(qu)动AI智能体的行为中增(zeng)加了「好奇信(xin)號(hao)」，特(te)別(bie)是基于模(mo)型(xing)的深(shen)度(du)強(qiang)化学习智能体。

这个信号告(gao)訴(su)它们，去(qu)選(xuan)擇(ze)能够导致更有趣结果的行动，比(bi)如，看到門(men)要打(da)開(kai)门，而不是忽略(lve)它。

好奇回放通过使用好奇心引(yin)导的優(you)先级来促(cu)进模型在最不熟(shu)悉(xi)的經(jing)验的训练，从而关閉(bi)了经验回放和世界模型性能之间的循(xun)环

这一次(ci)，團(tuan)隊(dui)以一种全新方式(shi)，利用好奇心来幫(bang)助(zhu)AI智能体了解其(qi)世界，而不僅(jin)仅是做(zuo)出決(jue)策(ce)。

Kauvar說(shuo)：「我们不是选择要做什么，而是选择要思考什么，或多(duo)或少地选择我们想(xiang)要从过去的经歷(li)中学到什么」。

換(huan)句(ju)話(hua)说，他们希(xi)望(wang)鼓(gu)勵(li)AI智能体进行「自我反思」。从某(mou)种意義(yi)上说，关于它最有趣或最奇特的（与好奇心相关的）经历。

这样，智能体就可以被促使以不同(tong)的方式与物体互动以获得(de)更多的学习，这将指(zhi)导它对环境的理解，并可能激(ji)发对其他物品的好奇心。

为了以这种方式实現(xian)自我反思，研究人员修(xiu)改了一种常(chang)用的用于训练AI智能体的方法，稱(cheng)为「经验回放」。

在这种方法中，智能体存儲(chu)其所(suo)有互动的記(ji)憶(yi)，然后隨(sui)機(ji)重放其中的一些以再(zai)次学习。

「经验回放」受(shou)到了有关睡(shui)眠(mian)的研究的启发：神(shen)经科学家发现，一个被称为海(hai)馬(ma)体的大腦(nao)區(qu)域(yu)会「重播(bo)」一天(tian)的事件(jian)（通过重新激活(huo)特定的神经元）以加强记忆。

在AI智能体中，「经验回放」在环境变化不大，且(qie)正确行为获得明(ming)确獎(jiang)励的场景(jing)中，能够取(qu)得高(gao)性能。

但是，研究人员推(tui)断，在一个不断变化的环境中，AI智能体更有意义的是优先回放那(na)些最有趣的经历，比如红球的出现，而不是一遍(bian)又(you)一遍地回放空蕩(dang)的虚拟房(fang)间。

他们将这种新方法称为好奇回放，并发现它立(li)即生效(xiao)。Kauvar说：「突然之间，智能体与球的互动速度明显增加。」

对于算法的设计，优先级信号是新奇和驚(jing)喜(xi)的疊(die)加組(zu)合：

好奇回放是对现有智能体的简单修改。这些智能体使用经验重播，计算开銷(xiao)最小，利用了经验采(cai)样次數(shu)的计数，以及为每(mei)个训练批(pi)次计算的模型損(sun)失。

这种优先级在需要适应的不断变化的环境中特别有用。好奇回放有助于随着环境的变化，保(bao)持(chi)世界模型的最新狀(zhuang)態(tai)，这是有效行动选择的先决條(tiao)件。

另(ling)外，研究人员发现，一个領(ling)先的好奇心强的人工智能智能体Plan2Explore，在需要适应的情况下，行为明显变差（例(li)如与对象(xiang)互动的時(shi)间变慢(man)）。

究其原(yuan)因，部(bu)分是世界模型的训练，使用「经验回放」緩(huan)沖(chong)区的统一抽(chou)样：因此舊(jiu)的、無(wu)聊(liao)的经验和較(jiao)罕(han)見(jian)的新的、有趣的经验一样有可能被训练到。

如果转而优先考慮(lv)对「有趣的经历」进行抽样調(tiao)查(zha)结果如何(he)？AI智能体使用好奇心信号（如新奇感和惊喜）来衡(heng)量(liang)过去经历的趣味(wei)性。

结果发现，这个简单的变化极大地改善了适应性，世界模型的性能得到了改善，与物体的互动也(ye)大大增加。

它也比现有的优先考虑「经验回放」的方法（如使用奖励相关的信号，如TD錯(cuo)誤(wu)）表现得更好。

但他们并未止(zhi)步(bu)于此。

研究人员还将好奇回放添加到了玩(wan)一个名为Crafter的游戏的AI智能体中，这是一种用于测试AI智能体創(chuang)造(zao)性問(wen)題(ti)解决能力(li)的標(biao)準(zhun)测试，类似于Minecraft。

智能体需要通过学习如何收集(ji)木(mu)材(cai)和石(shi)頭(tou)、制(zhi)作鎬(hao)子以及收集鐵(tie)礦(kuang)石来求(qiu)生和适应。

好奇回放方法将當(dang)前(qian)的最先进得分从大約(yue)14提(ti)高到19（人类通常得分约为50）——仅仅通过「这一个改变」，Kauvar说道。

好奇回放在Crafter基准上取得SOTA，超过了DreamerV3，足(zu)见其在挑(tiao)战技能方面能力的大幅(fu)提升(sheng)。

一个好奇的未来

好奇回放方法在简单和復(fu)雜(za)任务中的成(cheng)功(gong)表明，它对于未来廣(guang)泛(fan)的人工智能研究将非(fei)常重要。

论文作者Haber说道，「这項(xiang)工作的總(zong)体目(mu)标是使智能体能够利用先前的经验，在探索新的或变化的环境中高效适应，这将导致更加适应性强、靈(ling)活性更高的技術(shu)，从家庭(ting)机器(qi)人到个性化学习工具」。

Kauvar的博(bo)士(shi)后工作由(you)Haber和神经科学家Karl Deisseroth（生物工程(cheng)和精(jing)神病(bing)学系D.H. Chen教(jiao)授(shou)）共(gong)同指导，他对从动物行为中汲(ji)取灵感以改进人工智能系统的主题感到興(xing)奮(fen)——他计劃(hua)繼(ji)續(xu)在更复杂的任务上测试小鼠和AI智能体，以比较它们的行为和能力。

「很多人只是嘴(zui)上说说受到动物的启发，但我们正在建(jian)立一个直接的橋(qiao)梁(liang)——而不是模糊(hu)的桥梁。我们试圖(tu)做完全相同的事情」。

Kauvar希望这样的工作能够帮助「闭环」AI研究和神经科学之间的聯(lian)系，并有助于我们对动物行为和底(di)層(ceng)神经过程的理解。

他表示，「妳(ni)可以想象，这整(zheng)个方法可能会產(chan)生以前从未想到的假(jia)设和新实验」。

作者介(jie)紹(shao)

Isaac Kauvar

Isaac Kauvar是斯坦福大学的LSRF博士后研究员，与Nick Haber一起(qi)在斯坦福自主智能体实验室(shi)工作，研究人工智能、神经科学和心理学的交叉(cha)领域。

他对大脑多个区域的細(xi)胞(bao)网絡(luo)如何協(xie)同工作来模拟世界感兴趣。

Kauvar曾(zeng)在斯坦福获得了電(dian)氣(qi)工程博士学位(wei)。在那里，我开发了记錄(lu)整个皮(pi)层神经活动的光(guang)学工具，并发现了一种神经振(zhen)荡——奇怪(guai)地局(ju)限(xian)于一个皮层区域——这似乎是氯(lv)胺(an)酮(tong)等(deng)药物解離(li)作用的基礎(chu)。

參(can)考資(zi)料：

https://hai.stanford.edu/news/ai-agents-self-reflect-perform-better-changing-environments

https://arxiv.org/abs/2306.15934返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：