【2022央视春晚】完整回放，惊喜不断！

lingshengduoduotuanduichupin！guanfangtuijian，jiachangbibei，baiwanerge，gushi，tongyao，donghuapian，tonghuachaojizhenshidedyouxifuben，jujiyongshitiaozhanboss！buyiyangdexinfangshirangchongdiankeyibiandegengjiajiandanyeanquanqilai;jingjingdixiangshoutianqi。zaizhelibujinkeyikandaotianqixinxi，haikeyixiangshoudaogengjiatiexinrenxinghuadefuwu。【zhinengchangjushuru】AI好(hao)奇(qi)心(xin)，不(bu)只(zhi)害(hai)死(si)貓(mao)！MIT強(qiang)化(hua)學(xue)習(xi)新(xin)算(suan)法(fa)，智(zhi)能(neng)體(ti)這(zhe)回(hui)「難(nan)易(yi)通(tong)吃(chi)」

新智元(yuan)報(bao)道(dao)

編(bian)輯(ji)：David

【新智元導(dao)讀(du)】MIT强化学习新算法，根(gen)據(ju)監(jian)督(du)稀(xi)疏(shu)程(cheng)度(du)自(zi)動(dong)調(tiao)整(zheng)AI智能体「好奇心」，高(gao)低(di)难度任(ren)務(wu)通吃。

人(ren)人都(dou)遇(yu)見(jian)過(guo)壹(yi)個(ge)古(gu)老(lao)的(de)难題(ti)。

周(zhou)五(wu)晚(wan)上(shang)，妳(ni)正(zheng)試(shi)圖(tu)挑(tiao)選(xuan)一家(jia)餐(can)廳(ting)吃飯(fan)，但(dan)沒(mei)有(you)預(yu)定(ding)。你應(ying)該(gai)去(qu)你最(zui)愛(ai)的那(na)家人滿(man)為(wei)患(huan)的餐厅排(pai)隊(dui)等(deng)位(wei)，還(hai)是(shi)嘗(chang)试一家新餐厅，希(xi)望(wang)能發(fa)現(xian)一些(xie)更(geng)好吃的驚(jing)喜(xi)？

後(hou)者(zhe)確(que)實(shi)有可(ke)能帶(dai)來(lai)惊喜，但这種(zhong)好奇心驅(qu)动的行(xing)为是有風(feng)險(xian)的：你去尝试的那家新餐厅的東(dong)西(xi)可能會(hui)更难吃。

好奇心作(zuo)为AI探(tan)索(suo)世(shi)界(jie)的驱动力(li)，实例(li)已(yi)經(jing)不勝(sheng)枚(mei)舉(ju)了(le)——自主(zhu)导航(hang)、機(ji)器(qi)人決(jue)策(ce)、優(you)化檢(jian)測(ce)結(jie)果(guo)等等。

在(zai)某(mou)些情(qing)況(kuang)下(xia)，机器使(shi)用(yong)「强化学习」来完(wan)成(cheng)一个目(mu)標(biao)，在这一过程中(zhong)，AI智能体從(cong)被(bei)獎(jiang)勵(li)的好行为和(he)被懲(cheng)罰(fa)的壞(huai)行为中反(fan)復(fu)学习。

就(jiu)像(xiang)人類(lei)在选擇(ze)餐厅時(shi)面(mian)臨(lin)的困(kun)境(jing)一樣(yang)，这些智能体也(ye)在努(nu)力平(ping)衡(heng)发现更好的行动（探索）的时間(jian)和采(cai)取(qu)过去导致(zhi)高回报的行动（利(li)用）的时间。

太(tai)强的好奇心会分(fen)散(san)智能体的註(zhu)意(yi)力，無(wu)法做(zuo)出(chu)有利的决定，而(er)好奇心太弱(ruo)，則(ze)意味(wei)著(zhe)智能体永(yong)遠(yuan)无法发现有利的决定。

为了追(zhui)求(qiu)使AI智能体具(ju)有「恰(qia)到(dao)好處(chu)」的好奇心，来自麻(ma)省(sheng)理(li)工(gong)学院(yuan)計(ji)算机科(ke)学與(yu)AI实驗(yan)室(shi)（CSAIL）的研(yan)究(jiu)人員(yuan)創(chuang)造(zao)了一种算法，克(ke)服(fu)了AI过於(yu)「好奇」和被手(shou)頭(tou)的任务分散注意力的問(wen)题。

他(ta)們(men)研究出的算法会在需(xu)要(yao)时自动增(zeng)加(jia)好奇心，如(ru)果智能体从環(huan)境中得(de)到足(zu)夠(gou)的监督，已经知(zhi)道该怎(zen)麽(me)做，则降(jiang)低好奇心。

論(lun)文(wen)鏈(lian)接(jie)：https://williamd4112.github.io/pubs/neurips22_eipo.pdf

经过60多(duo)个視(shi)頻(pin)遊(you)戲(xi)的测试，该算法能够在不同(tong)难度的探索任务中取得成功(gong)，而以(yi)前(qian)的算法只能單(dan)獨(du)解(jie)决簡(jian)单或(huo)困难难度。这意味着AI智能体可以使用更少(shao)的數(shu)据来学习决策規(gui)则，達(da)到激(ji)励最大(da)化。

「如果你很(hen)好地(di)掌(zhang)握(wo)了探索-開(kai)发之(zhi)间權(quan)衡，就能更快(kuai)地学习正确的决策规则，而任何(he)不足之处都需要大量(liang)的数据，这可能意味着產(chan)生(sheng)的结果是非(fei)最优的醫(yi)療(liao)方(fang)案(an)，網(wang)站(zhan)的利潤(run)下降，以及(ji)机器人没有学会做正确的事(shi)情。」

该研究带头人之一、麻省理工学院教(jiao)授(shou)兼(jian)Improbable AI实验室主任Pulkit Agrawal說(shuo)。

好奇心，不只害死猫！

我(wo)们似(si)乎(hu)很难从心理学角(jiao)度解釋(shi)好奇心的心理基(ji)礎(chu)，對(dui)于这种尋(xun)求挑戰(zhan)的行为的潛(qian)在神(shen)经学原(yuan)理，我们一直(zhi)没有深(shen)入(ru)理解。

有了强化学习，这个过程在情感(gan)上被「修(xiu)剪(jian)」了，將(jiang)这个问题剝(bo)離(li)至(zhi)最基本(ben)的層(ceng)面，但在技(ji)術(shu)实现上卻(que)相(xiang)當(dang)复雜(za)。

从本質(zhi)上講(jiang)，智能体只应该在没有足够的监督来尝试不同的事情时才(cai)会有好奇心，如果有监督，它(ta)必(bi)須(xu)调整好奇心，降低好奇心。

在测试游戏任务中，很大一部(bu)分是小(xiao)智能体在环境中跑(pao)来跑去寻找(zhao)奖励，並(bing)執(zhi)行一長(chang)串(chuan)的行动来实现一些目标，这似乎是研究人员算法的邏(luo)辑测试平臺(tai)。

在《馬(ma)裏(li)奧(ao)賽(sai)車(che)》和《蒙(meng)特(te)祖(zu)瑪(ma)的复仇(chou)》等游戏实验中，研究人员将上述(shu)游戏分为兩(liang)个不同类別(bie)：

一种监督稀疏的环境，智能体獲(huo)得的指(zhi)导較(jiao)少，也就是「困难」的探索游戏；另(ling)一种是监督更密(mi)集(ji)的环境，即(ji)「简单」的探索游戏。

假(jia)設(she)在《马里奥赛车》中，只刪(shan)除(chu)所(suo)有的奖励，你不知道什(shen)么时候(hou)敵(di)人殺(sha)了你。当你收(shou)集一个硬(ying)幣(bi)或跳(tiao)过管(guan)道时，不会得到任何奖励。智能体只有在最后才被告(gao)知其(qi)表(biao)现如何。这就屬(shu)于稀疏监督环境，也就是困难任务。在这种任务中，激励好奇心的算法表现非常(chang)好。

而如果智能体处于密集监督环境，也就是说，跳过管道、收集硬币和杀死敌人都有奖励，那么，表现最好的就是完全(quan)没有好奇心的算法，因(yin)为经常得到奖励，只要照(zhao)着走(zou)流(liu)程就行了，不需要額(e)外(wai)探索就能收获頗(po)豐(feng)。

这里如果使用激励好奇心的算法，学习速(su)度会很慢(man)。

因为好奇心强的智能体，可能会试图以不同的方式(shi)快速奔(ben)跑，到处亂(luan)逛(guang)，走遍(bian)游戏的每(mei)一个角落(luo)。这些事情都很有趣(qu)，但并不能幫(bang)助(zhu)智能体在游戏中取得成功，获得奖励。

如前文所言(yan)，在强化学习中，一般(ban)用激励好奇心和抑(yi)制(zhi)好奇心的算法，来分别对应监督稀疏（困难）和监督密集（简单）任务，不能混(hun)用。

这一次(ci)，MIT團(tuan)队的新算法始(shi)終(zhong)表现良(liang)好，无论是在什么环境中。

未(wei)来的工作可能涉(she)及回到多年(nian)来令(ling)心理学家高興(xing)和困擾(rao)的探索：好奇心的適(shi)当衡量标準(zhun)--没有人真(zhen)正知道从数学上定義(yi)好奇心的正确方法。

MIT CSAIL博(bo)士(shi)生Zhang Weihong说：

通过改(gai)進(jin)探索算法，为你感兴趣的问题调整算法。我们需要好奇心来解决極(ji)具挑战性(xing)的问题，但在某些问题上，好奇心会降低性能。我们的算法消(xiao)除了调整「探索和利用」的平衡負(fu)擔(dan)问题。

以前要花(hua)一个星(xing)期(qi)来解决的问题，新算法可以在幾(ji)个小时內(nei)就得到满意的结果。

他与麻省理工学院CSAIL工程碩(shuo)士、22歲(sui)的Eric Chen是關(guan)于这項(xiang)工作的新论文的共(gong)同作者。

卡(ka)内基梅(mei)隆(long)大学的教師(shi)Deepak Pathak说：

「像好奇心这样的内在奖励机制，是引(yin)导智能体发现有用的多样化行为的基础，但这不应该以在給(gei)定的任务中做得好为代(dai)價(jia)。这是AI中的一个重(zhong)要问题，这篇(pian)论文提(ti)供(gong)了一种平衡这种权衡的方法。看(kan)看这种方法如何从游戏擴(kuo)展(zhan)到现实世界的机器人智能体上，将是很有趣的一件(jian)事。」

加州(zhou)大学伯(bo)克利分校(xiao)心理学特聘(pin)教授和哲(zhe)学副(fu)教授Alison Gopnik指出，当前AI和認(ren)知科学的最大挑战之一，就是如何平衡「探索和利用」，前者是对信(xin)息(xi)的搜(sou)索，后者是对奖励的搜索。

「这篇论文使用了令人印(yin)象(xiang)深刻(ke)的新技术来自动完成这一工作，设计了一个能够系(xi)統(tong)地平衡对世界的好奇心和对奖励的渴(ke)望的智能体，讓(rang)AI智能体朝(chao)着像真正的兒(er)童(tong)一样聰(cong)明(ming)的方向(xiang)，邁(mai)出了重要一步(bu)。」他说。

參(can)考(kao)資(zi)料(liao)：

https://techxplore.com/news/2022-11-bad-ai-curious.html

https://www.csail.mit.edu/news/ensuring-ai-works-right-dose-curiosity返(fan)回搜狐(hu)，查(zha)看更多

責(ze)任编辑：