解锁2017年最爽口饮料电视广告 (Unlock the most refreshing beverage TV commercials of 2017)

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>破(po)解(jie)大(da)模(mo)型(xing)「湧(yong)現(xian)」之(zhi)謎(mi)：新(xin)奇(qi)性(xing)搜(sou)索(suo)是(shi)AI騰(teng)飛(fei)的(de)踏(ta)腳(jiao)石(shi)

新智(zhi)元(yuan)報(bao)道(dao)

作(zuo)者(zhe)：肯(ken)尼(ni)斯(si)·斯坦(tan)利(li)

【新智元導(dao)讀(du)】OpenAI科(ke)學(xue)家(jia)Kenneth Stanley和(he)Joel Lehman的暢(chang)銷(xiao)新書(shu)《為(wei)什(shen)麽(me)偉(wei)大不(bu)能(neng)被(bei)計(ji)劃(hua)》中(zhong)，提(ti)出(chu)了(le)壹(yi)種(zhong)「新奇性搜索算(suan)法(fa)」，可(ke)能是大模型「涌现」能力(li)的答(da)案(an)。

肯尼斯·斯坦利和喬(qiao)爾(er)·雷(lei)曼(man)是人(ren)工(gong)智能神(shen)經(jing)進(jin)化(hua)領(ling)域(yu)的頂(ding)尖(jian)專(zhuan)家。

早(zao)在(zai)2008年(nian)他(ta)們(men)在中佛(fo)羅(luo)裏(li)達(da)大学计算機(ji)系(xi)做(zuo)科研(yan)時(shi)，他就(jiu)和乔尔·雷曼一起(qi)發(fa)明(ming)了一种新的算法叫(jiao)做新奇性搜索算法，這(zhe)個(ge)故(gu)事(shi)被寫(xie)入(ru)了最(zui)近(jin)畅销的《为什么伟大不能被计划》一书中。

肯尼斯還(hai)发明了幾(ji)种流(liu)行(xing)的人工智能算法，包(bao)括(kuo)增(zeng)強(qiang)拓(tuo)撲(pu)的神经进化(NEAT)、HyperNEAT等(deng)。

從(cong)大学教(jiao)授(shou)到(dao)後(hou)來(lai)领导OpenAI的Open-endedness（無(wu)限(xian)開(kai)放(fang)）研究(jiu)團(tuan)隊(dui)，成(cheng)为「OpenAI科創(chuang)黑(hei)幫(bang)」中的重(zhong)要(yao)一員(yuan)，（这一說(shuo)法源(yuan)自(zi)此(ci)前(qian)矽(gui)谷(gu)大火(huo)的「Paypal黑帮」），肯尼斯一直(zhi)以(yi)對(dui)开放式(shi)创新的極(ji)度(du)熱(re)情(qing)，开啟(qi)其(qi)个人新的时代(dai)。

肯尼斯·斯坦利

他目(mu)前正(zheng)在建(jian)立(li)一个开放式的、专註(zhu)於(yu)偶(ou)然(ran)性的社(she)交(jiao)網(wang)絡(luo)，名(ming)为Maven，这个初(chu)创公(gong)司(si)會(hui)成为AI时代的Facebook嗎(ma)？我(wo)们拭(shi)目以待(dai)。

本(ben)文(wen)从新奇性搜索这一起點(dian)开始(shi)，为您(nin)呈(cheng)现肯尼斯·斯坦利帶(dai)来的这場(chang)關(guan)于新奇性搜索算法——可能是大模型「涌现」能力之所(suo)以能发生(sheng)的溯(su)源之旅(lv)。

为什么伟大不能被计划？

乍(zha)看(kan)之下(xia)，一个沒(mei)有(you)設(she)定(ding)目標(biao)的计算机算法，似(si)乎(hu)是一个自相(xiang)矛(mao)盾(dun)的存(cun)在。

「算法」这个詞(ci)会直接(jie)讓(rang)人聯(lian)想(xiang)到一些(xie)有既(ji)定方(fang)向(xiang)的、机械(xie)化的東(dong)西(xi)，並(bing)且(qie)算法通(tong)常(chang)被視(shi)为解決(jue)某(mou)些特(te)定問(wen)題(ti)的良(liang)方。

人们已(yi)经设计出各(ge)种不同(tong)的目标驅(qu)動(dong)型算法，机械性地(di)完(wan)成諸(zhu)如(ru)求(qiu)解微(wei)分(fen)方程(cheng)、对大型列(lie)表(biao)进行排(pai)序(xu)和數(shu)據(ju)加(jia)密(mi)等任(ren)務(wu)。

但(dan)本質(zhi)上(shang)，算法是一种寬(kuan)泛(fan)的概(gai)念(nian)。作为一种明確(que)地描(miao)述(shu)一个過(guo)程的方式，算法是一个不存在任何(he)模糊(hu)性的、解决问题的方法，从而(er)确保(bao)计算机可以精(jing)确地遵(zun)循(xun)其指(zhi)令(ling)。

因(yin)此，雖(sui)然大多(duo)数算法都(dou)有目标，但它(ta)们也(ye)可以被用(yong)于描述没有目标的过程，比(bi)如尋(xun)找(zhao)新奇的东西。由(you)于算法能被具(ju)體(ti)地編(bian)写成可被分析(xi)和研究的计算机程序，它就可以帮助(zhu)我们檢(jian)測(ce)科学假(jia)设是否(fou)成立。

新奇性可以让我们判(pan)斷(duan)我们在多大程度上擺(bai)脫(tuo)了过时事物(wu)的束(shu)縛(fu)。有趣(qu)的是，这种比較(jiao)將(jiang)问题从「我们正在接近什么」變(bian)成「我们正在逃(tao)離(li)什么」，而逃离过去(qu)的有趣之處(chu)在于，它能夠(gou)开启全(quan)新的可能性。

簡(jian)而言(yan)之，设定目标意(yi)味(wei)著(zhe)遵循一條(tiao)未(wei)知(zhi)的路(lu)徑(jing)，朝(chao)着遙(yao)遠(yuan)的目的地前行，而新奇性只(zhi)要求我们远离已经到过的地方。离开一个已经到过的地方，不僅(jin)更(geng)简單(dan)輕(qing)松(song)，还蘊(yun)含(han)了更豐(feng)富(fu)的信(xin)息(xi)。因为我们可以回(hui)顧(gu)过去的整(zheng)个歷(li)史(shi)发现，将其作为判断當(dang)前新奇性的參(can)考(kao)。

因此，相信新奇性是推(tui)动进步(bu)的一臺(tai)有意義(yi)的引(yin)擎(qing)。编写未设定具体目标的算法有一大優(you)点，即(ji)我们可以说到做到，将資(zi)金(jin)花(hua)在刀(dao)刃(ren)上。

如果(guo)仅靠(kao)寻找新奇的事物就能有效(xiao)地帮助人们发现有用的东西，那(na)么我们就應(ying)該(gai)可以真(zhen)正地将这个过程，以算法的形(xing)式正式呈现出来。在算法设计出来之后，它就可以被投(tou)入测試(shi)。

这种通过構(gou)建算法来测试理(li)論(lun)的理念，在人工智能领域（與(yu)心(xin)理学领域不同）已被普(pu)遍(bian)接受(shou)。事實(shi)上，在人工智能研究中，关于任何事物的解釋(shi)，只有在被构建成一个计算机程序并在计算机上運(yun)行和测试之后，才(cai)会得(de)到普遍認(ren)可。这樣(yang)一来，人工智能领域成功(gong)的門(men)檻(kan)就变得相当苛(ke)刻(ke)，因为人工智能的研究人员不能只是简单地提供(gong)文字(zi)解释，而是必(bi)須(xu)真正建立起一項(xiang)理论的原(yuan)型，并通过测试證(zheng)明它是有效的。

因此，在这种情況(kuang)下，我们可以借(jie)用人工智能领域的这一準(zhun)則(ze)，并将其应用于非(fei)目标发现的论证。让我们看看，当我们給(gei)计算机编程，让它只搜索新奇的东西而没有设计特定的目标时会发生什么。

试圖(tu)发现新奇事物的行为可以帮助说明，即使(shi)没有特定的目标，寻找新奇事物的行为也会產(chan)生有趣的結(jie)果。想象(xiang)一下这个场景(jing)：一个机器(qi)人被放在走(zou)廊(lang)的一端(duan)，另(ling)一端的门是开着的。这類(lei)实驗(yan)在机器学習(xi)领域很(hen)常見(jian)，即试图让计算机具備(bei)从经验中学习的能力。在实验中，机器人会通过越(yue)来越熟(shu)練(lian)地探(tan)索走廊来学习如何接近走廊另一端的门口(kou)。

例(li)如，在一系列实验中，机器人總(zong)是被放回其起始位(wei)置(zhi)，它可能会具备更强的、穿(chuan)越整个走廊的能力，并越来越接近敞(chang)开的门——这就是目标。在这种目标驱动的方法中，无论哪(na)种行为会使机器人最接近敞开的大门，它都会成为嘗(chang)试新行为的踏脚石。这种将进步视为一系列逐(zhu)漸(jian)接近目标的渐进式改(gai)进的觀(guan)点，也反(fan)映(ying)了在我们的文化中追(zhui)求成就的常见方式。

图注：机器人的一系列新奇行为

通过窮(qiong)盡(jin)各种撞(zhuang)墻(qiang)的方式，新奇性搜索可以增加机器人对探索和穿越走廊的理解，并最終(zhong)使它发现出门的方法，尽管(guan)成功地出门并不是新奇性搜索的目标。

但我们也可以用一种基(ji)于新奇性搜索的、截(jie)然不同的方式来处理这个任务。例如，机器人可以无需(xu)尝试走到走廊的另一端，只是純(chun)粹(cui)地尝试做一些与以往(wang)不同的事情。机器人可能会先(xian)撞上一堵(du)墙，因为它一开始并不具备探索和穿越走廊的经验。

然而，与追求特定目标（即抵(di)达敞开的大门）时不同，在新奇性搜索中，机器人撞墙的行为被认为是好(hao)事，因为我们以前从未见过它这样做。換(huan)句(ju)話(hua)说，撞墙的行为是新奇的，而这正是我们在探索新奇性时想要看到的东西。但如果撞墙被视为好事，那么机器人接下来可能会做什么？

答案是，它可能会撞上另一堵墙，但只要第(di)二(er)次(ci)撞墙与第一次不同，也会被认为是好事。即使第二次撞墙比第一次离目标更远，这仍(reng)然被认为是新奇性搜索的一个好的跡(ji)象，因为这一次与以往不同。如妳(ni)所见，这种欣(xin)賞(shang)新奇情况而不加評(ping)判的態(tai)度，就已经使新奇性搜索有別(bie)于目标驱动型搜索了。

事实上，寻求新奇行为的机器人，最终甚(shen)至(zhi)不得不进入另一端的大门，因为它将再(zai)次穷尽在同一走廊內(nei)的所有新奇行为的可能性。这个新奇行为实验的结果令人費(fei)解：一个只被告(gao)知要寻求新奇行为的机器人，卻(que)学会了如何避(bi)开墙壁(bi)在走廊里自如地穿梭(suo)，最终走向敞开的大门，而且这些动作都没被当成指令、獎(jiang)勵(li)这样的目标。按(an)照(zhao)这个邏(luo)輯(ji)，追求新奇性过程中所产生的行为的復(fu)雜(za)性，似乎比預(yu)期(qi)更多。

指頭(tou)逃离指筒(tong)的方法

同时，这种顯(xian)而易(yi)见的成功似乎只是「穷尽一切(qie)可能性」（计算机科学家稱(cheng)之为穷舉(ju)法）后出现的结果。如果你真的有时間(jian)去尝试世(shi)界(jie)上每(mei)一种可能的行为，最终也可能辦(ban)成一些「聰(cong)明事」，但你可能要花上几乎一輩(bei)子(zi)的时间才能得到这个结果。这个方法聽(ting)起来有点愚(yu)蠢(chun)，但事实证明，新奇性搜索中的发现比简单地尝试每一个你能想到的行为都要更深(shen)入。新奇性搜索比穷尽可能性更有趣的原因是，它傾(qing)向于以某种特定順(shun)序来产生行为。

顺序是探索和发现的一个关鍵(jian)因素(su)。事实上，我们对任何一种搜索都充(chong)滿(man)信心的主(zhu)要原因是，我们期望(wang)它能指导人们以某种合(he)理的顺序发现通往成功的踏脚石。在目标驱动型搜索中，我们通常期望壞(huai)的行为出现在好的行为之前。换句话说，我们期望搜索行为的质量(liang)，在搜索的过程中不断得到提升(sheng)。这样一来，目标将带来一連(lian)串(chuan)的发现这一结论似乎就合乎逻辑了。

虽然大多数人都熟悉(xi)这样一个概念，即将进步视为一个从坏到好的过程。从简单到复杂的变化，由于没有设定明确的目标，很容(rong)易令人覺(jiao)得陌(mo)生。但在某种程度上，后者更为合理，因为它不会受到目标的欺(qi)騙(pian)性的影(ying)響(xiang)（因为你并未试图从中獲(huo)取(qu)任何特定的东西）。

寻找新奇事物的过程，将导致(zhi)行为从简单变得复杂，其原因本身(shen)就非常直接。当所有简单的行为方式都耗(hao)尽后，剩(sheng)下的唯(wei)一可以被发现的新行为，自然就会变得更复杂。例如，我们再回顾一下前文那个试图穿越走廊的机器人。一开始，几乎所有类型的行为都是新奇的，因为它之前从未尝试过任何行为。而在絕(jue)大多数情况下，这些最初的行为往往是简单的，就像(xiang)很多简单的发明往往是通往更复杂发明的踏脚石那样。

歸(gui)根(gen)结底(di)，我们必须获得某种知識(shi)，才能繼(ji)續(xu)创造(zao)新奇事物，这就意味着新奇性搜索是一种信息收(shou)集(ji)器，用于不断積(ji)累(lei)关于世界的知识。搜索的时间越長(chang)，它最终积累的关于世界的信息就越多。当然，信息量和复杂性是相輔(fu)相成的，更复杂的行为必然需要更多的信息。

并且，我们有充分的理由相信，我们不需要目标的約(yue)束来避免(mian)无意义的浪(lang)费。物理世界自身就提供了很多约束。在搜索新奇事物时，实際(ji)尝试的行为空(kong)间变成人类可以想象的所有行为空间。这个空间虽然看似更大，但新奇性搜索的空间，仅是其中的一小(xiao)部(bu)分，这也是新奇性搜索变得实际可行的前提。世界的物理特性限制(zhi)了新奇性搜索能考慮(lv)的所有行为，这一想法也解释了新奇性搜索积累世界信息的趨(qu)勢(shi)：真正成为下一步行为的踏脚石的那些行为，必须尊(zun)重现实世界运作的方式和規(gui)律(lv)。

正如前文所述，从科学的角(jiao)度来看，新奇性搜索概念的一大吸(xi)引力是，它实际上可以被编成一种计算机算法，并进行可衡(heng)量的测试，这正是我们所做的。事实上，到目前为止(zhi)，我们已经将新奇性搜索置于大量不同的场景中进行了测试，第一项就是机器人在迷(mi)宮(gong)中的模擬(ni)实验。换句话说，我们对计算机进行编程，模拟机器人在圍(wei)墙式迷宫中的行为，类似于駕(jia)駛(shi)模拟器模仿(fang)汽(qi)車(che)上路的狀(zhuang)况。这就好像電(dian)腦(nao)自己(ji)玩(wan)的一个简单的视頻(pin)遊(you)戲(xi)。机器人模拟实验在人工智能领域很常见，因为模拟的机器人可以非常迅(xun)速(su)地反复尝试新的行为，而且不存在器材(cai)損(sun)毀(hui)風(feng)險(xian)。下图是其中一个迷宫的示(shi)意图。

机器人迷宫

图注：大圈(quan)代表机器人的起始位置，小圈代表目标位置。地图中看似通往目标位置的死(si)胡(hu)同具有欺骗性。

所以想象一下，一个带輪(lun)子的机器人在迷宫中尝试新奇性搜索，总是试图做出一些新举动，实验将如何开展(zhan)？基本的想法是，计算机程序可以先产生新的「想法」，然后机器人尝试做出相应的行为。如果该行为在机器人尝试时被证明是新奇的，那么该行为可能是有趣的，所以程序可以将其认作一个好主意。請(qing)注意，这种判断想法质量的方式，与设定了具体目标的情况不同。例如，如果设定的目标是让机器人从起点位置走到迷宫的终点，那么「好」的行为，就应该是那些让机器人最终会比之前更接近迷宫终点的行为。

什么行为是好的或(huo)坏的是一个很重要的问题，因为程序将只会继续探索被认定为「好」的想法。换句话说，新奇性搜索的希(xi)望在于，好的想法可能是通往有趣事物的踏脚石。因此，在尝试了一系列的行为之后，程序决定专注于测试那些看起来有趣的行为。

为了做到这一点，程序将采(cai)用这些新奇的想法并进行微調(tiao)，继而观察(cha)是否会出现更有趣、更新奇的东西。如果机器人繞(rao)过一堵从未绕过的墙，那么对该行为的微调就有可能让机器人走得更远。另一方面(mian)，如果机器人做了以前做过很多次的事情（比如撞墙），那么这个行为就会被忽(hu)略(lve)，不会被进一步探索。这种专注于如何在迷宫中实踐(jian)更新奇的想法的方式，与任何其他类型的创造性思(si)維(wei)相同，即你可能有一个有趣的想法，然后在思考一段(duan)时间后，发现它启发了其他有趣的想法。

这将是实验变得更耐(nai)人寻味的地方。想象一下，如果机器人不断尝试新的行为并进一步探索最新奇的行为，它就与我们在本章(zhang)前文描述的那个机器人有点像：一开始总撞墙，然后知道了如何避免撞墙，最后学会穿过门洞(dong)。问题是，如果我们持(chi)续这样的新奇性搜索过程，机器人最终会不会发现一个能破除(chu)整个迷宫的行为（换句话说，一个能驱动机器人从起点顺利走到终点的行为），哪怕(pa)走出迷宫并不是它的目标？

实验结果表明，答案是肯定的——如果我们运行一段时间的新奇性搜索算法，计算机将持续产生驱动机器人通过整个迷宫的行为。这个实验结果很有趣，因为没有人编写让机器人顺利通过迷宫的程序。更重要的是，穿越迷宫从来都不是一个既定目标，该程序甚至不知道目标的存在。因此，有趣的是，新奇性搜索最终发现了一个看起来相当智能的行为，尽管从来没有人告訴(su)计算机它应该做什么。

有些人认为，迷宫中的欺骗行为太(tai)明显了，它被故意设置成一个迷惑(huo)机器人的问题。但实际上，它并不比任何其他欺骗性问题更具迷惑性——这意味着几乎所有有趣的问题都是如此。不过，为了说服(fu)那些仍持有懷(huai)疑(yi)态度的人，我们确实在一个更自然的场景中尝试了新奇性搜索实验——雙(shuang)足(zu)机器人。换句话说，我们试图为一个擁(yong)有双腿(tui)的模拟机器人寻找新奇的行为。

如果你的第一反应是，「双足机器人想做什么？」那么你就忘(wang)了，新奇性搜索并不试图做任何特殊(shu)的事情。它只是观察双足机器人正在做什么，正在尝试什么新行为，而这些行为在被发现时，都是新奇的。因此，如果双足机器人摔(shuai)倒(dao)了，只要它此前从未以同样的方式摔倒过，这就是一个好的行为。你认为一个寻找新奇性的双足机器人，最终会做出什么行为？

答案是，双足机器人学会了行走。并且新奇性搜索中的双足机器人学会行走的方式，比设定了以行走为目标进行学习的情况更好。换句话说，一个尝试越走越远的双足机器人，行走的距(ju)离反而不如一个试图一次又(you)一次地尝试一些新奇动作的双足机器人。不出所料(liao)，背(bei)后的原因依(yi)然是目标的欺骗性。因为通往行走这一发现的踏脚石不一定是走得好，甚至不一定是平(ping)衡感(gan)。摔倒或踢(ti)腿可能反而是比邁(mai)步更好的踏脚石（因为踢腿是摆动的基礎(chu)，而摆动是行走的基本方式）。但如果行走被设定为目标，那么摔倒就会被认定为最糟(zao)糕(gao)的一件(jian)事情。因此，新奇性搜索在这个实验中的表现，再次将目标驱动型搜索的表现远远甩(shuai)在身后。

图注：通过新奇性搜索发现的双足机器人行走步态的一个周(zhou)期

有趣的是，我们进行的机器人走迷宫和双足机器人的新奇性搜索实验结果，并没有「獨(du)领风騷(sao)」太长时间，因为来自世界各地的研究人员，也开始关注新奇性搜索。由让·巴(ba)蒂(di)斯特·穆(mu)萊(lai)（Jean Baptiste Mouret）领导的法國(guo)科学家团队，复制了迷宫实验的结果。在加拿(na)大，约翰(han)·杜(du)塞(sai)特（John Doucette）将新奇性搜索应用于计算机程序的进化，这些程序用于控(kong)制试图追蹤(zong)食(shi)物的人造螞(ma)蟻(yi)的行为。在捷(jie)克(ke)，彼(bi)得·克拉(la)荷(he)（Peter Krcah）发现新奇性搜索不仅有助于解决搜索行为的欺骗性问题，还有助于设计模拟机器人的身体。

在美(mei)国，希瑟(se)·格(ge)斯伯(bo)（Heather Goldsby）用新奇性搜索来发现计算机程序中的錯(cuo)誤(wu)。而在我们位于佛罗里达州(zhou)的实验室(shi)里，我们的同事塞巴斯蒂安(an)·里西（Sebastian Risi）发现，终生学习并適(shi)应其環(huan)境(jing)的机器人也可以从新奇性搜索中获益(yi)。从其廣(guang)泛的应用可以看出，机器人迷宫和双足机器人实验的结果并不是空穴(xue)来风，反而证明在一般(ban)情况下，新奇性搜索有时可能比寻找一个特定的目标产生更好的结果。因此，通过不试图实现任何目标的做法，我们往往能够获得更多发现——现在我们还拥有一系列实验证据来支(zhi)持这个结论。

当然，也有人证明了新奇性搜索的局(ju)限性，说它不能「一招(zhao)鮮(xian)，吃(chi)遍天(tian)」。在进一步的迷宫实验中，我们生成了数百(bai)个不同難(nan)度的隨(sui)机迷宫，并分别用新奇性搜索和目标驱动型搜索的方法来破解这些迷宫。数据显示的趋势是，随着迷宫变得越来越复杂，新奇性搜索和目标驱动型搜索都无法破解迷宫，但目标驱动型搜索解决问题的能力衰(shuai)減(jian)得更快(kuai)。换句话说，新奇性搜索的能力维度更大，但也不是无限的。这个结果提出了一个深刻的问题：对于最复杂的问题，还有什么方法可以确保持续性地解决它们呢(ne)？

关于这个问题，或許(xu)不存在一个真正令人满意的答案。许多人都幻(huan)想过这个世界上存在一个萬(wan)能的公式，能够让我们解决所有问题。这种想法是如此誘(you)人，甚至吸引了很多人投入畢(bi)生的激(ji)情和时间。但这就好像历史上的探险家对青(qing)春(chun)不老(lao)之泉(quan)的虛(xu)幻追求。

我们可能一直从错误的角度来看待整个问题，也许我们根本不可能总是在想要满足願(yuan)望的时候(hou)就能够得償(chang)所愿。也许并不存在什么神奇的方法，让我们总是可以达成每一个可以想象的目标。最终，人类所有探索和发现的行为都可能是徒(tu)勞(lao)的。但是，即使没有万能的方法，也不能阻(zu)止我们发现有趣的事物。哪怕我们的探索漫(man)无目的，在前方未知的道路上依然埋(mai)藏(zang)着无数的寶(bao)藏。

我们可以将它们都挖(wa)掘(jue)出来，享(xiang)受它们带来的意外(wai)之喜(xi)，即使我们无法预知「能发现什么」或「何时发现」。这就是趣味性和新奇性搜索教给我们的经验。

但是，为了最清(qing)楚(chu)地理解这一点，我们需要理解潛(qian)伏(fu)在所有发现方法背后的徒劳本质，这样我们才能从目标的「一招鲜，吃遍天」的虚妄(wang)幻想中解放出来，继而拥抱(bao)现实，让自己成为一名拥有「即便(bian)没有目标，也能发现意外之喜」这种强大能力的「寻宝者」。返(fan)回搜狐(hu)，查(zha)看更多

責(ze)任编辑：