【超级牛年促销大全】抢购年货好礼！

duitiejiangdewuqihekuijiayouwuxiandegaijin，shoujizuihaodezhuangbei。gezhongkunnanneirongguankabixuyaozixingqushiyinglejie，buduandegaibianzijideyouxifangshi。jiangfuzuoqi：qilinfenghuang，tingwohaoling；zuoweiyouxidezhujiao，ninxuyaodailingxingcunderenleizhaodaogenghaodejidi，fangyujiangshidexiji；suijishengchengdechangjing，baowu，guaiwu，BossDeepMind再(zai)登(deng)Science！AI「破(po)壁(bi)者(zhe)」玩(wan)心(xin)機(ji)吊(diao)打(da)人(ren)類(lei)大(da)師(shi)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】很(hen)多(duo)AI玩撲(pu)克(ke)不(bu)行(xing)，是(shi)因(yin)為(wei)它(ta)們(men)不會(hui)像(xiang)人类壹(yi)樣(yang)「玩心眼(yan)」。而(er)DeepMind最(zui)新的(de)DeepNash，唬(hu)起(qi)人來(lai)可(ke)是一套(tao)一套的。

近(jin)日(ri)，DeepMind的AI智能(neng)體(ti)DeepNash，在(zai)西(xi)洋(yang)陸(lu)軍(jun)棋(qi)（Stratego）中(zhong)花(hua)式(shi)戰(zhan)勝(sheng)專(zhuan)業(ye)級(ji)人类玩家(jia)，成(cheng)功(gong)躋(ji)身(shen)Top 3。

12月(yue)1日，論(lun)文(wen)正(zheng)式在Science上(shang)發(fa)表(biao)。

论文地(di)址(zhi)：http://www.science.org/doi/10.1126/science.add4679

用(yong)這(zhe)個(ge)AI，致(zhi)敬(jing)約(yue)翰(han)·納(na)什(shen)

在如(ru)今(jin)这个時(shi)代(dai)，玩遊(you)戲(xi)的AI已(yi)經(jing)发展(zhan)到(dao)一个全(quan)新的階(jie)段(duan)。

以(yi)往(wang)，許(xu)多科(ke)學(xue)家会用國(guo)際(ji)象(xiang)棋和(he)圍(wei)棋訓(xun)練(lian)AI，而DeepMind这次(ci)用的Stratego，是一款(kuan)经典(dian)的棋盤(pan)游戏，要(yao)比(bi)国际象棋和围棋更(geng)復(fu)雜(za)，比扑克更巧(qiao)妙(miao)。

而这个名(ming)为DeepNash的AI智能体，通(tong)過(guo)與(yu)自(zi)己(ji)對(dui)战的方(fang)式，從(cong)零(ling)開(kai)始(shi)学習(xi)Stratego。

現(xian)在，DeepNash在世(shi)界(jie)上最大的在線(xian)Stratego平(ping)臺(tai)Gravon的人类专家中，排(pai)名歷(li)史(shi)前(qian)三(san)。

DeepNash采(cai)用的是一種(zhong)全新的打法(fa)，理(li)论依(yi)據(ju)是博(bo)弈(yi)论和無(wu)模(mo)型(xing)深(shen)度(du)強(qiang)化(hua)学习。

看(kan)得(de)出(chu)来，这个名字(zi)也(ye)意(yi)在致敬著(zhu)名的美(mei)国數(shu)学家约翰·纳什（John Nash）。

他(ta)提(ti)出的纳什均(jun)衡(heng)（Nash equilibrium），又(you)稱(cheng)为非(fei)合(he)作(zuo)博弈均衡，是博弈论中非常(chang)重(zhong)要的一環(huan)。

Stratego的玄(xuan)机在哪(na)裏(li)？

历来，棋盘游戏就(jiu)一直(zhi)是衡量(liang)AI進(jin)步(bu)的標(biao)準(zhun)，因为它能夠(gou)使(shi)我(wo)们研(yan)究(jiu)人类和机器(qi)如何(he)在受(shou)控(kong)环境(jing)中，制(zhi)定(ding)和執(zhi)行策(ce)略(lve)。

而这个Stratego的玄机，究竟(jing)在哪里呢(ne)？

与国际象棋和围棋的不同(tong)之(zhi)處(chu)在於(yu)，Stratego是一种不完(wan)全信(xin)息(xi)博弈：玩家无法直接(jie)觀(guan)察(cha)对手(shou)棋子(zi)的身份(fen)。

因为这种复杂性(xing)，基(ji)于AI的Stratego系(xi)統(tong)，往往再努(nu)力(li)，也就是业余(yu)水(shui)平，不可能達(da)到「专家」的水准。

在以往，各(ge)种AI之所(suo)以在游戏中大獲(huo)全胜、完爆(bao)人类，是因为一种叫(jiao)「博弈樹(shu)搜(sou)索(suo)」的AI技(ji)術(shu)。

「博弈树搜索」雖(sui)然(ran)可以在充(chong)分(fen)掌(zhang)握(wo)信息的各种游戏中大殺(sha)四(si)方，但(dan)对于Stratego这样的游戏，卻(que)有(you)些(xie)束(shu)手无策，因为它的可擴(kuo)展性不够。

而在这一點(dian)上，DeepNash就完爆了(le)博弈树搜索。

實(shi)际上，DeepNash掌握了Stratego的價(jia)值(zhi)，已经遠(yuan)远超(chao)越(yue)了这个游戏本(ben)身。

现实世界往往就是很复杂，信息是有限(xian)的。真(zhen)正先(xian)进的AI系统，所面(mian)臨(lin)的环境就如同Stratego这样。

DeepNash成功地向(xiang)我们展示(shi)了，AI如何在不確(que)定的情(qing)況(kuang)下(xia)，成功地平衡了結(jie)果(guo)，解(jie)決(jue)了复杂的問(wen)題(ti)。

Stratego怎(zen)麽(me)玩

Stratego是一款回(hui)合制奪(duo)旗(qi)游戏。游戏中，玩家需(xu)要虛(xu)張(zhang)聲(sheng)勢(shi)，迂(yu)回战术，收(shou)集(ji)信息，巧妙地操(cao)作。

它是一款零和博弈，所以一个玩家的任(ren)何收益(yi)，都(dou)代表著(zhe)对手同等(deng)数量的損(sun)失(shi)。

聽(ting)起来似(si)乎(hu)与我们的军棋很像。

Stratego与军棋的不同之处在于，它有更多数量的棋子、更多的军銜(xian)較(jiao)多，棋盘設(she)計(ji)较簡(jian)單(dan)，沒(mei)有鐵(tie)路(lu)、行營(ying)和裁(cai)判(pan)。

雙(shuang)方布(bu)陣(zhen)时，要將(jiang)所有棋子豎(shu)立(li)，不能讓(rang)对方看到。

布阵完成之後(hou)，由(you)紅(hong)方先走(zou)棋，隨(sui)后輪(lun)流(liu)移(yi)動(dong)一枚(mei)棋子。

棋子中，军旗和地雷(lei)不能移动，偵(zhen)察兵(bing)可以橫(heng)竖移动任意格(ge)，不可越过棋子，其(qi)余棋子只(zhi)能横竖走一格。

當(dang)双方棋子在同一格內(nei)，就一同揭(jie)开，判斷(duan)大小(xiao)，胜的棋子放(fang)回原(yuan)位(wei)、正面朝(chao)后，輸(shu)的棋子就被(bei)移除(chu)。

Stratego胜利(li)方式与中国军棋类似，以夺得对方军旗或(huo)消(xiao)滅(mie)所有能动的棋子为胜利。

为什么Stratego对于AI这么有挑(tiao)战性？部分原因在于，它是一种不完全信息博弈。

Stratego中的兩(liang)位玩家，在把(ba)40个棋子排成起始阵型时，是彼(bi)此(ci)隱(yin)藏(zang)的。

因为玩家无法获得相(xiang)同的知(zhi)識(shi)，因此在做(zuo)出任何决定时，他们都需要平衡所有可能的结果。

Stratego棋子的种类和排名

左(zuo)：棋子排名。在游戏中，军衔较高(gao)的棋子获胜，唯(wei)一的例(li)外(wai)是10（元帥(shuai)）被間(jian)諜(die)攻(gong)擊(ji)；炸(zha)彈(dan)總(zong)是获胜，唯一的例外是被礦(kuang)工(gong)捕(bu)获。

中间：可能的起始阵型。旗幟(zhi)要安(an)全地藏在后面，两側(ce)的炸弹提供(gong)保(bao)護(hu)。两个淡(dan)藍(lan)色(se)區(qu)域(yu)是「湖(hu)泊(bo)」，永(yong)远不能进入(ru)。

右(you)：一盘正在进行的游戏，可以看到，蓝方的间谍捕获了红方的元帅。

这个游戏，把AlphaZero都難(nan)倒(dao)了

在Stratego中，信息都是隐藏的。

只有遭(zao)遇(yu)其他玩家时，对方棋子的身份才(cai)会顯(xian)露(lu)出来。

而国际象棋和围棋的不同之处在于，它们是「完美信息博弈」，因为对战双方确切(qie)地知道每(mei)一顆(ke)棋子的位置(zhi)和身份。

DeepMind的AlphaZero，在完美信息博弈中表现一向出色，但在Stratego中，它却被难倒了。

在国际象棋中，AlphaZero在4小时后就超越了Stockfish；在将棋中，AlphaZero在2小时后超越了Elmo；而围棋中，AlphaZero在30小时后超越了击敗(bai)李(li)世石(shi)的AlphaGo

Stratego更类似于德(de)州(zhou)扑克，需要类似人类的能力——人类需要在信息不全的情况下做出决定，還(hai)需要虚张声势。

美国作家傑(jie)克倫(lun)敦(dun)曾(zeng)经指(zhi)出：「生(sheng)活(huo)中，我们並(bing)不总是持(chi)有好(hao)牌(pai)，但有时，一手爛(lan)牌也能打得很好。」

其实很多AI也很擅(shan)長(chang)打德扑，但它们面对Stratego时，却懵(meng)逼(bi)了——这个游戏的流程(cheng)实在是太(tai)长了！

玩家要获胜，需要走出数百(bai)步。所以游戏中的推(tui)理，必(bi)須(xu)針(zhen)对大量的連(lian)續(xu)动作，在这个过程中，很难明(ming)显看出每个动作对于最終(zhong)结果会有怎样的影(ying)響(xiang)。

国际象棋、扑克、围棋和Strateg之间的規(gui)模差(cha)異(yi)

而且(qie)，与国际象棋、围棋和扑克牌相比，可能的博弈狀(zhuang)態(tai)数量（「博弈树复杂性」）已经超出了圖(tu)表，解决起来更是异常困(kun)难。

而这，也正是Stratego令(ling)人如此興(xing)奮(fen)的原因——它代表了AI社(she)区长达数十(shi)年(nian)的挑战。

Stratego：AI要征(zheng)服(fu)的高地

多年来，如何让人工智能在Stratego游戏中脫(tuo)穎(ying)而出，成为AI研究者的重点。

在这个游戏中战胜人类玩家，主(zhu)要有两大难点。

首(shou)先，該(gai)游戏的博弈树有10的535次方种状态，即(ji)一局(ju)游戏中会有10的535次方种可能的布局。相比之下，围棋的布局也只有10的360次方种可能。

其次，在Stratego中，人工智能需要推理对手超过10的66次方种部署(shu)策略，而扑克只有一千(qian)种可能出现的牌对。

因此，想(xiang)要破解Stratego紛(fen)繁(fan)复杂的布局并非易(yi)事(shi)，如何战胜人类Stratego玩家，是AI研究者面对的前所未(wei)有的挑战。

如何完爆其他AI？靠(kao)R-NaD这个核(he)心利器

DeepNash之所以完爆其他AI，是因为它采用了一种基于博弈论和无模型深度强化学习相结合的新颖方法。

「无模型」就意味(wei)着，DeepNash并没有試(shi)图在游戏中明确地模擬(ni)对手的状态。

尤(you)其是在博弈的早(zao)期(qi)阶段，当DeepNash对对手的棋子知之甚(shen)少(shao)时，这种建(jian)模即使可能完成，大概(gai)率(lv)也是无效(xiao)的。

而且，由于Stratego的博弈树复杂性如此之大，DeepNash无法采用其他AI在玩游戏时用的蒙(meng)特(te)卡(ka)洛(luo)树搜索。后者正是AI在不太复杂的棋盘游戏和扑克中，取(qu)得里程碑(bei)式成就的關(guan)鍵(jian)。

可見(jian)，均衡策略虽然可以在对局双方轮流行动的完全信息博弈中发揮(hui)作用，但它在不完全信息博弈中就显得力不从心。

DeepNash采用的，是一种新的博弈论算(suan)法思(si)想——正則(ze)化纳什动态规劃(hua)（Regularized Nash Dynamic，R-NaD）。

这个无模型的强化学习算法，是DeepNash的核心。

它引(yin)导着DeepNash，让它的学习行为朝着纳什均衡的方向发展。

DeepNash将R-NaD与深度神(shen)经網(wang)絡(luo)架(jia)構(gou)相结合，并收斂(lian)到纳什均衡。

包(bao)括(kuo)三步：獎(jiang)勵(li)轉(zhuan)換(huan)（reward transformation）、动态规划（dynamics）和更新叠(die)代（udate）。

研究團(tuan)隊(dui)通过重复應(ying)用这三个步驟(zhou)，直到生成一系列(lie)固(gu)定点用以證(zheng)明算法收敛到原始博弈的纳什均衡。

对战最强的Stratego机器人（包括计算机战略世界錦(jin)标賽(sai)的幾(ji)位获胜者）时，DeepNash的胜率高达97%，经常取得100%的胜率。

而在Gravon游戏平台上，对抗(kang)頂(ding)级的人类玩家时，DeepNash取得了84%的胜率，贏(ying)得了历史前三的排名。

当然，在对局中不能无限制地通过博弈论达到纳什均衡，因为这种方式下玩家的胜率无法保证。

均衡策略只在完全信息博弈下充分適(shi)用，在不完全信息的游戏下，还需要別(bie)的策略才能出奇(qi)制胜。

在初(chu)始的排兵布阵上，DeepNash就采用了一些非凡(fan)的玩法。为了變(bian)得难以利用（hard to exploit），DeepNash制定了一种不可預(yu)測(ce)的策略（unpredictable strategy）。

这意味着在初期的部署上，就要足(zu)够多变，防(fang)止(zhi)对手在随后的一系列对阵中，发现自己的模式。

而在博弈阶段，DeepNash也会在看似相同的动作之间，盡(jin)量地随机化（randomise），来防止自己变得可利用。

在这个过程中，隐藏信息非常重要。

隐藏信息，让对手摸(mo)不着頭(tou)腦(nao)

现实場(chang)景(jing)下，人们还会用其他手段来取得胜利，如詐(zha)唬（bluffing）。

正如「博弈论之父(fu)」馮(feng)·諾(nuo)伊(yi)曼(man)所描(miao)述(shu)的那(na)样：「现实生活中充滿(man)『虚张声势』、『欺(qi)騙(pian)的小伎(ji)倆(liang)』以及(ji)『猜(cai)测别人会認(ren)为我打算做什么』。」

陶(tao)哲(zhe)軒(xuan)的「红眼睛(jing)与蓝眼睛自杀难题」：我知道，我知道他知道，我知道他知道他知道……

在这方面，DeepNash也是不遑(huang)多让。

研究团队展示了DeepNash的两种唬人技巧：主动诈唬（positive bluffing）与被动诈唬（negative bluffing）。

所謂(wei)主动诈唬，就是假(jia)裝(zhuang)自己的棋子等级很高，威(wei)懾(she)对手。简单来說(shuo)就是「虚张声势」。

在这个例子中，DeepNash就給(gei)我们好好地上了一課(ke)：

在对战人类玩家（红方）时，DeepNash（蓝方）在游戏初期以犧(xi)牲(sheng)了 7（少校(xiao)）和 8（上校）等棋子的代价，找(zhao)出了对手的 10（元帅）， 9（将军），一个8和两个7。

至(zhi)此，DeepNash（蓝方）就找到对手的许多最强大的棋子，同时，将自己的关键棋子隐藏起来。

乍(zha)一看，DeepNash似乎处于明显劣(lie)势：它的7和8 out 了，但人类对手保留(liu)了排名7及以上的所有棋子。

但是，DeepNash笑(xiao)到了最后——憑(ping)借(jie)着自己探(tan)得的对方高層(ceng)的可靠情况，它估(gu)算自己的获胜几率为70%。

最终，它的确获胜了。

虚张声势的「藝(yi)术」

在扑克中，優(you)秀(xiu)的玩家会玩心理战，即使在我方弱(ruo)势的情况下，也要让对方形(xing)成威慑。

DeepNash也学会了这种虚张声势的策略——被动诈唬（negative bluffing）。

也就是我们常说的「扮(ban)豬(zhu)吃(chi)老(lao)虎(hu)」：将自己等级高的棋子偽(wei)装成等级低(di)的棋子，等到对方上当后再一舉(ju)拿(na)下。

在下面这个例子中，DeepNash使用2（很弱是侦察兵）去(qu)追(zhui)击对手暴(bao)露身份的8。

人类对手据此判断，追击者很可能是10，因此嘗(chang)试引誘(you)它进入间谍的伏(fu)击圈(quan)。

最终，DeepNash成功地以小博大，用小棋子2成功地灭掉(diao)了对手的关键棋子间谍。

人类玩家（红方）确信追逐(zhu)自己的8的未知棋子一定是 DeepNash 的 10（因为此时DeepNash已经输掉了自己唯一的9

以下是DeepNash与（匿(ni)名）人类专家进行的这四个完整(zheng)游戏視(shi)頻(pin)，第(di) 1场、第 2场、第 3场、第 4 场，点击进去，妳(ni)会收获更多的驚(jing)喜(xi)。（视频地址在引用素(su)材(cai)中列出）

DeepNash的游戏水平让我感(gan)到惊訝(ya)。我从未听说过，有哪个人造(zao)Stratego玩家的水平，能接近赢得人类玩家所需的水平。

但親(qin)自与DeepNash交(jiao)手后，我对它在Gravon上取得前3的排名并不惊讶。我预测：如果让它參(can)加(jia)人类的世界锦标赛，它会做得很好。

——Vincent de Boer，论文合著者，前Stratego世界冠(guan)军

未来不可估量

可以看到，DeepMind的这种新颖的R-NaD方法，可以直接应用于完美或不完美信息的其他双人零和博弈。

R-NaD有潛(qian)力超越双人游戏的设定，解决大规模的现实世界问题。

此外，R-NaD还有望(wang)在其他不同目(mu)标的領(ling)域，解鎖(suo)AI的新应用。

比如在交通管(guan)理的规模优化中，人们不清(qing)楚(chu)他人的意图或环境信息，此时R-NaD有望优化司(si)机的出行时间。

人类的世界，天(tian)然地具(ju)有不可预测性。

而现在，人们創(chuang)建了一个面对不确定性时具有魯(lu)棒(bang)性的通用AI系统，这让我们对于人类的未来充满了想象。

参考(kao)資(zi)料(liao)：

http://www.science.org/doi/10.1126/science.add4679

https://www.nature.com/articles/d41586-022-04246-7

https://www.deepmind.com/blog/mastering-stratego-the-classic-game-of-imperfect-information

https://youtu.be/HaUdWoSMjSY

https://youtu.be/L-9ZXmyNKgs

https://youtu.be/EOalLpAfDSs

https://youtu.be/MhNoYl_g8mo返(fan)回搜狐(hu)，查(zha)看更多

責(ze)任编辑：