快递全方位服务，让您省心又放心！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>把(ba)大(da)象(xiang)裝(zhuang)冰(bing)箱(xiang)總(zong)共(gong)要(yao)幾(ji)步(bu)？英(ying)偉(wei)達(da)發(fa)布(bu)ProgPrompt，讓(rang)語(yu)言(yan)模(mo)型(xing)給(gei)機(ji)器(qi)人(ren)安(an)排(pai)計(ji)劃(hua)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】壹(yi)條(tiao)命(ming)令(ling)，让机器人幫(bang)妳(ni)把大象装冰箱裏(li)！

對(dui)於(yu)机器人來(lai)說(shuo)，任(ren)務(wu)規(gui)划（Task Planning）是(shi)一個(ge)繞(rao)不(bu)過(guo)去(qu)的(de)難(nan)題(ti)。

想(xiang)要完(wan)成(cheng)一个真(zhen)實(shi)世(shi)界(jie)的任务，首(shou)先(xian)你得(de)知(zhi)道把大象装冰箱总共要几步。

即(ji)便(bian)是比(bi)較(jiao)簡(jian)單(dan)的扔(reng)蘋(ping)果(guo)任务也(ye)包(bao)含(han)多(duo)个子(zi)步驟(zhou)，机器人得先觀(guan)察(cha)苹果的位(wei)置(zhi)，如(ru)果沒(mei)有(you)看(kan)到(dao)苹果就(jiu)要持(chi)續(xu)尋(xun)找(zhao)，然(ran)後(hou)靠(kao)近(jin)苹果，把苹果抓(zhua)起(qi)来，找到並(bing)靠近垃(la)圾(ji)桶(tong)。

如果垃圾桶是關(guan)著(zhu)(zhe)的，還(hai)得先把它(ta)打(da)開(kai)，然后再(zai)把苹果扔進(jin)去，关上(shang)垃圾桶。

但(dan)每(mei)个任务的具(ju)體(ti)实施(shi)細(xi)節(jie)不可(ke)能(neng)都(dou)由(you)人来設(she)计，如何(he)通(tong)过一句(ju)命令来生(sheng)成動(dong)作(zuo)序(xu)列(lie)就成了(le)难题。

用(yong)命令生成序列？這(zhe)不正(zheng)是语言模型的工(gong)作麽(me)？

过去有研(yan)究(jiu)人員(yuan)使(shi)用大型语言模型（LLMs）根(gen)據(ju)輸(shu)入(ru)的任务指(zhi)令对潛(qian)在(zai)的下(xia)一步行(xing)动空(kong)間(jian)进行評(ping)分(fen)，然后生成行动序列。指令由自(zi)然语言进行描(miao)述(shu)，不包含額(e)外(wai)的領(ling)域(yu)信(xin)息(xi)。

但这類(lei)方(fang)法(fa)要么需(xu)要列舉(ju)所(suo)有可能的下一步行动进行评分，要么生成的文(wen)本(ben)在形(xing)式(shi)上没有任何限(xian)制(zhi)，其(qi)中(zhong)可能包含在當(dang)前(qian)環(huan)境(jing)下特(te)定(ding)机器人不可能采(cai)取(qu)的行动。

最(zui)近南(nan)加(jia)州(zhou)大學(xue)和(he)英伟达聯(lian)合(he)推(tui)出(chu)了一个新模型ProgPrompt，同(tong)樣(yang)使用语言模型对输入指令进行任务规划，其中包含了一个程(cheng)序化(hua)的提(ti)示(shi)結(jie)構(gou)，使得生成的计划在不同的环境、具有不同能力(li)的机器人、不同的任务中都能发揮(hui)作用。

在保(bao)證(zheng)任务的规範(fan)性(xing)上，研究人员采用生成python風(feng)格(ge)代(dai)碼(ma)的形式来提示语言模型哪(na)些(xie)动作是可用的、环境中有哪些物(wu)体以(yi)及(ji)哪些程序是可執(zhi)行的。

比如输入「扔苹果」命令就可以生成如下程序。

ProgPrompt模型在虛(xu)擬(ni)家(jia)庭(ting)任务中达到了sota性能，研究人员还將(jiang)該(gai)模型部(bu)署(shu)在一个用于桌(zhuo)面(mian)任务的物理(li)机器人手(shou)臂(bi)上。

妙(miao)用语言模型

想要完成日(ri)常(chang)家庭任务（everyday household tasks）既(ji)需要对世界具有常識(shi)性理解(jie)，也需要当前环境的情(qing)景(jing)知识。

為(wei)了創(chuang)建(jian)一个「做(zuo)晚(wan)飯(fan)」的任务计划，智能体最起码需要知道的常识包括(kuo)：物体的功(gong)能，如爐(lu)子和微(wei)波(bo)炉可以用来加熱(re)；行动的邏(luo)辑順(shun)序，在添(tian)加食(shi)物之(zhi)前必(bi)須(xu)先預(yu)热烤(kao)箱；以及物体和行动的任务相(xiang)关性，例(li)如加热和寻找食材(cai)首先是與(yu)「晚饭」相关的行动。

但如果没有狀(zhuang)態(tai)反(fan)饋(kui)（state feedback），这種(zhong)推理就無(wu)法进行。

智能体需要知道当前环境中哪里有食物，例如冰箱里是否(fou)有魚(yu)，或(huo)者(zhe)冰箱里是否有雞(ji)肉(rou)。

在大型语料(liao)庫(ku)上訓(xun)練(lian)的自回(hui)歸(gui)大型语言模型可以在输入提示的条件(jian)下生成文本序列，具有顯(xian)著的多任务泛(fan)化能力。

比如输入「做晚饭」，语言模型可以生成后续序列，如打开冰箱、拿(na)起鸡肉、拿起蘇(su)打水(shui)、关閉(bi)冰箱、打开電(dian)燈(deng)开关等(deng)。

生成的文本序列需要映(ying)射(she)到智能体的行动空间中，比如生成的指令是「伸(shen)手拿起一罐(guan)泡(pao)菜(cai)」，对應(ying)的可执行动作可能就是「拿起罐子」，然后模型會(hui)计算(suan)出一个行动的概(gai)率(lv)评分值(zhi)。

但缺(que)少(shao)环境反馈的情況(kuang)下，如果冰箱里没有鸡肉，卻(que)仍(reng)然選(xuan)擇(ze)「拿起鸡肉」行动，就会导致(zhi)任务失(shi)敗(bai)，因(yin)为「做晚饭」并没有包含任何关于世界状态的信息。

ProgPrompt模型在任务规划中巧(qiao)妙地(di)利(li)用了编程语言结构，因为現(xian)有的大规模语言模型通常都在编程教(jiao)程和代码文檔(dang)的语料中进行过预训练。

ProgPrompt为语言模型提供(gong)了一个Pythonic的程序頭(tou)部作为提示，导入了可用的动作空间、预期(qi)參(can)數(shu)和环境中可用的物体。

然后定義(yi)了諸(zhu)如make_dinner, throw_away_banana等函(han)数，其主(zhu)体是对物体进行操(cao)作的动作序列，然后通过斷(duan)言计划的先決(jue)条件，例如在試(shi)圖(tu)打开冰箱之前靠近冰箱，以及用恢(hui)復(fu)行动来应对断言失败的情况，以此(ci)納(na)入环境的状态反馈。

最重(zhong)要的是，ProgPrompt程序中还包括了自然语言编寫(xie)的註(zhu)釋(shi)，用以解释行动的目(mu)標(biao)，從(cong)而(er)提高(gao)了生成的计划程序执行任务的成功率。

ProgPrompt

有了完整(zheng)的想法，ProgPrompt的整体工作流(liu)程就清(qing)晰(xi)了，主要包括三(san)部分，Pythonic函数构建、构造(zao)编程语言提示、任务计划的生成和执行。

1、将机器人计划表(biao)述为Pythonic函数

计划函数包括对动作原(yuan)语（action primitive）的API調(tiao)用，总结动作并添加注释，以及跟(gen)蹤(zong)执行的断言。

每个动作原语需要一个物体作为参数，比如「把三文鱼放(fang)进微波炉」任务中，包括对find(salmon)的调用，其中find就是一个动作原语。

利用代码中的注释来为后续的动作序列提供自然语言的总结，注释有助(zhu)于将高層(ceng)次(ci)的任务分解成合乎(hu)逻辑的子任务，即「抓取三文鱼」和「把三文鱼放进微波炉」。

注释也可以让语言模型了解当前的目标，減(jian)少不連(lian)貫(guan)、不一致或重复输出的可能性，类似(si)于思(si)維(wei)鏈(lian)（chain of thought）生成中间结果。

断言（assertions）提供了一个环境反馈机制，以確(que)保前提条件成立(li)，并在不成立時(shi)实现錯(cuo)誤(wu)恢复，比如在抓取行动之前，计划断言智能体已(yi)經(jing)接(jie)近了三文鱼，否則(ze)智能体需要先执行find行动。

2、构造编程语言prompt

prompt需要向(xiang)语言模型提供关于环境和主要行动的信息，包括观察、行动原语、例子，并生成了一个Pythonic提示，供语言模型補(bu)全(quan)。

然后，语言模型将<next task>预測(ce)为一个可执行的函数，即microwave_salmon

在微波炉三文鱼这个任务中，LLM可以生成的且(qie)合理的第(di)一步是取出三文鱼，但負(fu)責(ze)执行计划的智能体可能没有这样一个动作原语。

为了让语言模型了解智能体的动作原语，将其在prompt中通过import语句导入，也就将输出限制为在当前环境下可用的函数上。

要改(gai)變(bian)智能体的行为空间，只(zhi)需要更(geng)新import的函数列表即可。

变量(liang)objects以一个字(zi)符(fu)串(chuan)列表的形式提供了环境中的所有可用物体。

prompt还包括一些完全可执行的程序计划作为示例，每个示例任务都演(yan)示了如何使用给定环境中的可用动作和目标来完成一个给定的任务，如throw_away_lime

3、任务计划的生成和执行

给定任务之后，计划完全是由语言模型根据ProgPrompt提示推断出来的，然后可以将生成的计划在虚拟智能体或物理机器人系(xi)統(tong)上执行，需要用到一个解释器，針(zhen)对环境执行每个行动命令。

在执行过程中，断言檢(jian)查(zha)以闭环的方式进行，并根据当前环境状态提供反馈。

在实驗(yan)部分，研究人员在虚拟家庭(VH)仿(fang)真平(ping)臺(tai)评估(gu)了该方法。

VH的状态包括一組(zu)物体和相应的屬(shu)性，比如三文鱼在微波炉內(nei)部（in），或者靠近（agent_close_to）等。

行动空间包括抓取（grab）、放入（putin）、放回（putback）、行走(zou)（walk），寻找（find）、打开（open）、关闭（close）等。

最終(zhong)实验了3个VH环境，每个环境包括115种不同的物体，研究人员创建了一个包含70个家务任务的数据集(ji)，抽(chou)象程度(du)很(hen)高，命令都是「微波三文鱼」这类的，并为之创建一个ground-truth的行动序列。

在虚拟家庭上对生成的程序进行评估后，评估指标包括成功率（SR），目标条件召(zhao)回（GCR）和可执行性（Exec），从结果上可以看到ProgPrompt明(ming)显優(you)于基(ji)線(xian)和LangPrompt，表格中还展(zhan)示了每个特征(zheng)是如何提升(sheng)性能的。

研究人员同样在真实世界进行了实验，使用一个帶(dai)有平行爪(zhao)子的Franka-Emika熊(xiong)貓(mao)机器人，并假(jia)设可以獲(huo)得一个拾(shi)取和放置（pick-and-place）的策(ce)略(lve)。

该策略将目标物体和目标容(rong)器的兩(liang)个點(dian)雲(yun)作为输入，并执行拾取和放置操作，将物体放在容器上或里面。

系统实现引(yin)入一个开放詞(ci)匯(hui)的物体检测模型ViLD来识別(bie)和分割(ge)場(chang)景中的物体，并构建prompt中的可用物体列表。

与在虚拟环境中不同的是，这里物体列表是每个计划函数的局(ju)部变量，这样可以更靈(ling)活(huo)地適(shi)应新对象。

语言模型输出的计划中包含形式为grab和putin等函数调用。

由于现实世界的不确定性，实验设置中没有实施基于断言的闭环选項(xiang)。

可以看到，机器人在分类任务中，能夠(gou)识别出香(xiang)蕉(jiao)和草(cao)莓(mei)是水果，并生成计划步骤，将它們(men)放在盤(pan)子里，而将瓶(ping)子放在盒(he)子里。

参考(kao)資(zi)料：

https://progprompt.github.io/返(fan)回搜(sou)狐(hu)，查看更多

责任编辑：