「广告大师背后的制作班底，成就那些脍炙人口的广告」

genjuyonghugexingxuqiu,zidingyizitie,PDFhuotupiansuiyidayinfenxiang；hailiangwanfa，qingsongshengjiziyoujiaoyigengyouyuzhongbutongdejingcaiqunzhanfuben，yuxiongdimengongtongwanbaoxieeBOSS!xiangyaosuishisuidishifangyali，fangsongshenxin，duikangjiaolv？shuzitiansejiangshinideshouxuanjieyashenqi！yuzhongbaohanqicaiyunkundaoxugukunshengtianshiduotianshijuxingyuleideng。Google AI年(nian)終(zhong)總(zong)結(jie)第(di)六(liu)彈(dan)：沒(mei)有(you)波(bo)士(shi)頓(dun)動(dong)力(li)的(de)谷(gu)歌(ge)機(ji)器(qi)人(ren)，發(fa)展(zhan)得(de)怎(zen)麽(me)樣(yang)了(le)？

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】讓(rang)机器人聽(ting)懂(dong)人類(lei)指(zhi)令(ling)，谷歌都(dou)做(zuo)了什(shen)么？

波士顿动力的壹(yi)個(ge)後(hou)空(kong)翻(fan)，让我(wo)們(men)看(kan)到(dao)了人造(zao)机器人所(suo)帶(dai)來(lai)的無(wu)限(xian)可(ke)能(neng)。

盡(jin)管(guan)谷歌已(yi)於(yu)2017年把(ba)波士顿动力出(chu)手(shou)了，但(dan)谷歌仍(reng)然(ran)繼(ji)續(xu)他(ta)们的机器人開(kai)发之(zhi)路(lu)，不(bu)只(zhi)是(shi)在(zai)「身(shen)體(ti)」上(shang)逼(bi)近(jin)人类，在「智力」也(ye)追(zhui)求(qiu)更(geng)好(hao)的理(li)解(jie)人类指令。

由(you)Jeff Dean領(ling)銜(xian)的Google Research年终总结系(xi)列(lie)「Google Research, 2022 & beyond」已經(jing)更新到第六期(qi)，本(ben)期的主(zhu)題(ti)是「机器人」，作(zuo)者(zhe)為(wei)高(gao)級(ji)產(chan)品(pin)经理 Kendra Byrne和(he)谷歌机器人研(yan)究(jiu)科(ke)學(xue)家(jia)Jie Tan

1. 超(chao)詳(xiang)超硬(ying)Jeff Dean萬(wan)字(zi)总结火(huo)熱(re)出爐(lu)！圖(tu)解谷歌2022年AIGC、LLM、CV三(san)大(da)领域(yu)成(cheng)就(jiu)

2. 谷歌2022年度(du)回(hui)顧(gu)：让AI更負(fu)責(ze)任(ren)，主要(yao)做了4點(dian)微(wei)小(xiao)的工(gong)作

3. Jeff Dean发推(tui)：谷歌超硬年终总结「第三弹」来了！大力发展Jax

4. 让大模(mo)型(xing)的訓(xun)練(lian)和推理，比(bi)更快(kuai)還(hai)更快！谷歌2022年终总结第四(si)弹

5. 基(ji)礎(chu)算(suan)法(fa)才(cai)是王(wang)道！谷歌2022年终总结第五(wu)弹：真(zhen)正(zheng)的「算法工程(cheng)師(shi)」都在研究啥(sha)？

在我们的有生(sheng)之年，一定(ding)能看到机器人技(ji)術(shu)參(can)與(yu)到人类的日(ri)常(chang)生活(huo)中(zhong)，幫(bang)助(zhu)提(ti)高人类的生产力和生活質(zhi)量(liang)。

在机器人技术廣(guang)泛(fan)應(ying)用(yong)于以(yi)人为中心(xin)的空間(jian)（即(ji)为人而(er)設(she)計(ji)的空间，而不是机器）中的日常實(shi)際(ji)工作之前(qian)，需(xu)要確(que)保(bao)它(ta)们能夠(gou)安(an)全(quan)地(di)为人们提供(gong)帮助。

在2022年，谷歌關(guan)註(zhu)的挑(tiao)戰(zhan)是使(shi)机器人更有助于人类:

1. 让机器人和人类更有效(xiao)和自(zi)然地交(jiao)流(liu);

2. 使机器人能够理解和应用現(xian)实世(shi)界(jie)中的常識(shi)知(zhi)识;

3. 擴(kuo)大机器人在非(fei)结構(gou)化(hua)環(huan)境(jing)中有效執(zhi)行(xing)任務(wu)所需的低(di)層(ceng)次(ci)技能的數(shu)量。

當(dang)LLM遇(yu)上机器人

大型語(yu)言(yan)模型(LLM)的一个特(te)性(xing)是能够將(jiang)描(miao)述(shu)和上下(xia)文(wen)编碼(ma)成「人和机器都能理解」的格(ge)式(shi)。

当把LLM应用到机器人技术中時(shi)，可以让用戶(hu)僅(jin)通(tong)過(guo)自然语言指令就能給(gei)机器人分(fen)配(pei)任务；当与視(shi)覺(jiao)模型和机器人学習(xi)方(fang)法相(xiang)结合(he)时，LLM 为机器人提供了一種(zhong)理解用户請(qing)求的上下文的方法，並(bing)能够對(dui)完(wan)成请求所采(cai)取(qu)的行动進(jin)行規(gui)劃(hua)。

其(qi)中一个基本方法是使用 LLM 来提示(shi)其他預(yu)先(xian)训练的模型獲(huo)取信(xin)息(xi)，以构建(jian)場(chang)景(jing)中正在发生的事(shi)情(qing)的上下文，并对多(duo)模態(tai)任务进行预測(ce)。整(zheng)个过程类似(si)于蘇(su)格拉(la)底(di)式的教(jiao)学方法，教师問(wen)学生问题，引(yin)导他们通过一个理性的思(si)維(wei)过程来解答(da)。

在「苏格拉底模型」中，研究人員(yuan)證(zheng)明(ming)了這(zhe)种方法可以在zero-shot图像(xiang)描述和视頻(pin)文本檢(jian)索(suo)任务中实现最(zui)先进的性能，并且(qie)还能支(zhi)持(chi)新的功(gong)能，比如(ru)回答关于视频的free-form问题和预测未(wei)来的活动，多模态輔(fu)助对話(hua)，以及(ji)机器人感(gan)知和规划。

論(lun)文鏈(lian)接(jie)：https://arxiv.org/abs/2204.00598

在「邁(mai)向(xiang)有益(yi)的机器人: 机器人可用性的基础语言」一文中，研究人员与Everyday Robots合作，在机器人可用性模型中基于PaLM语言模型规划長(chang)期任务。

博(bo)客(ke)链接：https://ai.googleblog.com/2022/08/towards-helpful-robots-grounding.html

在之前的机器学习方法中，机器人只能接受(shou)諸(zhu)如「撿(jian)起(qi)海(hai)綿(mian)」等(deng)簡(jian)短(duan)的硬编码命(ming)令，并且難(nan)以推理完成任务所需的步(bu)驟(zhou)，如果(guo)任务是一个抽(chou)象(xiang)的目(mu)標(biao)，比如「妳(ni)能帮忙(mang)清(qing)理这些(xie)灑(sa)出来的東(dong)西(xi)嗎(ma)?」，就更难處(chu)理了。

研究人员選(xuan)擇(ze)使用 LLM 来预测完成长期任务的步骤順(shun)序(xu)，以及一个表(biao)示机器人在给定情況(kuang)下实际能够完成的技能的affordance 模型。

強(qiang)化学习模型中的價(jia)值(zhi)函(han)数可以用来建立(li)affordance 模型，即一个机器人在不同(tong)狀(zhuang)态下可以执行的动作的抽象表示，從(cong)而将现实世界中的长期任务，如「整理臥(wo)室(shi)」与完成任务所需的短期技能，如正确挑选、放(fang)置(zhi)和安排(pai)物(wu)品等聯(lian)系起来。

论文链接：https://arxiv.org/abs/2111.03189

同时擁(yong)有 LLM 和affordance 模型并不意(yi)味(wei)著(zhe)机器人能够成功地完成任务，通过內(nei)心獨(du)白(bai)（ Inner Monologue），可以结束(shu)基于 LLM 的任务规划中的循(xun)环；利(li)用其他信息来源(yuan)，如人工反(fan)饋(kui)或(huo)场景理解，可以检测机器人何(he)时无法正确完成任务。

论文链接：https://arxiv.org/abs/2207.05608

利用Everyday Robots中的一个机器人，研究人员发现 LLM 可以有效地重(zhong)新规划当前或以前的失(shi)敗(bai)计划步，机器人可以从失败中恢(hui)復(fu)并完成复雜(za)的任务，比如「把一个可樂(le)放在最上面(mian)的抽屜(ti)裏(li)」。

在基于 LLM 的任务规划中，其中一个突(tu)出能力就是机器人可以对高级目标中间任务的變(bian)化做出反应：例(li)如，用户可以告(gao)訴(su)机器人在发生的事，通过提供快速(su)糾(jiu)正或重定向机器人到另(ling)一个任务，从而可以改(gai)变已经规划好的行动，对于让用户交互(hu)式地控(kong)制(zhi)和定制机器人任务特別(bie)有用。

雖(sui)然自然语言使人们更容(rong)易(yi)指定和修(xiu)改机器人的任务，但还有一个挑战是对人类描述做出实时反应。

研究人员提出了一个大规模的模仿(fang)学习框(kuang)架(jia)，用于生产实时的、开放詞(ci)匯(hui)的、以语言为條(tiao)件(jian)的机器人，能够处理超过87,000个独特的指令，估(gu)计平(ping)均(jun)成功率(lv)为93.5% ；作为該(gai)項(xiang)目的一部(bu)分，谷歌还发布(bu)了当下规模最大的语言标注机器人数據(ju)集(ji) Language-Table

论文链接：https://arxiv.org/pdf/2210.06407.pdf

并且，用LLM 编寫(xie)代(dai)码来控制机器人动作也是一个有前景的研究方向。

研究人员开发的代码编写方法展示了增(zeng)加(jia)任务复杂性的潛(qian)力，机器人可以通过自主生成新代码来重新組(zu)合 API 調(tiao)用，合成新函数，并表達(da)反馈循环来在運(yun)行时合成为新行为。

论文链接：https://arxiv.org/abs/2209.07753

将机器人学习轉(zhuan)化为一个可扩展的数据问题

大型语言和多模态模型可以帮助机器人理解他们操(cao)作的环境，比如场景中发生了什么以及机器人应该做什么；但是机器人也需要低层次的物理技能来完成物理世界中的任务，比如拾(shi)起和精(jing)确放置物体。

虽然人类经常認(ren)为这些身体技能是理所当然的，无需思考(kao)的情况下就能完成各(ge)种动作，但对机器人来說(shuo)卻(que)是个难题。

比如，机器人在拾取物体时，需要感知和理解环境，推导出手爪(zhao)与物体之间的空间关系和接觸(chu)动力学，精确地驅(qu)动高自由度手臂(bi)，并施(shi)加適(shi)当的力量以穩(wen)定地抓(zhua)取物体而不破(po)壞(huai)物体。

学习到这些低层次技能的难题被(bei)稱(cheng)为莫(mo)拉维克(ke)悖(bei)论：推理只需要很(hen)少(shao)的计算，但感觉运动和知觉技能需要大量的计算資(zi)源。

受到 LLM 的成功啟(qi)发，研究人员采用一种数据驱动的方法，将学习低层次物理技能的问题转变为一个可扩展的数据问题：LLM 表明，大型Transformer模型的通用性和性能隨(sui)着数据量的增加而增加。

论文链接：https://robotics-transformer.github.io/assets/rt1.pdf

研究人员提出机器人Transformer -1 (RT-1) 模型，训练了一个机器人操作策(ce)略(lve)，用到的训练数据为13万个episodes的大规模现实世界的机器人数据集，使用了来自Everyday Robots的13个机器人，覆(fu)蓋(gai)了700多个任务，并顯(xian)示了机器人技术的相同趨(qu)勢(shi)，即增加数据的规模和多样性可以提高模型对新任务、环境和对象的泛化。

在语言模型和机器人学习方法(如 RT-1)的背(bei)后，都是 Transformer模型基于互联網(wang)规模的数据训练得到的；但与 LLM 不同的是，机器人学面臨(lin)着不斷(duan)变化的环境和有限计算的多模态表示的挑战。

2020年，谷歌提出了一种能够提高Transformer计算效率的方法Performers，影(ying)響(xiang)到包(bao)括(kuo)机器人技术在内的多个应用场景。

最近研究人员扩展该方法，引入(ru)一类新的隱(yin)式控制策略，结合了模擬(ni)学习的優(you)势和对系統(tong)約(yue)束的魯(lu)棒(bang)处理(模型预估计控制的约束)。

论文链接：https://performermpc.github.io/

与标準(zhun)的 MPC 策略相比，实驗(yan)结果显示机器人在实现目标方面有40% 以上的进步，在人类周(zhou)圍(wei)导航(hang)时，social指标上有65% 以上的提升(sheng)；Performance-MPC 为8.3 M 参数模型的延(yan)遲(chi)仅为8毫(hao)秒(miao)，使得在机器人上部署(shu)Transformer变得可行。

谷歌的研究團(tuan)隊(dui)还证明，数据驱动方法通常适用于不同环境中的不同机器人平臺(tai)，以学习範(fan)围广泛的任务，包括移(yi)动操作、导航、运动和乒(ping)乓(pang)球(qiu)等，也为学习低层次机器人技能指明了一条明确的道路：可扩展的数据收(shou)集。

与互联网上豐(feng)富(fu)的视频和文本数据不同，机器人数据極(ji)其稀(xi)缺(que)，难以获取，收集和有效使用代表真实世界交互的丰富数据集的方法是数据驱动方法的关鍵(jian)。

仿真是一种快速、安全和易于并行化的选择，但是在仿真中很难复制完整的环境，特别是物理环境和人机交互环境。

论文链接：https://arxiv.org/abs/2207.06572

在 i-Sim2Real 中，研究人员展示了一种方法，通过从简單(dan)的人类行为模型中自舉(ju)，并在模拟训练和在现实世界中部署之间交替(ti)进行，来解決(jue)仿真与现实之间的不匹(pi)配问题，并学习与人类对手打(da)乒乓球，在每(mei)次叠(die)代中，人类行为模型和策略都會(hui)得到細(xi)化。

虽然模拟可以辅助收集数据，但是在现实世界中收集数据对于微调模拟策略或在新环境中适应现有策略至(zhi)关重要。

在学习过程中，机器人很容易失败，并可能会对它自身和周围环境造成損(sun)害(hai)，特别是在探(tan)索如何与世界互动的早(zao)期学习階(jie)段(duan)，需要安全地收集训练数据，使得机器人不仅学习技能，还可以从故(gu)障(zhang)中自主恢复。

论文链接：https://arxiv.org/abs/2110.05457

研究人员提出了一个安全的 RL 框架，在「学习者策略」和「安全恢复策略」之间进行切(qie)換(huan)，前者优化为执行所需任务，后者防(fang)止(zhi)机器人处于不安全状态；训练了一个复位(wei)策略，这样机器人就能从失败中恢复过来，比如在跌(die)倒(dao)后学会自己(ji)站(zhan)起来。

虽然机器人的数据很少，但是人类执行不同任务的视频却很多，当然机器人和人的构造有不同之处，因(yin)此(ci)让机器人向人类学习的想(xiang)法引发了「 跨(kua)不同实体遷(qian)移学习」的问题。

论文链接：https://arxiv.org/pdf/2106.03911.pdf

研究人员开发了交叉(cha)具(ju)身反向强化学习（Cross-Embodiment Inverse Reinforcement Learning），通过觀(guan)察(cha)人类来学习新的任务，并非是試(shi)图像人类那(na)样精确地复制任务，而是学习高层次的任务目标，并以獎(jiang)勵(li)函数的形(xing)式总结这些知识，示范学习可以让机器人通过观看互联网上随时可用的视频来学习技能。

另一个方向是提高学习算法的数据效率，这样就不再(zai)仅仅依(yi)賴(lai)于扩展数据收集：通过合并先验信息，包括预测信息、对抗(kang)性动作先验和指导策略，提高了 RL 方法的效率。

论文链接：https://arxiv.org/abs/2210.10865

利用一种新的结构化动力系统体系结构，将 RL 与軌(gui)跡(ji)优化相结合，在新型求解器的支持下，得到了进一步的改进，先验信息有助于緩(huan)解勘(kan)探的挑战，更好地规范数据，并大大減(jian)少了所需的数据量。

此外(wai)，机器人团队还投(tou)入了大量的资金(jin)在更有效的数据模拟学习上，实验证明了一种简单的模仿学习方法 BC-Z 可以对训练中没有看到的新任务进行zero-shot泛化。

论文链接：https://arxiv.org/pdf/2210.02343.pdf

并且还引入了一个迭代模仿学习算法 GoalsEye，从遊(you)戲(xi)中学习和目标条件行为克隆(long)相结合，用于高速高精度的乒乓球游戏。

论文链接：https://sites.google.com/view/goals-eye

在理论方面，研究人员研究了表征(zheng)模拟学习样本复杂性的动态系统稳定性，以及捕(bu)获演(yan)示数据中的失效和恢复以更好地调節(jie)小数据集離(li)線(xian)学习的作用。

论文链接：https://proceedings.mlr.press/v168/tu22a.html

总结

人工智能领域大型模型的进步促(cu)进了机器人学习能力的飛(fei)躍(yue)。

在过去(qu)的一年里，可以看到 LLM 中捕捉(zhuo)到的上下文感觉和事件顺序帮助解决机器人技术的长期规划，并使机器人更容易与人互动和完成任务。还可以看到用可扩展的路徑(jing)来学习鲁棒性和泛化机器人行为，通过应用Transformer模型架构的机器人学习。

谷歌承(cheng)諾(nuo)将继续开放源代码数据集，在新的一年继续发展有用的机器人。

参考资料(liao)：

https://ai.googleblog.com/2023/02/google-research-2022-beyond-robotics.html返(fan)回搜(sou)狐(hu)，查(zha)看更多

责任编辑：