广告之外：探索无广告写作的另一种可能

ruanjianzidaidesousuoyinqinggongnengkeyibangzhuyonghukuaisumaidaozijixihuandeshangpin，fangbiankuaijie。zhinengdezhidingxuexijihua，rangyonghukeyikuaisudejinxingshiyong，huodegengduodebangzhu；nijianghuixuanzeyiweinenggourangzijixihuandejiaose，zhexiejiaoseyouzhegezhonghualidejinengxiaoguoozaiAndroid0yishangbanbenshang，buxuyaorootquanxian，keyizhijieshiyong。tansuodaokuaisuyidongdejiaotonggongju，nenggoujinxingkuaisutaoli，zengjiacunhuoxiaquxiwang；李(li)飛(fei)飞新(xin)作(zuo)登(deng)PNAS！AI與(yu)人(ren)類(lei)互(hu)動(dong)23萬(wan)次(ci)，智(zhi)能(neng)水(shui)平(ping)提(ti)高(gao)112%

新智元(yuan)報(bao)道(dao)

作者(zhe)：AI科(ke)技(ji)評(ping)論(lun)

編(bian)輯(ji)：桃(tao)子(zi)

【新智元導(dao)讀(du)】与人类互动23万次後(hou)，AI的(de)視(shi)覺(jiao)識(shi)別(bie)能力(li)提高了(le)112%。

人类從(cong)与他(ta)人的互动中(zhong)學(xue)習(xi)，而(er)目(mu)前(qian)的人工(gong)智能卻(que)常(chang)常只(zhi)能在(zai)与社(she)會(hui)隔(ge)離(li)的環(huan)境(jing)中学习。所(suo)以(yi)當(dang)我(wo)們(men)把(ba)壹(yi)個(ge)智能體(ti)放(fang)到(dao)真(zhen)實(shi)世(shi)界(jie)中時(shi)，它(ta)会不(bu)可(ke)避(bi)免(mian)地(di)在遇(yu)到大(da)量(liang)新的數(shu)據(ju)，無(wu)法(fa)應(ying)對(dui)不斷(duan)變(bian)化(hua)的新需(xu)求(qiu)。

如(ru)何(he)將(jiang)智能体从只有(you)一堆(dui)書(shu)的房(fang)間(jian)裏(li)「解(jie)放」出(chu)來(lai)，讓(rang)它在廣(guang)闊(kuo)的社会情(qing)境中学习，是(shi)一个新的挑(tiao)戰(zhan)。

最(zui)近(jin)，斯(si)坦(tan)福(fu)大学計(ji)算(suan)機(ji)系(xi)的 Ranjay Krishna、Donsuk Lee、李飞飞、Michael Bernstein 等(deng)人針(zhen)对此(ci)問(wen)題(ti)提出了一種(zhong)新的研(yan)究(jiu)框(kuang)架(jia)：

社会化人工智能（socially situated AI），即(ji)智能体通(tong)過(guo)在現(xian)实社会环境中与人的持(chi)續(xu)互动来学习。

论文(wen)“ Socially situated artificial intelligence enables learning from human interaction ”已(yi)發(fa)表(biao)在美(mei)國(guo)科学院(yuan)院刊(kan)（PNAS）上(shang)。

论文地址(zhi)：https://www.pnas.org/doi/epdf/10.1073/pnas.2115730119

在這(zhe)項(xiang)工作中，研究團(tuan)隊(dui)将社会化 AI 形(xing)式(shi)化為(wei)一个強(qiang)化学习的过程(cheng)，即智能体通过从社会互动中獲(huo)取(qu)的獎(jiang)勵(li)来学习识别有信(xin)息(xi)量的问题。在一个视觉问答(da)任(ren)務(wu)的測(ce)試(shi)中，与其(qi)他智能体相(xiang)比(bi)，社会化智能体识别新视觉信息的性(xing)能提高了 112%。

社会化 AI 的强化学习框架

目前，在叠(die)代(dai)擴(kuo)展(zhan)模(mo)型(xing)能力时，主(zhu)动学习是最常用(yong)的一个框架。它的目標(biao)是優(you)化一系列(lie)标註(zhu)請(qing)求以获取新的数据，並(bing)将新数据用於(yu)以盡(jin)可能少(shao)的请求来提高模型的性能。

主动学习已經(jing)被(bei)形式化为强化学习的过程，其中，真正(zheng)的人类角(jiao)色(se)被移(yi)除(chu)，只假(jia)設(she)存(cun)在一个能为所有请求提供(gong)标簽(qian)的「預(yu)言(yan)机」。

尽管(guan)純(chun)粹(cui)的主动学习方(fang)法也(ye)可以通过社会环境中的互动来收(shou)集(ji)新数据，但(dan)从用戶(hu)角度(du)看(kan)，他们并不願(yuan)意(yi)充(chong)当「预言机」的角色来做(zuo)重(zhong)復(fu)提供标签的勞(lao)动，这就(jiu)打(da)破(po)了主动学习的基(ji)本(ben)假设。

所以，我们必(bi)須(xu)探(tan)索(suo)智能体真正与人交(jiao)互的学习方法。要(yao)開(kai)发社会化的 AI，智能体不僅(jin)要收集数据来学习新概(gai)念(nian)，還(hai)要学习如何与人互动来收集数据。

而且(qie)，智能体必须要在交互学习（interacting to learn）和(he)学习交互（learning to interact）这兩(liang)个目标之(zhi)间進(jin)行(xing)權(quan)衡(heng)。这非(fei)常具(ju)有挑战性，因(yin)为智能体要遍(bian)歷(li)的可能交互空(kong)间是巨(ju)大的，只有一部(bu)分(fen)社会交互空间是有用的，并且信息交互空间还会隨(sui)著(zhe)智能体的学习进程而不断变化。

在强化学习中，我们将可能的交互形式化为行动空间，将反(fan)饋(kui)形式化为奖励，需要数億(yi)次交互才(cai)能获得(de)具有信息量和親(qin)社会的交互的子空间，这让很(hen)多(duo)研究人員(yuan)望(wang)而却步(bu)。所以，目前从与人类交互中学习的方法，通常只局(ju)限(xian)于人工标注或(huo)者小(xiao)的工作空间（如只有幾(ji)十(shi)个动作的遊(you)戲(xi)和仿(fang)真环境）。

为此，研究团队将社会化的 AI 形式化为一个迭代强化学习问题。

社会化 AI 的强化学习框架

其框架描(miao)述(shu)如下(xia)：

一个智能体被放置(zhi)在社会环境 E=(S，A，P，P0) 当中，它的目标是收集数据，以尽可能少的交互来优化模型的性能；

S 是环境狀(zhuang)態(tai)，如对話(hua)智能体的对话历史(shi)，或机器(qi)人智能体在三(san)維(wei)世界中当前位(wei)置；

A 是智能体可以发起(qi)的与人交互的可能空间，如对话智能体可以詢(xun)问的一組(zu)語(yu)句(ju)，或机器人智能体可以執(zhi)行的一组动作。；

P：S × A → S 是过渡(du)动力学（transition dynamics），如使(shi)用过渡函(han)数（transition function）编碼(ma)人们对智能体历史行为的反应以及(ji)环境的变化。；

最后，P0 是初(chu)始(shi)状态分布(bu)的概率(lv)测度。

總(zong)結(jie)而言，这樣(yang)一个迭代强化学习的过程包(bao)括(kuo)三个重要的方面(mian)：改(gai)进底(di)層(ceng)模型、发现社会規(gui)範(fan)、更(geng)新交互策(ce)略(lve)。它们貫(guan)穿(chuan)着智能体的整(zheng)个生(sheng)命(ming)周(zhou)期(qi)。

其中，智能体在人们可能会或可能不会做出信息回(hui)应的社会环境中与人进行互动，从而改进底层模型。只有当人的回应包含(han)对智能体有用的新信息时，回应才是有用的。因此，智能体必须与环境中数十万人的單(dan)次交互，从中選(xuan)擇(ze)能夠(gou)引(yin)发对模型有用的新概念的社会互动。

为了平衡智能体的交互学习和学习交互两个目标，我们可以引入(ru)知(zhi)识奖励（knowledge reward）来引导智能体进行交互以获得有用的新概念；同(tong)时采(cai)用交互奖励（interaction reward）来引导智能体进行符(fu)合(he)环境中社会规范的交互。

在使用新概念改进模型的基礎(chu)上，智能体会更新其策略，开始学习如何就人们有興(xing)趣(qu)回应的新概念提出问题，来改进自(zi)身(shen)性能还比較(jiao)差(cha)的部分。

从问答互动中改进视觉模型

为了驗(yan)證(zheng)社会化 AI 框架在计算机视觉中的实用性，作者在照(zhao)片(pian)共(gong)享(xiang)社交網(wang)絡(luo)应用 Instagram 上部署(shu)了一个社会化智能体，它向(xiang)人们提出自然(ran)语言问题，并从人的回应中提取答案(an)，收集视觉知识。

这种使用自然语言来获取视觉知识的方法，可以用来测试很多计算机视觉识别任务，如对象(xiang)檢(jian)测（圖(tu)像(xiang)中有什(shen)麽(me)？）、細(xi)粒(li)度识别（花(hua)瓶(ping)里是什么花？）、屬(shu)性分类（这張(zhang)桌(zhuo)子是用什么材(cai)料(liao)做的？）、知识庫(ku)推(tui)理(li)（这份(fen)食(shi)物(wu)是素(su)食嗎(ma)？）和常识推理（这张照片是在冬(dong)天(tian)拍(pai)攝(she)的吗？）等等。

在这项工作中，研究团队设计了一个计算机视觉问答模型，其輸(shu)入是一张图像和相应的自然语言问题，输出是一个自然语言答案。智能体提出的问题非常多样，如下图。

社会化智能体在社交媒(mei)体上发起的互动示(shi)例(li)

智能体的目标是从与人的交互中获得数据，提高模型识别视觉概念的能力。为了達(da)到这个目标，智能体需要一些(xie)「奖励」。如上文所述的框架，作者引入了知识奖励和互动奖励。

知识奖励衡量模型的在识别任务中的確(que)定(ding)性。在剛(gang)开始，识别模型不知道如何识别任何概念，但随着看到的特(te)定概念的增(zeng)長(chang)，它会对自己(ji)的判(pan)断更加(jia)肯(ken)定。比如，如果(guo)人们幫(bang)助(zhu)智能体将图像中的动物识别为鹿(lu)，那(na)么它的不确定性就会減(jian)少。

交互奖励則(ze)引导智能体的行为符合社區(qu)规范。如在社交网络中，人们更喜(xi)歡(huan)回答较短(duan)的问题、提供事(shi)实知识以及回避含糊(hu)不清(qing)的问题。所以智能体的每(mei)一次交互都(dou)会被标記(ji)为積(ji)極(ji)（產(chan)生了新信息）或消(xiao)极（未(wei)获得新信息），从而被不断訓(xun)練(lian)成(cheng)亲社会的。

最后，是如何尋(xun)找(zhao)有用的语言交互问题。这是一个组合性的搜(sou)索问题。一种直(zhi)接(jie)的方法可以将智能体的策略设计成一个从图像到提问的生成模型。随着模型性能的提升(sheng)，信息交互的空间会不断变化，因此组合搜索过程需要反复重复。

为了使搜索过程更易(yi)于處(chu)理，作者使用现有的信息最大化变分自动编码器来学习现实中人与人交互的表示：通过重新配(pei)置策略将输入图像映(ying)射(she)到表示空间中，并通过设计解码器从表示空间映射到单詞(ci)序(xu)列。

在社会化 AI 的框架中，智能体同时有两个目标：一个发起社交互动，让人们根(gen)据信息数据作出回应；另(ling)一个是通过收集有用的数据来改进其基础模型。这两个目标也成了智能体的评估(gu)指(zhi)标。

首(shou)先(xian)，为了评估該(gai)智能体获得回应的能力，我们需要测量对它所提问题的信息回应率（Informative Response Rate），也就是它收到问题答案（即获得有用的交互）的交互百(bai)分比。较高的信息回应率意味(wei)着对智能体对隱(yin)性社会规范有更好(hao)的理解，而较低(di)的信息回应率则意味着人们不給(gei)予(yu)回应，这会减慢(man)甚(shen)至(zhi)停(ting)止(zhi)智能体的学习进程。

其次，为了评估智能体识别新的视觉概念的能力，研究人员使用由(you) Amazon Mechanical Turk 的注釋(shi)器收集的 50104 个社交媒体图像、问题和答案，構(gou)成测试集，来评估视觉识别模型的準(zhun)确率。

此外(wai)，为了对照和比较使用社会化 AI 框架所涉(she)及的社会化智能体与其他智能体的区别，作者还部署了一个仅使用交互奖励的人类偏(pian)好智能体，一个仅使用知识奖励的主动学习智能体，以及一个基線(xian)智能体。

这个基线智能体不使用预训练的交互表示作为动作空间，它允(yun)許(xu)微(wei)調(tiao)解码器的參(can)数，使用整个组合词匯(hui)空间作为动作空间。而且，它同时使用交互奖励和知识奖励，并額(e)外添(tian)加了语言建(jian)模奖励，以鼓(gu)励它生成语法正确的语言。

所有这些智能体都使用近端(duan)策略梯(ti)度（proximal policy gradients）进行训练，而且都使用相同数量的数据进行初始化，并具有相同的策略和解码器架构。

实验进行了 8 个月(yue)，每个智能体可以发起至少 20 万次交互。当它们与人交互、并收集新的视觉知识时，信息回应率和识别准确率的变化结果表明(ming)，社会化智能体整体上优于其他智能体。

信息回应率更高

如下图，在 236000 次互动中，社会化智能体的信息回应率从最初的 22% 提高到 33%，相对提高了 50%。相比之下，主动学习和基线智能体在每次迭代后获得的回应较少，分别为 6% 和 12.3%。

信息回应率与发起的交互次数的關(guan)系。社会化智能体（綠(lv)色）和人类偏好的智能体（紫(zi)色）都使用交互奖励，在交互次数提高的同时信息回应率也更高；其他智能体的信息回应率随着交互次数的增加而下降(jiang)，这是因为交互会阻(zu)礙(ai)它们的数据采集。

具体来看，基线智能体在尽力探索所有可能的语言交互组合空间时，不可避免地会产生不連(lian)贯的问题，这导致(zhi)了回应率的下降，并产生一个惡(e)性循(xun)环，从而无法识别有用的交互。回应率下降到 6% 以后，研究人员将其終(zhong)止。

主动学习智能体的弊(bi)端则在于它会提出更长、更難(nan)的问题，无法引起人们的兴趣。例如，要回答“这些工具是为左(zuo)撇(pie)子还是右(you)撇子设计的？”这个问题，还得知道有关特定工具的知识以及是否(fou)可以用任何一只手(shou)操(cao)作。

人类偏好智能体的回应率最高，但它的提问又(you)太(tai)簡(jian)单了。比如，它会问「这件(jian)襯(chen)衫(shan)是什么顏(yan)色的？」

可以看到，当前实验中智能体的最高回应率是 33%，那么这一数值(zhi)还有多少上升空间呢(ne)？研究人员又进行了一项实验，聘(pin)请标注人员来人工编辑问题，以增加智能体获得回应的可能性。最终，智能体获得了 37% 的回应率，这代表了人类从既(ji)定社会环境中获得回应的平均(jun)能力。所以，智能体还有 4% 的社交能力提升空间。

识别准确率更高

再(zai)来看这些智能体在使用收集的数据来改进视觉模型方面表现如何。

与其他智能体相比，社会化智能体能使用更少的交互来提高识别准确率。它在 236000 次交互中实现了 39.44% 的模型性能（下图 B），从中收到了 70000 條(tiao)回应（下图 C）。

视觉模型性能与智能体发起的交互次数之间的关系。社会化智能体和主动学习智能体（橙(cheng)色）都使用知识奖励来收集有用数据，但主动学习智能体本身缺(que)少交互，要达到同样性能，它需要更多交互。

视觉模型性能与来自人的回应数量的关系。社会化智能体需要权衡知识与交互两种奖励，其准确率的提高与主动学习智能体相当，而后者只能最大化知识奖励。

相比之下，主动学习智能体共发起了 274893 次交互，但仅收到 30000 条回应，并且性能开始飽(bao)和，达到 31.4%，回应率也下降到 12.3%。

这再次表明，在某(mou)些社会环境中，纯粹的主动学习方法是不可行的。

而人类偏好智能体每次交互雖(sui)然都会收到更多回应，但它收集的数据并沒(mei)有改善(shan)视觉模型。因为它傾(qing)向于收集一小部分问题的答案，因此它的底层视觉模型开始过擬(ni)合，最后只生成与时间相关或与颜色相关的输出。

基线智能体也暴(bao)露(lu)出它的问题，即不连贯，收集的数据也没有用。

获取比傳(chuan)統(tong)数据集更多的新信息

最后，研究团队对使用社会化智能体收集的数据进行的训练与使用现有数据集中的数据进行的训练作了比较。

结果表明，前者的识别准确率遠(yuan)高于后者，这說(shuo)明社会化智能体可以获得传统数据集中不存在的新信息。

从社会互动中收集的数据与从传统数据集中的数据进行训练的准确率比较。使用来自现有数据集的相同数量的标签进行训练，仅将准确度从11.24%提高到17.45%；而使用来自社会互动的数据进行训练时，准确度从18.13%提高到39.44%。

总结一下，这项研究的重要創(chuang)新之处在于它提出了一个智能体从与人的交互中学习的形式框架，并通过使用语言交互的视觉模型验证了该框架的实用性。作者相信，这项工作将有助于更广泛(fan)的交互式智能体的研究。

本文经授(shou)权轉(zhuan)載(zai)自微信公(gong)眾(zhong)號(hao)「AI科技评论」（ID：aitechtalk）

返(fan)回搜狐(hu)，查(zha)看更多

責(ze)任编辑：