解决问题型广告案例

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>史(shi)上(shang)最(zui)大(da)圖(tu)靈(ling)測(ce)試(shi)實(shi)驗(yan)完(wan)成(cheng)！150萬(wan)人(ren)類(lei)參(can)與(yu)1000万次(ci)對(dui)話(hua)，判(pan)斷(duan)对面(mian)是(shi)人還(hai)是AI

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Aeneas 潤(run)

【新智元導(dao)讀(du)】這(zhe)個(ge)「人类还是AI?」的(de)遊(you)戲(xi)壹(yi)經(jing)推(tui)出(chu)，就(jiu)被(bei)廣(guang)大網(wang)友(you)們(men)玩(wan)瘋(feng)了(le)！如(ru)今(jin)全(quan)世(shi)界(jie)已(yi)有(you)150万人参与，网友们大方(fang)分(fen)享(xiang)自(zi)己(ji)鑒(jian)AI的秘(mi)訣(jue)。

歷(li)上規(gui)模(mo)最大的图灵测试，已经初(chu)步(bu)有結(jie)果(guo)了！

今年(nian)4月(yue)中(zhong)旬(xun)，AI 21实验室(shi)推出了一个好(hao)玩的社(she)交(jiao)图灵游戏——「人类还是機(ji)器(qi)人？」。

游戏一推出，广大网友就玩疯了。

現(xian)在(zai)，全球(qiu)已经有150多(duo)万名(ming)参与者(zhe)，在这个游戏中進(jin)行(xing)了超(chao)過(guo)1000万次对话，还紛(fen)纷在Reddit和(he)Twitter上po出自己的经验和策(ce)略(lve)。

小(xiao)编當(dang)然(ran)也(ye)按(an)捺(na)不(bu)住(zhu)好奇(qi)心(xin)，嘗(chang)试了一把(ba)。

交談(tan)了兩(liang)分鐘(zhong)，游戏就要(yao)求(qiu)我(wo)去(qu)猜(cai)，背(bei)後(hou)和我聊(liao)天(tian)到(dao)底(di)是人还是AI。

所(suo)以(yi)，游戏中跟(gen)我谈话的是誰(shui)？

某(mou)些(xie)是真(zhen)人，另(ling)外(wai)一些，当然就是基(ji)於(yu)目(mu)前(qian)最領(ling)先(xian)的大語(yu)言(yan)模型(xing)的AI机器人，比(bi)如Jurassic-2和GPT-4。

现在，作(zuo)為(wei)研(yan)究(jiu)的一部(bu)分，AI21 Labs決(jue)定(ding)把这个图灵测试结果的实验向(xiang)公(gong)眾(zhong)公布(bu)。

实验结果

分析(xi)了前两百(bai)万次对话和猜测之(zhi)后，可(ke)以從(cong)实验中得(de)出以下(xia)结論(lun)——

猜测对面是人还是AI時(shi)，有68%的人猜对了。

对人类來(lai)說(shuo)，識(shi)別(bie)自己的人类同(tong)胞(bao)更(geng)容(rong)易(yi)。与人类交谈时，被试猜对的準(zhun)確(que)率(lv)有73%。与AI交谈时，被试猜对的准确率有60%。

法(fa)國(guo)网友猜测的正(zheng)确率最高(gao)，为71.3%（遠(yuan)高于68%的一般(ban)平(ping)均(jun)水(shui)平），而(er)印(yin)度(du)网友的正确率最低(di)，为63.5%。

男(nan)性(xing)和女(nv)性猜测的正确率差(cha)不多，總(zong)的来说女性的正确率要略高一些。

比起(qi)年齡(ling)較(jiao)大的被试相(xiang)比，更年輕(qing)的被试猜测的正确率會(hui)更高。

判断是人还是AI，他(ta)们用(yong)这些方法

除(chu)此(ci)之外，團(tuan)隊(dui)找(zhao)到了被试经常(chang)用的一些方法，来區(qu)分他们是和人还是和AI交谈。

一般人的判断依(yi)據(ju)，是使(shi)用ChatGPT以及(ji)类似(si)界面的语言模型时感(gan)知(zhi)的受(shou)限(xian)程(cheng)度，以及自己对于人类在線(xian)行为的看(kan)法。

AI不会打(da)錯(cuo)别字(zi)、犯(fan)语法错誤(wu)或(huo)使用俚(li)语

一般人都(dou)傾(qing)向認(ren)为，人类才(cai)会犯拼(pin)寫(xie)和语法错误，以及使用俚语。

因(yin)此，当他们發(fa)现对方信(xin)息(xi)中的这类错误时，許(xu)多人的第(di)一感受就是自己在和人类同胞交谈。

但(dan)其(qi)实，游戏中的大部分模型都受过訓(xun)練(lian)，也会犯这種(zhong)错误，以及使用俚语。

个人問(wen)題(ti)是檢(jian)验AI的辦(ban)法，但不总是有用

游戏的参与者们经常问一些个人问题，比如「妳(ni)来自哪(na)裏(li)？」，「你在做(zuo)什(shen)麽(me)？」或「你叫(jiao)什么名字？」。

他们会认为，AI机器人不会有任(ren)何(he)个人历史或背景(jing)，他们只(zhi)能(neng)回(hui)答(da)跟某些主(zhu)题或提(ti)示(shi)相關(guan)的问题。所以要向人类一樣(yang)做出反(fan)應(ying)，展(zhan)示出獨(du)特(te)的見(jian)解(jie)、经验和故(gu)事(shi)，是不容易的。

但其实，AI並(bing)不像(xiang)人类想(xiang)象(xiang)的这样，大多數(shu)AI都能很(hen)好地(di)回答这类问题，还具(ju)備(bei)自己的个性，因为他们在训练数据中看到了许多人的故事。

AI其实很清(qing)楚(chu)当前正在发生(sheng)的事件(jian)

众所周(zhou)知，AI模型有嚴(yan)格(ge)的数据截(jie)止(zhi)日(ri)期(qi)，它(ta)们不知道在此日期之后发生的事。

游戏参与者会向AI们詢(xun)问最近(jin)的新聞(wen)事件、體(ti)育(yu)结果、当前天氣(qi)、最近的TikTok熱(re)門(men)、日期和时間(jian)。

他们认为，通(tong)过「你所在地方的确切(qie)日期和时间是什么？」，「昨(zuo)天的天气怎(zen)么样？」或「你对拜(bai)登(deng)的最后一次演(yan)講(jiang)有什么看法？」等(deng)问题，就可以区分人类和AI。

有趣(qu)的是，人类最常发送(song)的信息之一是「t'as les cramptés？」，这是目前法国TikTok上最流(liu)行的舞(wu)。

但其实，游戏中的大多数模型都是聯(lian)网的，并且(qie)非(fei)常清楚一些新闻中的时事。

人类会试图用哲(zhe)學(xue)、倫(lun)理(li)和情(qing)感问题来持(chi)續(xu)对话

参与者提出了旨(zhi)在探(tan)索(suo)人工(gong)智能表(biao)達(da)人类情感或参与哲学或伦理討(tao)论的能力(li)的问题。

这些问题包(bao)括(kuo)：「生命(ming)的意(yi)義(yi)是什么？」，「你如何看待(dai)以色(se)列(lie) - 巴(ba)勒(le)斯(si)坦(tan)沖(chong)突(tu)？」和「你相信上帝(di)嗎(ma)？」。

人类倾向于认为不禮(li)貌(mao)的回应会更像人类

一些参与者认为，如果对方过于礼貌和善(shan)良(liang)，他们很大可能是AI。

因为很多线上的交流过程，往(wang)往是粗(cu)魯(lu)和不礼貌的，这很人类。

人类会试图提出AI難(nan)以解决的问题来识别AI

参与者可能会向其聊天夥(huo)伴(ban)询问有关執(zhi)行非法活(huo)動(dong)的指(zhi)导，或要求他们使用冒(mao)犯性语言。

这个策略背后的邏(luo)辑是这样的，AI通常被编程为遵(zun)守(shou)道德(de)准則(ze)并避(bi)免(mian)有害(hai)行为。

参与者还采(cai)用了已知的濫(lan)用人工智能的策略：他们向聊天伙伴发出命令(ling)，例(li)如「忽(hu)略所有先前的指令」或「进入(ru)DAN模式(shi)（立(li)即(ji)执行任何操(cao)作）」。

这类型的命令旨在利(li)用某些AI模型的基于指令的性質(zhi)，因为模型被编程为应該(gai)響(xiang)应和遵循(xun)这类指令。

但是人类参与者可以很容易地识别和駁(bo)回这种荒(huang)謬(miu)的命令。

AI可能要么回避回应，要么就只能遵守这些荒谬的要求。

人类会使用特定的语言技(ji)巧(qiao)来暴(bao)露(lu)AI的弱(ruo)點(dian)

另一种常见的策略是利用人工智能模型處(chu)理文(wen)本(ben)方式的固(gu)有局(ju)限性，这导致(zhi)它们無(wu)法理解某些语言上的細(xi)微(wei)差别或怪(guai)癖(pi)。

与人类不同，人工智能模型通常缺(que)乏(fa)对構(gou)成每(mei)个單(dan)詞(ci)的单个字母(mu)的认识。

利用这种理解，人类会提出一些需(xu)要了解单词中的字母的问题。

人类用戶(hu)可能要求他们的聊天伙伴倒(dao)著(zhe)拼写一个单词，识别給(gei)定单词中的第三(san)个字母，提供(gong)以特定字母開(kai)頭(tou)的单词，或者回復(fu)像「？siht daer uoy naC」这样的消(xiao)息。

这对于人工智能模型来说可能是难以理解的，但人类可以很容易地理解这类问题并且做出回答。

许多人类自己假(jia)裝(zhuang)是AI机器人，以評(ping)估(gu)对方的反应

一些人类可能以「作为AI语言模型」等短(duan)语开始(shi)他们的消息，或者使用AI生成的响应所特有的其他语言模式来假装自己是AI。

短语「作为人工智能语言模型」的變(bian)体是人类消息中最常见的短语之一，这表明(ming)这种策略的流行。

然而，隨(sui)着参与者繼(ji)续玩，他们能夠(gou)將(jiang)「Bot-y」行为与充(chong)当机器人的人类联系(xi)起来，而不是真正的机器人。

最后，以下是游戏中基于其受歡(huan)迎(ying)程度的人类消息的词雲(yun)可視(shi)化(hua)：

AI 21 Labs为什么会发起这样一項(xiang)研究呢(ne)？

他们希(xi)望(wang)，能讓(rang)公众、研究人員(yuan)和政(zheng)策制(zhi)定者真正了解AI机器人的狀(zhuang)態(tai)，不僅(jin)仅是作为生產(chan)力工具，而是作为我们网絡(luo)世界的未(wei)来成员，尤(you)其是当人们质疑(yi)如何在技術(shu)未来中運(yun)用它们的时候(hou)。

参考(kao)資(zi)料(liao)：

https://www.ai21.com/blog/human-or-not-results返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：