原生广告创意

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>GPT-4考(kao)90分(fen)全(quan)假(jia)！30年(nian)資(zi)深(shen)律(lv)師(shi)用(yong)ChatGPT打(da)官(guan)司(si)，6個(ge)虛(xu)假案(an)例(li)成(cheng)笑(xiao)柄(bing)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：桃(tao)子(zi) 拉(la)燕(yan)

【新智元導(dao)讀(du)】ChatGPT又(you)有(you)什(shen)麽(me)錯(cuo)呢(ne)？美(mei)國(guo)律师向(xiang)法(fa)院(yuan)提(ti)交(jiao)的(de)文(wen)件(jian)中(zhong)，竟(jing)引(yin)用了(le)6个根(gen)本(ben)不(bu)存(cun)在(zai)的案例，反(fan)倒(dao)惹(re)禍(huo)上(shang)身(shen)被(bei)制(zhi)裁(cai)。

ChatGPT，真(zhen)的不可(ke)信(xin)！

在美国近(jin)來(lai)的壹(yi)起(qi)訴(su)訟(song)案件中，一位(wei)律师幫(bang)原(yuan)告(gao)打官司，引用了ChatGPT捏(nie)造(zao)的6个不存在的案例。

法官當(dang)庭(ting)指(zhi)出(chu)，律师的辯(bian)護(hu)狀(zhuang)是(shi)一个徹(che)頭(tou)彻尾(wei)的謊(huang)言(yan)，簡(jian)直(zhi)離(li)了大(da)譜(pu)。

然(ran)而(er)，律师為(wei)自(zi)己(ji)辩护中，甚(shen)至(zhi)提交了和(he)ChatGPT聊(liao)天(tian)截(jie)圖(tu)的證(zheng)據(ju)。

顯(xian)然，ChatGPT稱(cheng)「這(zhe)些(xie)案例都(dou)是真實(shi)存在的」。

本为原告打的官司，自己竟惹祸上身，將(jiang)受(shou)到(dao)制裁，这波(bo)操(cao)作(zuo)瞬(shun)間(jian)在網(wang)上引起軒(xuan)然大波。

畢(bi)竟，GPT-4剛(gang)誕(dan)生(sheng)時(shi)，OpenAI放(fang)出它(ta)在律师资格(ge)考試(shi)（UBE）的成績(ji)，還(hai)拿(na)到了90分。

网友(you)警(jing)告，千(qian)萬(wan)不要(yao)用ChatGPT進(jin)行(xing)法律研(yan)究(jiu)！！！

还有人(ren)戲(xi)称，要怪(guai)就(jiu)怪妳(ni)的prompt不行。

律师承(cheng)認(ren)使(shi)用ChatGPT

这起诉讼的起始(shi)和其(qi)他(ta)許(xu)多(duo)案件一樣(yang)。

一位名(ming)叫(jiao)Roberto Mata的男(nan)子在飛(fei)往(wang)紐(niu)約(yue)肯(ken)尼(ni)迪(di)国際(ji)機(ji)場(chang)的航(hang)班(ban)上，不幸(xing)被一輛(liang)餐(can)車(che)撞(zhuang)到膝(xi)蓋(gai)，导致(zhi)受傷(shang)。

由(you)此(ci)，他便(bian)要起诉这架(jia)航班的「哥(ge)倫(lun)比(bi)亞(ya)航空(kong)公(gong)司」（Avianca）。

Mata聘(pin)請(qing)了Levidow，Levidow & Oberman律所(suo)的一位律师来替(ti)自己打这个官司。

接(jie)手(shou)案子後(hou)，律师Steven A. Schwartz向法院提交了一份(fen)10頁(ye)的辩护状。其中，引用了6个相(xiang)關(guan)的法院判(pan)決(jue)：

Varghese V. 中国南(nan)方(fang)航空公司

Shaboon V. 埃(ai)及(ji)航空公司

Petersen V. 伊(yi)朗(lang)航空公司

Martinez 達(da)美航空公司

Estate of Durden V. 荷(he)蘭(lan)皇(huang)家(jia)航空公司

Miller V. 美国聯(lian)合(he)航空公司

原文件：

然而，讓(rang)所有人震(zhen)驚(jing)的是，從(cong)案件本身，到司法判决，再(zai)到內(nei)部(bu)引文，全是假的！

为什么假？因(yin)为是ChatGPT生成的。

这不，麻(ma)煩(fan)就来了。

目(mu)前(qian)，對(dui)方律师考慮(lv)舉(ju)行聽(ting)证會(hui)，对原告律师进行制裁。

Schwartz律师，可以(yi)說(shuo)已(yi)經(jing)非(fei)常(chang)资深，在纽约从事(shi)法律工(gong)作已有30年。

从他的話(hua)中得(de)知(zhi)，自己吃(chi)了大虧(kui)，竟是从来沒(mei)用過(guo)ChatGPT，由此没有意(yi)識(shi)到它生成的内容(rong)是假的。说来，还是太(tai)离谱。

原告律师Steven A. Schwartz在一份宣(xuan)誓(shi)書(shu)中承认，他確(que)实用了ChatGPT进行相关研究。

为了驗(yan)证这些案件的真实性(xing)，他做(zuo)了唯(wei)一一件合理(li)的事：让ChatGPT验证这些案件的真实性。

他告诉法官，「自己無(wu)意欺(qi)騙(pian)法庭或(huo)航空公司」。

当他詢(xun)問(wen)ChatGPT这些案件的来源(yuan)时，ChatGPT先(xian)是为之(zhi)前的表(biao)述(shu)不清(qing)道歉(qian)，但(dan)还是堅(jian)称这些案件都是真实的，可以在Westlaw和LexisNexis上找(zhao)到。

而对方律师也(ye)同(tong)样坚持(chi)，来自Levidow & Oberman律师事務(wu)所的原告律师是多么荒(huang)唐(tang)可笑，由此才(cai)引發(fa)了法庭对这个細(xi)節(jie)的重(zhong)視(shi)。

在其中一个案例中，有个叫Varghese的人起诉中国南方航空有限(xian)公司。然而这件事壓(ya)根不存在。

ChatGPT好(hao)像(xiang)引用了另(ling)一个案件——Zicherman起诉大韓(han)航空有限公司。而ChatGPT把(ba)日(ri)期(qi)、案件细节什么的都搞(gao)错了。

Schwartz此时才悔(hui)恨(hen)地(di)表示(shi)，他没有意识到ChatGPT可能(neng)提供(gong)假案件，現(xian)在他非常后悔用生成式(shi)AI来进行法律研究。

法官表示，这種(zhong)情(qing)況(kuang)前所未(wei)見(jian)，並(bing)将於(yu)6月(yue)8日举行听证会，討(tao)論(lun)可能的制裁措(cuo)施(shi)。

这件事情再次(ci)體(ti)现了一个很(hen)重要的事实，那(na)就是用完(wan)ChatGPT必(bi)須(xu)用其它来源进行雙(shuang)重，甚至三(san)重查(zha)证。

而AI模(mo)型(xing)在信息(xi)輸(shu)入(ru)上出现重大事实错誤(wu)已经不是第(di)一次了，谷(gu)歌(ge)的Bard也遇(yu)到过这种问題(ti)。

90分？GPT-4成绩被誇(kua)大

还記(ji)得GPT-4刚刚发布(bu)那天，「小(xiao)鎮(zhen)做题家」在各(ge)項(xiang)考试指標(biao)上接近滿(man)分的水(shui)平(ping)。

尤(you)其，在美国統(tong)一律师资格考试（UBE）中，GPT-4可以拿到90%水平，而ChatGPT（GPT-3.5）也僅(jin)拿到10%的分數(shu)。

但是，没过多久(jiu)，来自MIT的研究人員(yuan)Eric Martínez发了一篇(pian)论文，重新評(ping)估(gu)了GPT-4在Bar考试中的表现。

论文直言，GPT-4的律师考试成绩被夸大了。

论文地址(zhi)：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4441311

作者(zhe)在文中提出了4組(zu)发现，表明(ming)OpenAI对GPT-4在UBE的表现，盡(jin)管(guan)明显比GPT-3.5有令(ling)人印(yin)象(xiang)深刻(ke)的飞躍(yue)，但似(si)乎(hu)过于夸大。

特(te)別(bie)是，如(ru)果(guo)被当作代(dai)表「百(bai)分位数下(xia)限範(fan)圍(wei)」的保(bao)守(shou)估計(ji)。更(geng)不用说，意在反映(ying)一位執(zhi)業(ye)律师的实际能力(li)了。

首(shou)先，GPT-4的律师考试成绩，是與(yu)2月份伊利(li)諾(nuo)伊州(zhou)律师考试的應(ying)试者相比較(jiao)的。

值(zhi)得註(zhu)意的是，这些考生都是復(fu)读生，不難(nan)理解(jie)，他們(men)的分数可能会更差(cha)。

其次，最(zui)近一次七(qi)月份考试的数据表明，GPT-4的UBE成绩为68%。

第三，通(tong)过檢(jian)查官方NCBE数据，并使用若(ruo)幹(gan)保守的统计假設(she)，估计GPT-4在所有首次考试中实现63%。

最后，当只(zhi)考虑那些通过考试的人（即(ji)已獲(huo)得许可或待(dai)许可的律师）时，預(yu)计GPT-4的表现将下降(jiang)到48%。

网友称，更準(zhun)确来说，GPT-4应該(gai)只有63分，或者68分。

文中，作者还提供了深刻的见解，探(tan)讨了将法律任(ren)务外(wai)包(bao)給(gei)AI模型的可取(qu)性和可行性。

甚至，人工智能開(kai)发人员实施嚴(yan)格和透(tou)明的能力评估，以帮助(zhu)确保安(an)全和可靠(kao)的人工智能的重要性。

要是，原告的那位律师看(kan)过这项研究后，说不定(ding)就不会吃大亏了。

ChatGPT胡(hu)说八(ba)道

歸(gui)根結(jie)底(di)，ChatGPT能夠(gou)编造出6个不在的案例，还是因为它固(gu)有的「幻(huan)覺(jiao)」问题。

直白(bai)来講(jiang)，就是張(zhang)口(kou)胡说八道的天性所致。

就連(lian)馬(ma)斯(si)克(ke)都想(xiang)拯(zheng)救(jiu)这个致命(ming)的问题，官宣推(tui)出了名为TruthGPT的AI平臺(tai)。

马斯克曾(zeng)表示，TruthGPT将是一个「最大的求(qiu)真人工智能」，它将试图理解宇(yu)宙(zhou)的本質(zhi)。

然而，别管什么GPT，幻觉很难搞定。

前段(duan)时间，OpenAI联合創(chuang)始人兼(jian)研究员John Schulman在演(yan)讲「RL and Truthfulness – Towards TruthGPT」中，讨论了幻觉產(chan)生的原因以及解决方案。

根据Schulman的说法，幻觉大致可以分为兩(liang)种類(lei)型：

1 模式完成行为，即語(yu)言模型无法表达自己的不确定性，无法质疑(yi)提示中的前提，或者繼(ji)續(xu)之前犯(fan)的错误

2 模型猜(cai)測(ce)错误

语言模型代表一种知识图谱，该图谱将訓(xun)練(lian)数据中的事实存儲(chu)在自己的网絡(luo)中。而微(wei)調(tiao)可以理解为「學(xue)習(xi)一个函(han)数」，能够在知识图谱上操作并输出token预测。

比如，微调数据集(ji)中，如果有包含(han)「星(xing)球(qiu)大戰(zhan)是什么片(pian)？」这个问题，以及「科(ke)幻」这个答(da)案。

要是这一信息在原始训练数据中存在，那么模型就不会学习新信息，而是学习一种行为——输出答案。而这种微调也被称为「行为克隆(long)」。

如果「星球大战是什么片？」这一问题的答案不是原始训练数据的一部分。即便不知道，模型也会学习正(zheng)确答案。

但问题是，使用这些不在知识图谱中的答案进行微调，就会让模型学会编造答案，即产生所謂(wei)的「幻觉」。

相反，要是用不正确的答案去(qu)训练模型，就会导致模型知识网络隱(yin)瞞(man)信息。

网友熱(re)评

此事一出，各位网友也是各抒(shu)己见。

Kim表示，不光(guang)是ChatGPT，其实人类也愛(ai)用想象来彌(mi)補(bu)知识盲(mang)區(qu)。只不过ChatGPT能裝(zhuang)的更逼(bi)真。关鍵(jian)在于，要搞清楚(chu)ChatGPT知道什么、不知道什么。

Zero提出了一个很有建(jian)设性的提議(yi)，那就是：以后ChatGPT再举事例，后面(mian)得附(fu)上来源鏈(lian)接。

Francis表示，早(zao)说过了，ChatGPT是一种生成式人工智能。意味(wei)著(zhe)它会根据输入的问题生成回(hui)答。无论它有多能模仿(fang)人类在理解问题后的精(jing)彩(cai)回答，也改(gai)變(bian)不了ChatGPT本身并不理解这个问题的事实。

Tricorn认为，这位原告律师不应该把鍋(guo)扔(reng)给ChatGPT，是他自己用错了。应该是把事例当作prompt的一部分输入进去，然后让ChatGPT填(tian)补中间缺(que)環(huan)的论证部分。

还有网友称，用ChatGPT要上點(dian)心(xin)，要不下一个超(chao)級(ji)碗(wan)就是你了。

这就是活(huo)靈(ling)活现的证据。ChatGPT等(deng)人工智能工具(ju)做人类的工作，真的是可能直接导致我(wo)们的大災(zai)难。

对于ChatGPT这个表现，你怎(zen)么看？

參(can)考资料(liao)：

https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.htm返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：