鞋广告全民必备，每个人都不能错过!

zidongsaomiaoyuyinxiaoxi，tigongweixinyuyinhebingdaochugongneng，duotiaoyuyinhebingweiyitiaoyuyinzhuanfa。150taochangyongduihua：duorenzaixianhudongyingyujiaoduanliankouyu，zhinengkouyucepingjiuzhengfayinlaihuodezijizhuanshudezuoqi，congerjiukeyirangzijishoujigengduodeziyuan，peiyangzijizuoqijinxingchengchang。zaizhegeshijieli，ninengdachengsuoyouduigongtingshijiedehuanxiang，suoyougongtingqingjieyicixingquanmanzu。youxizhongwanchengyixierichangrenwu，keyirangnilejiezhongdaanjiandexiansuo，bangzhunizhaodaotamen；離(li)譜(pu)！美(mei)國(guo)教(jiao)授(shou)用(yong)ChatGPT「證(zheng)實(shi)」論(lun)文(wen)抄(chao)襲(xi)，半(ban)個(ge)班(ban)學(xue)生(sheng)慘(can)遭(zao)掛(gua)科(ke)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Aeneas 好(hao)困(kun)

【新智元導(dao)讀(du)】天(tian)下(xia)苦(ku)GPT檢(jian)測(ce)器(qi)久(jiu)矣(yi)！用AI的(de)怕(pa)被(bei)揪(jiu)出(chu)來(lai)，沒(mei)用AI的怕被冤(yuan)枉(wang)。最(zui)近(jin)，又(you)發(fa)生了(le)壹(yi)起(qi)被AI誤(wu)判(pan)的冤假(jia)錯(cuo)案(an)。

离了个大(da)谱！

辛(xin)辛苦苦碼(ma)出的畢(bi)業(ye)论文，居(ju)然(ran)被教授拿(na)去(qu)放(fang)在(zai)ChatGPT裏(li)检测，然後(hou)就(jiu)被判定(ding)為(wei)抄袭？

教授因(yin)此(ci)挂掉(diao)了全(quan)班一半的人(ren)，然后学校(xiao)還(hai)因此拒(ju)发毕业证？

教授：被ChatGPT認(ren)領(ling)的，都(dou)得(de)0分(fen)

最近，在得克(ke)薩(sa)斯(si)農(nong)工(gong)大学（Texas A&M），发生了這(zhe)樣(yang)一件(jian)令(ling)人哭(ku)笑(xiao)不(bu)得的事(shi)。

为了检测学生提(ti)交(jiao)的论文是(shi)否(fou)作(zuo)弊(bi)，一位(wei)名(ming)叫(jiao)Jared Mumm的教授把(ba)他(ta)們(men)的论文提交給(gei)了ChatGPT。

他對(dui)学生们說(shuo)：我(wo)會(hui)把妳(ni)们的论文復(fu)制(zhi)粘(zhan)貼(tie)到(dao)ChatGPT中(zhong)，它(ta)会告(gao)訴(su)我，你们的论文是不是它生成(cheng)的。

「我会在兩(liang)个不同(tong)的時(shi)間(jian)段(duan)里，把每(mei)个人的最后三(san)篇(pian)论文放進(jin)去，如(ru)果(guo)这两次(ci)它们都被ChatGTP认领了，我就会给你0分。」

顯(xian)然，没有(you)任(ren)何(he)計(ji)算(suan)機(ji)相(xiang)關(guan)背(bei)景(jing)知(zhi)識(shi)的Mumm教授，对ChatGPT的原(yuan)理(li)一竅(qiao)不通(tong)。

实際(ji)上(shang)，ChatGPT並(bing)不能(neng)识別(bie)由(you)AI創(chuang)建(jian)的內(nei)容(rong)，即(ji)使(shi)是它自(zi)己(ji)寫(xie)的都不行(xing)。

甚(shen)至(zhi)，他連(lian)ChatGPT都没拼(pin)对——直(zhi)接(jie)写成了「Chat GPT」以(yi)及(ji)「chat GPT」。

結(jie)果，全班有一多(duo)半人的论文被ChatGPT不負(fu)責(ze)任地(di)「认领」，因而(er)挂了这一科。

更(geng)倒(dao)黴(mei)的是，大多數(shu)已(yi)毕业学生的文憑(ping)，因此直接被学校拒发了。

當(dang)然，Mumm教授也(ye)不是毫(hao)不留(liu)情(qing)，他为全班同学提供(gong)了重(zhong)做(zuo)作业的机会。

如何证明(ming)自己没用ChatGPT？

收(shou)到上面(mian)这封(feng)郵(you)件后，幾(ji)名学生写信(xin)给Mumm力(li)证自己的清(qing)白(bai)。他们提供了帶(dai)有时间戳(chuo)的Google Docs，来证明自己并没有使用ChatGPT。

但(dan)Mumm教授直接無(wu)視(shi)了这些(xie)電(dian)子(zi)邮件，只(zhi)在几个学生的評(ping)分軟(ruan)件中留下了这样的回(hui)應(ying)——我不给AI生成的狗(gou)屎(shi)评分。

不過(guo)，还是有学生「平(ping)反(fan)」了，據(ju)说，已經(jing)有一名学生被「无罪(zui)釋(shi)放」，并且(qie)得到了Mumm的道歉(qian)。

然而，讓(rang)情況(kuang)更复雜(za)的事，有两名学生「挺(ting)身(shen)而出」，承(cheng)认自己的確(que)在本(ben)学期(qi)使用过ChatGPT。

这一下子就让其(qi)他没有用ChatGPT写论文的学生，更難(nan)自证清白了……

对此，得克萨斯农工大学商(shang)学院(yuan)表(biao)示(shi)正(zheng)在調(tiao)查(zha)这一事件，但并没有学生不及格(ge)，也没有人因为这个問(wen)題(ti)被延(yan)毕。

学校表示，Mum教授正在一对一地與(yu)学生談(tan)話(hua)，了解(jie)他们写作业的过程(cheng)中是否使用了AI，使用到了什(shen)麽(me)程度(du)。个别学生的文凭將(jiang)被扣(kou)留，直到调查完(wan)成。

而学生们表示，自己并没有獲(huo)得文凭。

目(mu)前(qian)，事件还在调查中。

用ChatGPT检测ChatGPT？

那(na)么问题来了，ChatGPT能证明一篇文章(zhang)是不是自己写的嗎(ma)？

来源(yuan)：B站(zhan)UP主(zhu)「子羨(xian)nike」

对此，我们基(ji)於(yu)教授这封邮件的内容，问了问ChatGPT的觀(guan)點(dian)：

ChatGPT一上来就表示，自己并没有能力驗(yan)证内容的原创性(xing)，以及是不是由AI生成的。

「这位老(lao)師(shi)似(si)乎(hu)误解了像(xiang)我这样的AI是如何工作的。雖(sui)然AI可(ke)以根(gen)据提示生成文本，但它不能确定另(ling)一篇文本是否由人工智能生成。」

话虽如此，但这并不能攔(lan)住(zhu)愛(ai)整(zheng)活(huo)的網(wang)友(you)。

他们来了一出「以其人之(zhi)道还治(zhi)其人之身」，在線(xian)教Mumm教授做人。

首(shou)先(xian)，ChatGPT表示，教授写的这封邮件，正是出自自己之手(shou)。

上下滑(hua)動(dong)查看(kan)全部(bu)

緊(jin)接著(zhe)，网友又复刻(ke)了Mumm教授的做法(fa)——

拿一段看起来像是某(mou)篇论文的節(jie)選(xuan)，来问ChatGPT是不是它写的。

这次，ChatGPT虽然没说是自己写的，但基本上确定内容就是来自AI。

其中，有几个特(te)征(zheng)与Al生成的内容一致(zhi)：

1. 文本是连貫(guan)的，遵(zun)循(xun)一个清晰(xi)的结構(gou)，從(cong)一般(ban)到具(ju)體(ti)。

2. 準(zhun)确地引(yin)用了来源和(he)数字(zi)数据。

3. 正确地使用了術(shu)語(yu)，这是典(dian)型(xing)的Al模(mo)型的特点。比(bi)如GPT-4，就是在包(bao)括(kuo)科学文獻(xian)在内的各(ge)種(zhong)文本中訓(xun)練(lian)出来的。

上下滑动查看全部

那么实际上，这段内容的出處(chu)是哪(na)里呢(ne)？

有意(yi)思(si)的地方(fang)来了，没想(xiang)到竟(jing)然是Mumm教授自己写的博(bo)士(shi)论文！

AI检测器并不靈(ling)？

既(ji)然ChatGPT无法检验一段内容是不是AI生成的，那什么可以呢？

自然是为此專(zhuan)門(men)誕(dan)生的「AI检测器」，號(hao)稱(cheng)是用魔(mo)法打(da)敗(bai)魔法。

眾(zhong)多AI检测器中，最出名的一个便(bian)是由普(pu)林(lin)斯頓(dun)華(hua)人本科生Edward Tian创建的GPTZero——它不僅(jin)免(mian)費(fei)，而且效(xiao)果拔(ba)群(qun)。

只需(xu)把文字复制粘贴进去，GPTZero就可以明确地指(zhi)出一段文字中，哪段是AI生成的，哪段是人類(lei)写的。

原理上，GPTZero主要(yao)靠(kao)「困惑(huo)度」（文本的隨(sui)机性）和「突(tu)发性」（困惑度的變(bian)化(hua)）作为指標(biao)进行判斷(duan)。

在每次测試(shi)中，GPTZero还会挑(tiao)选出困惑度最高(gao)的那个句(ju)子，也就是最像人话的句子。

但这个方法其实并不完全可靠，虽然GPTZero聲(sheng)称產(chan)品(pin)的假陽(yang)性率(lv)<2%，但这个数据更多是基于对新聞(wen)类内容的评判。

在实测中，有人曾(zeng)把美国憲(xian)法輸(shu)入(ru)GPTZero，结果被判定是AI写的。

而剛(gang)刚那段ChatGPT的回复，GPTZero則(ze)认为很(hen)可能完全是由人类写的。

这导致的后果就是，不了解其中原理、太(tai)固(gu)執(zhi)的老师，就会无意中冤枉很多学生，比如Mumm教授。

所(suo)以，如果遇(yu)到这种情况，我们該(gai)怎(zen)么自证清白？

有网友提議(yi)，类似「美国宪法实验」，把ChatGPT出現(xian)之前的文章丟(diu)进AI检测器，看看结果如何。

然而，从邏(luo)辑上講(jiang)，即使能证明AI检测器确实不靠谱，学生也无法直接证明自己的论文不是由AI生成的。

问一下ChatGPT怎么破(po)，它是这么说的。

「让老师理解AI的工作方式(shi)和局(ju)限(xian)性」，嗯(ng)，ChatGPT发现了华点。

目前小(xiao)编唯(wei)一想到的答(da)案是，如果不在教授眼(yan)皮(pi)底(di)下直接写，那就每次写论文都錄(lu)屏(ping)，或(huo)者(zhe)幹(gan)脆(cui)给教授開(kai)直播(bo)。

连OpenAI对于自己的官(guan)方ChatGPT检测器，也只能保(bao)证26%的「真(zhen)阳性」正确率。

他们还特地发了官方声明给大家(jia)打預(yu)防(fang)針(zhen)：「我们真的不建议孤(gu)立(li)地使用这个工具，因为我们知道它可能出错，使用AI进行任何种类的评估(gu)都是如此」。

AI内容检测为何如此困难？

目前市(shi)面上已有的检测器已经数不勝(sheng)数——GPTZero、Turnitin、GPT-2 Output、Writer AI 、Content at Scale AI等(deng)等，但准确率都差(cha)強(qiang)人意。

那么，为什么我们想检测一段内容是不是AI生成的，就这么困难？

Turnitin的AI副(fu)總(zong)裁(cai)Eric Wang称，用软件检测AI写作的原理，是基于統(tong)计学。从统计学的角(jiao)度来看，AI与人类的區(qu)别在于，它極(ji)其穩(wen)定地处于平均(jun)水(shui)平。

「像ChatGPT这样的系(xi)统就像是自动補(bu)全的高級(ji)版(ban)本，尋(xun)找(zhao)下一个最可能要写的單(dan)詞(ci)。这实际上就是它为什么读起来如此自然的原因。AI写作是人类写作中最可能的子集(ji)。」

Turnitin的检测器便会「识别出書(shu)写过于一致的平均情况」。然而，有时人类的写作看起来也会处于平均水平。

在经濟(ji)学、数学和实验室(shi)报告中，学生傾(qing)向(xiang)于遵循固定的写作風(feng)格，这意味(wei)着他们更有可能被误认为是AI写作。

更好笑的是，前不久的一篇论文中，来自斯坦(tan)福(fu)大学的研(yan)究(jiu)團(tuan)隊(dui)发现：对于非(fei)母(mu)语者的论文，GPT检测器更容易(yi)判为AI写的。其中，中国人写的英(ying)文论文被判为AI生成的概(gai)率，高達(da)61%。

论文地址(zhi)：https://arxiv.org/pdf/2304.02819.pdf

研究人員(yuan)从中国的教育(yu)论壇(tan)上获取(qu)了91篇托(tuo)福作文，又从美国Hewlett基金(jin)会的数据集中摘(zhai)取了88篇美国八(ba)年(nian)级学生写的作文，输进了7大GPT检测器。

圖(tu)中百(bai)分比即「误判」比例(li)，也就是明明由人写的，卻(que)被判为AI生成的

可以看到，美国学生的作文被误判的概率最高才(cai)12%，而中国学生的作文，概率基本过半，甚至高达76%。

研究者的结论是，因为非母语者写的東(dong)西(xi)不地道，复杂度低(di)，容易被错判。

可見(jian)，以复杂度来判定作者是人类还是AI，并不合(he)理。

抑(yi)或，背后还有其他原因？

对此，英偉(wei)达科学家Jim Fan称，检测器在很長(chang)一段时间内都是不可靠的。毕竟AI会变得越(yue)变越强，并且会以越来越像人类的方式写作。

可以肯(ken)定地说，随着时间的推(tui)移(yi)，这些语言(yan)模型的小怪(guai)癖(pi)会越变越少(shao)。

不知这对学生们，会是福音(yin)还是噩(e)耗(hao)。

參(can)考(kao)資(zi)料(liao)：

https://www.rollingstone.com/culture/culture-features/texas-am-chatgpt-ai-professor-flunks-students-false-claims-1234736601/返(fan)回搜(sou)狐(hu)，查看更多

责任编辑：