打造消费者喜爱的广告 – 消费者导向的成功广告

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>GPT-5將(jiang)死(si)於(yu)GPT-4背(bei)刺(ci)？牛(niu)津(jin)劍(jian)橋(qiao)研(yan)究(jiu)警(jing)告(gao)：AI訓(xun)AI成(cheng)「劇(ju)毒(du)」，會(hui)讓(rang)模(mo)型(xing)崩(beng)潰(kui)！

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】最(zui)差(cha)的(de)人(ren)類(lei)語(yu)料(liao)，也(ye)要(yao)勝(sheng)過(guo)AI生(sheng)成的文(wen)本(ben)。

隨(sui)著(zhe)GPT-4、Stable Diffusion和(he)Midjourney的爆(bao)火(huo)，越(yue)來(lai)越多(duo)的人開(kai)始(shi)在(zai)工(gong)作(zuo)和生活(huo)中(zhong)引(yin)入(ru)生成式(shi)AI技(ji)術(shu)。

甚(shen)至(zhi)，有(you)人已(yi)經(jing)开始嘗(chang)試(shi)用(yong)AI生成的數(shu)據(ju)来训練(lian)AI了(le)。難(nan)道，這(zhe)就(jiu)是(shi)傳(chuan)說(shuo)中的「数据永(yong)動(dong)機(ji)」？

然(ran)而(er)，来自(zi)牛津、剑桥、帝(di)國(guo)理(li)工等(deng)机構(gou)研究人員(yuan)發(fa)現(xian)，如(ru)果(guo)在训练時(shi)大(da)量(liang)使(shi)用AI內(nei)容(rong)，会引发模型崩溃（model collapse），造(zao)成不(bu)可(ke)逆(ni)的缺(que)陷(xian)。

也就是，随着时間(jian)推(tui)移(yi)，模型就会忘(wang)記(ji)真(zhen)實(shi)基(ji)礎(chu)数据部分(fen)。即(ji)使在幾(ji)乎(hu)理想(xiang)的長(chang)期(qi)學(xue)習(xi)狀(zhuang)態(tai)下(xia)，这個(ge)情(qing)況(kuang)也無(wu)法(fa)避(bi)免(mian)。

因(yin)此(ci)研究人员呼(hu)籲(xu)，如果想要繼(ji)續(xu)保(bao)持(chi)大規(gui)模数据帶(dai)来的模型優(you)越性(xing)，就必(bi)須(xu)認(ren)真對(dui)待(dai)人类自己(ji)寫(xie)出(chu)来的文本。

論(lun)文地(di)址(zhi)：https://arxiv.org/abs/2305.17493v2

但(dan)现在的問(wen)題(ti)在于——妳(ni)以(yi)為(wei)的「人类数据」，可能(neng)並(bing)不是「人类」写的。

洛(luo)桑(sang)聯(lian)邦(bang)理工学院(yuan)（EPFL）的最新研究稱(cheng)，預(yu)估(gu)33%-46%的人类数据都(dou)是由(you)AI生成的。

训练数据，都是「垃(la)圾(ji)」

毫(hao)无疑(yi)问，现在的大语言(yan)模型已经進(jin)化(hua)出了相(xiang)當(dang)強(qiang)大的能力(li)，比(bi)如GPT-4可以在某(mou)些(xie)場(chang)景(jing)下生成與(yu)人类別(bie)无二(er)致(zhi)的文本。

但这背後(hou)的壹(yi)个重(zhong)要原(yuan)因是，它(ta)們(men)的训练数据大部分来源(yuan)于过去(qu)几十(shi)年(nian)人类在互(hu)联網(wang)上(shang)的交(jiao)流(liu)。

如果未(wei)来的语言模型仍(reng)然依(yi)賴(lai)于從(cong)网絡(luo)上爬(pa)取(qu)数据的話(hua)，就不可避免地要在训练集(ji)中引入自己生成的文本。

对此，研究人员预測(ce)，等GPT发展(zhan)到(dao)第(di)n代(dai)的时候(hou)，模型将会出现嚴(yan)重的崩溃问题。

那(na)麽(me)，在这種(zhong)不可避免会抓(zhua)取到LLM生成内容的情况下，为模型的训练準(zhun)備(bei)由人类生產(chan)的真实数据，就變(bian)得(de)尤(you)为重要了。

大名(ming)鼎(ding)鼎的亞(ya)馬(ma)遜(xun)数据眾(zhong)包(bao)平(ping)臺(tai)Mechanical Turk（MTurk）从2005年啟(qi)动时就已经成为許(xu)多人的副(fu)業(ye)選(xuan)擇(ze)。

科(ke)研人员可以发布(bu)各(ge)种瑣(suo)碎(sui)的人类智能任(ren)務(wu)，比如給(gei)圖(tu)像(xiang)標(biao)註(zhu)、調(tiao)查(zha)等，應(ying)有盡(jin)有。

而这些任务通(tong)常(chang)是計(ji)算(suan)机和算法无法處(chu)理的，甚至，MTurk成为一些预算不夠(gou)的科研人员和公(gong)司(si)的「最佳(jia)选择」。

就連(lian)貝(bei)佐(zuo)斯(si)還(hai)将MTurk的众包工人戲(xi)称为「人工人工智能」。

除(chu)了MTurk，包括(kuo)Prolific在内的众包平台已经成为研究人员和行(xing)业实踐(jian)者(zhe)的核(he)心(xin)，能够提(ti)供(gong)創(chuang)建(jian)、标注和總(zong)結(jie)各种数据的方(fang)法，以便(bian)进行调查和实驗(yan)。

然而，来自EPFL的研究发现，在这个人类数据的關(guan)鍵(jian)来源上，有近(jin)乎一半(ban)的数据都是标注员用AI创建的。

论文地址：https://arxiv.org/abs/2306.07899v1

模型崩溃

而最开始提到的「模型崩溃」，就是在给模型投(tou)餵(wei)了太(tai)多来自AI的数据之(zhi)后，带来的能够影(ying)響(xiang)多代的退(tui)化。

也就是，新一代模型的训练数据会被(bei)上一代模型的生成数据所(suo)汙(wu)染(ran)，从而对现实世(shi)界(jie)的感(gan)知(zhi)产生錯(cuo)誤(wu)的理解(jie)。

更(geng)进一步(bu)，这种崩溃还会引发比如基于性别、种族(zu)或(huo)其(qi)他(ta)敏(min)感屬(shu)性的歧(qi)視(shi)问题，尤其是如果生成AI随着时间的推移学会在其响应中只(zhi)生成某个种族，而「忘记」其他种族的存(cun)在。

而且(qie)，除了大语言模型，模型崩溃还会出现在变分自编碼(ma)器(qi)（VAE）、高(gao)斯混(hun)合(he)模型上。

需(xu)要注意(yi)的是，模型崩溃的过程(cheng)与災(zai)难性遺(yi)忘（catastrophic forgetting）不同(tong)，模型不会忘记以前(qian)学过的数据，而是开始把(ba)模型的错误想法曲(qu)解为现实，并且还会强化自己对错误想法的信(xin)念(nian)。

舉(ju)个例(li)子(zi)，比如模型在一个包含(han)100張(zhang)貓(mao)图片(pian)的数据集上进行训练，其中有10张藍(lan)毛(mao)猫，90张黃(huang)毛猫。

模型学到的结论是，黄毛猫更普(pu)遍(bian)，同时会傾(qing)向(xiang)于把蓝毛猫想象(xiang)的比实際(ji)更偏(pian)黄，所以在被要求(qiu)生成新数据时可能会返(fan)回(hui)一些类似(si)綠(lv)毛猫的结果。

而随着时间的推移，蓝毛的原始特(te)征(zheng)在多个训练epoch中逐(zhu)漸(jian)被侵(qin)蝕(shi)，直(zhi)接(jie)从蓝色(se)变成了绿色，最終(zhong)再(zai)演(yan)变为黄色，这种渐进的扭(niu)曲和丟(diu)失(shi)少(shao)数特征的现象就是模型崩溃。

具(ju)體(ti)来说，模型崩溃可以分为兩(liang)种情况：

1. 早(zao)期模型崩溃（early model collapse），模型开始丢失有关分布尾(wei)部的信息(xi)；

2. 后期模型崩溃（late model collapse），模型与原始分布的不同模式糾(jiu)纏(chan)在一起(qi)，并收(shou)斂(lian)到一个与原始分布几乎沒(mei)有相似之处的分布，往(wang)往方差也会非(fei)常小(xiao)。

与此同时，研究人员也总结出了造成模型崩溃的两个主(zhu)要原因：

其中，在更多的时候，我(wo)们会得到一种級(ji)联效(xiao)应，即單(dan)个不准確(que)的組(zu)合会导致整(zheng)体误差的增(zeng)加(jia)。

1. 統(tong)计近似误差（Statistical approximation error）

在重采(cai)樣(yang)的每(mei)一步中，信息中非零(ling)概(gai)率(lv)都可能会丢失，导致出现统计近似误差，当样本数量趨(qu)于无限(xian)会逐渐消(xiao)失，該(gai)误差是导致模型崩溃的主要原因。

2. 函(han)数近似误差（Functional approximation error）

该误差主要源于模型中的函数近似器表(biao)達(da)能力不足(zu)，或者有时在原始分布支(zhi)持之外(wai)的表达能力太强。

众所周(zhou)知，神(shen)经网络在極(ji)限情况下是通用的函数近似器，但实际上这种假(jia)設(she)并不总是成立(li)的，特别是神经网络可以在原始分布的支持範(fan)圍(wei)之外引入非零似然。

举个簡(jian)单例子，如果我们试图用一个高斯分布来擬(ni)合两个高斯的混合分布，即使模型具有关于数据分布的完(wan)美(mei)信息，模型误差也是不可避免的。

需要注意的是，在没有统计误差的情况下，函数近似误差只会发生在第一代，一旦(dan)新的分布能被函数近似器描(miao)述(shu)出来，就会在各代模型中保持完全(quan)相同的分布。

可以说，模型强大的近似能力是一把雙(shuang)刃(ren)剑：其表达能力可能会抵(di)消统计噪(zao)聲(sheng)，从而更好(hao)地拟合真实分布，但同样也会使噪声復(fu)雜(za)化。

对此，论文共(gong)同一作Ilia Shumailov表示(shi)：「生成数据中的错误会累(lei)積(ji)，最终迫(po)使从生成数据中学习的模型进一步错误地理解现实。而且模型崩溃发生得非常快(kuai)，模型会迅(xun)速(su)忘记最初(chu)学习的大部分原始数据。」

解決(jue)方法

好在，研究人员发现，我们还是有辦(ban)法来避免模型崩溃的。

第一种方法是保留(liu)原始的、完全或名義(yi)上由人类生成的数据集的高質(zhi)量副本，并避免与AI生成的数据混合，然后定(ding)期使用这些数据对模型进行重新训练，或者完全从頭(tou)训练一遍模型。

第二种避免回复质量下降(jiang)并減(jian)少AI模型中的错误或重复的方法是将全新的、幹(gan)凈(jing)的、由人类生成的数据集重新引入训练中。

为了防(fang)止(zhi)模型崩溃，开发者需要确保原始数据中的少数派(pai)在后续数据集中得到公正(zheng)的表征。

数据需要仔(zai)細(xi)备份(fen)，并覆(fu)蓋(gai)所有可能的邊(bian)界情况；在評(ping)估模型的性能时，需要考(kao)慮(lv)到模型将要处理的数据，甚至是最不可信的数据。

随后，当重新训练模型时，还需要确保同时包括舊(jiu)数据和新数据，雖(sui)然会增加训练的成本，但至少在某种程度(du)上有助(zhu)于緩(huan)解模型崩溃。

不过，这些方法必须要内容制(zhi)作者或AI公司采取某种大规模的标记机制，来區(qu)分AI生成的内容和人类生成的内容。

目(mu)前，有一些开箱(xiang)即用的解决方案(an)，比如GPTZero，OpenAI Detector，或Writer在简单的文本上工作得很(hen)好。

然而，在一些特殊(shu)的文本中，这些方法并不能有效執(zhi)行。比如，在EPFL研究中有ChatGPT合成的10个总结，而GPTZero只檢(jian)测到6个是合成的。

对此，研究人员通过微(wei)调自己的模型来检测AI的使用，发现ChatGPT在编写本文时是最常用的LLM。

对于构建的检测AI数据的方法，研究人员利(li)用原始研究中的答(da)案和用ChatGPT合成的数据，训练了一个定制的「合成-真实分类器」。

然后用这个分类器来估计重新进行的任务中合成答案的普遍性。

具体来講(jiang)，研究人员首(shou)先(xian)使用真正由人类撰(zhuan)写的MTurk回应，和合成LLM生成的回应，来训练特定任务的「合成-真实分类器」。

其次(ci)，将这个分类器用于MTurk的真实回应（其中众包人可能使用，也可能没有依赖LLM），以估计LLM使用的普遍性。

最后，研究者确认了结果的有效性，在事(shi)后比較(jiao)分析(xi)擊(ji)键数据与MTurk的回应。

实验结果顯(xian)示，这个模型在正确識(shi)别人工智能文本方面(mian)高达99%的准确率。

此外，研究人员用击键数据验證(zheng)了结果，发现：

- 完全在MTurk文本框(kuang)中写的总结（不太可能是合成的）都被歸(gui)类为真实的；

- 在粘(zhan)貼(tie)的总结中，提取式总结和LLM的使用有明(ming)显区别。

具体来讲，人工智能生成的文本通常与原始总结几乎没有相似之处。这表明AI模型正在生成新文本，而不是复制和粘贴原始内容的一部分。

「人类数据」很重要

现在，人们普遍擔(dan)心LLM将塑(su)造人类的「信息生态系(xi)统」，也就是说，在線(xian)可獲(huo)得的大部分信息都是由LLM生成的。

使用綜(zong)合生成数据训练的LLM的性能明显降低(di)，就像Ilia Shumailov所称会让模型患(huan)上「癡(chi)呆(dai)癥(zheng)」。

而这个问题将会变得更加严重，因为随着LLM的普及(ji)，众包工作者们已经廣(guang)泛(fan)使用ChatGPT等各种LLM。

但对于人类内容创作者来说，这是一个好消息，提高工作效率的同时，还賺(zhuan)到了錢(qian)。

但是，若(ruo)想挽(wan)救(jiu)LLM不陷于崩溃的边緣(yuan)，还是需要真实的「人类数据」。

1. 人类数据在科学中仍然是至关重要的

2. 在合成数据上训练模型可能会带来偏見(jian)和意识形(xing)态永久(jiu)化

3. 随着模型变得流行和更好/多模态，采用率只会增加

总的来说，由人类生成的原始数据可以更好地表示世界，虽然也可能包含某些劣(lie)质、概率较低的数据；而生成式模型往往只会过度拟合流行数据，并对概率更低的数据产生误解。

那么，在充(chong)斥(chi)着生成式AI工具和相关内容的未来，人类制作的内容或许会比今(jin)天(tian)更有價(jia)值(zhi)，尤其是作为AI原始训练数据的来源。

參(can)考資(zi)料：

https://arxiv.org/abs/2306.07899v1

https://arxiv.org/abs/2305.17493v2返回搜(sou)狐(hu)，查看(kan)更多

責(ze)任编辑：