揭阳电视台

wang，erqiepaiweiyuegao，shengwangyueduo。yincizhiyaonulichongbang，paiweikaoqiandewanjiameiridounenggouwanchengyicishengwangshilianzhaohuan。baoxianxinxiyimuleran，tigongdexinxidounengkandong；rengongfanyixitongruanjianzhichikehuzigejiedingjuzifanyibingzhuanhuachengrengongfanyiwendangyigonggongxiangchengyudajielongshouyouxiazaiDjianmoyuDshijiaojianghuanxiangMMORshouyoudehuamiantuixiangleyigexingaodu；AIGC不(bu)僅(jin)會(hui)汙(wu)染(ran)互(hu)聯(lian)網(wang) 還(hai)会嚴(yan)重(zhong)威(wei)脅(xie)大(da)模(mo)型(xing)開(kai)發(fa)的(de)未(wei)來(lai)

来源(yuan)：財(cai)联社(she)

編(bian)輯(ji) 史(shi)正(zheng)丞(cheng)

圖(tu)片(pian)来源：由(you)無(wu)界(jie) AI工(gong)具(ju)生(sheng)成(cheng)

過(guo)去(qu)幾(ji)天(tian)有(you)關(guan)“AI污染中(zhong)文(wen)互联网環(huan)境(jing)”的討(tao)論(lun)又(you)重新(xin)熱(re)鬧(nao)起(qi)来，這(zhe)個(ge)話(hua)題(ti)也(ye)帶(dai)出(chu)了(le)另(ling)壹(yi)个AI“終(zhong)極(ji)命(ming)题”：如(ru)果(guo)世(shi)界上(shang)絕(jue)大部(bu)分(fen)內(nei)容(rong)都(dou)依(yi)靠(kao)AI生成，屆(jie)時(shi)我(wo)們(men)还能(neng)使(shi)用(yong)这些(xie)内容訓(xun)練(lian)出更(geng)“聰(cong)明(ming)”的AI大模型麽(me)？

先(xian)說(shuo)結(jie)论：情(qing)況(kuang)將(jiang)變(bian)得(de)非(fei)常(chang)困(kun)難(nan)且(qie)棘(ji)手(shou)。在(zai)目(mu)前(qian)為(wei)數(shu)不多(duo)但(dan)頗(po)受(shou)認(ren)可(ke)的研(yan)究(jiu)中，这種(zhong)情况被(bei)稱(cheng)为“遞(di)歸(gui)的詛(zu)咒(zhou)”：如果大模型的训练高(gao)度(du)依賴(lai)AIGC内容，将很(hen)容易(yi)出現(xian)“崩(beng)潰(kui)”的情形(xing)。

此(ci)话怎(zen)講(jiang)？

雖(sui)然(ran)现在互联网上能找(zhao)到(dao)的文字(zi)大部分都是(shi)真(zhen)人(ren)寫(xie)的，但不可否(fou)认的是，目前AIGC内容正在以(yi)非常快(kuai)的速(su)度出现在廣(guang)告(gao)營(ying)銷(xiao)、流(liu)量(liang)資(zi)訊(xun)平(ping)臺(tai)以及(ji)各(ge)式(shi)各樣(yang)的数字載(zai)體(ti)中。從(cong)增(zeng)量的角(jiao)度来看(kan)，隨(sui)著(zhe)大模型的應(ying)用在未来半(ban)年(nian)、一年裏(li)开花(hua)结果，AIGC内容如潮(chao)水(shui)一般(ban)湧(yong)入(ru)互联网平台只(zhi)是时間(jian)問(wen)题。

科(ke)技(ji)的進(jin)步(bu)从来不是單(dan)方(fang)面(mian)的祝(zhu)福(fu)，往(wang)往也会伴(ban)随着诅咒。

正如溫(wen)室(shi)氣(qi)体，以及人類(lei)向(xiang)海(hai)洋(yang)里排(pai)放(fang)的各种奇(qi)奇怪(guai)怪物(wu)質(zhi)，互联网的“海洋”也在面臨(lin)类似(si)的威胁。

牛(niu)津(jin)大學(xue)、劍(jian)橋(qiao)大学、倫(lun)敦(dun)帝(di)國(guo)学院(yuan)、多伦多大学等(deng)機(ji)構(gou)的研究人員(yuan)近(jin)期(qi)在預(yu)印(yin)本(ben)平台上发表(biao)的一篇(pian)论文，恰(qia)好(hao)就(jiu)是论述(shu)这个话题的。

（来源：arxiv）

研究人员发现，在使用AIGC内容训练模型时，会造(zao)成模型出现“不可逆(ni)的缺(que)陷(xian)”，並(bing)且这种情况在变分自(zi)编碼(ma)器(qi)、高斯(si)混(hun)合(he)模型和(he)大語(yu)言(yan)模型中都会出现。

同(tong)样是内容，为何(he)AIGC的内容会導(dao)致(zhi)“模型崩溃”呢(ne)？

研究人员解(jie)釋(shi)称：

模型崩溃是一种影(ying)響(xiang)学習(xi)生成模型的退(tui)化(hua)过程(cheng)，其(qi)中生成的数據(ju)最(zui)终会污染下(xia)一代(dai)模型的训练集(ji)；使用被污染数据进行(xing)训练，会导致模型誤(wu)解现實(shi)。这里还有兩(liang)种特(te)殊(shu)情况：早(zao)期模型崩溃和晚(wan)期模型崩溃。在早期模型崩溃中，模型开始(shi)喪(sang)失(shi)关於(yu)分布(bu)尾(wei)部的信(xin)息(xi)；在晚期模型崩溃中，模型将原(yuan)始分布的不同模式相(xiang)互糾(jiu)纏(chan)，并收(shou)斂(lian)到與(yu)原始模型相差(cha)甚(shen)遠(yuan)的分布，通(tong)常方差非常小(xiao)。 这个过程与災(zai)难性(xing)遺(yi)忘(wang)的过程不同，因(yin)为我们考(kao)慮(lv)的是随时间推(tui)移(yi)的多个模型，这些模型不会忘記(ji)以前学习的数据，而(er)是开始误解他(ta)们认为的真实。

（遭(zao)到AIGC内容幹(gan)擾(rao)後(hou)丧失能力(li)的模型，来源：论文）

考虑到大多数人可能看不太(tai)懂(dong)这两段(duan)话，这篇论文的作(zuo)者(zhe)之(zhi)一，牛津大学的Ilia Shumailov接(jie)受媒(mei)体采(cai)訪(fang)时舉(ju)了一个AIGC图片的例(li)子(zi)：假(jia)設(she)在训练模型时，使用了100張(zhang)狗(gou)狗的照(zhao)片，里面有90只狗狗有黃(huang)色(se)眼(yan)睛(jing)，还有10只有藍(lan)色眼睛。由于数据集中黄眼睛狗狗的数量占(zhan)据绝大多数，那(na)么这样训练出的模型中，蓝眼睛狗狗实際(ji)的顏(yan)色会变得更加(jia)綠(lv)（黄加蓝=绿）一些。如果有人从互联网上抓(zhua)取(qu)这样生成的图片，重復(fu)进行生成—抓取—训练的过程，将会导致模型識(shi)別(bie)蓝眼睛狗狗的能力最终消(xiao)失。这种對(dui)信息的丧失或(huo)扭(niu)曲(qu)，就是模型崩溃。

引(yin)申(shen)开来，这也引发了另一層(ceng)競(jing)爭(zheng)：先行的GPT模型们，可能会堵(du)住(zhu)后来者开发更強(qiang)大模型的路(lu)。或者说，想(xiang)要(yao)“彎(wan)道(dao)超(chao)車(che)”的后来者，需(xu)要花在可信赖数据上的时间和金(jin)錢(qian)，将远远超越(yue)領(ling)跑(pao)的这一批(pi)科技巨(ju)頭(tou)。

研究人员總(zong)结称，训练大语言模型的特质预示(shi)着“先行者優(you)勢(shi)”的存(cun)在。这篇论文證(zheng)明了使用AIGC语料(liao)训练会导致分布改(gai)变，以及模型崩溃。为了確(que)保(bao)模型在長(chang)期内学习持(chi)續(xu)进行，需要确保非AIGC语料的可及性。但目前为止(zhi)，如何跟(gen)蹤(zong)和识别大模型生成内容的机制(zhi)尚(shang)不明确，如果繼(ji)续大規(gui)模地(di)从互联网上爬(pa)取数据，训练新版(ban)本的大模型将变得原来越困难。返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任(ren)编辑：