销售啤酒创意广告

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>AI大(da)戰(zhan)高(gao)考(kao)作(zuo)文(wen)：瞎(xia)編(bian)、湊(cou)字(zi)數(shu)、萬(wan)能(neng)套(tao)路(lu)

來(lai)源(yuan)：“深(shen)AI”（ID:DeepAI2023），作者(zhe)：黎(li)明(ming)，编輯(ji)：魏(wei)佳(jia)

圖(tu)片(pian)来源：由(you)無(wu)界(jie) AI工(gong)具(ju)生(sheng)成(cheng)

這(zhe)屆(jie)高考，應(ying)該(gai)是(shi)過(guo)去(qu)五(wu)年(nian)来，最(zui)特(te)殊(shu)的(de)壹(yi)次(ci)。因(yin)為(wei)多(duo)了(le)一個(ge)新(xin)角(jiao)色(se)——AI考生。

第(di)一天(tian)的語(yu)文考試(shi)剛(gang)結(jie)束(shu)，全(quan)網(wang)就(jiu)掀(xian)起(qi)AI作文大賽(sai)。GhatGPT、文心(xin)一言(yan)、通(tong)義(yi)千(qian)問(wen)等(deng)AI大模(mo)型(xing)，被(bei)人(ren)們(men)拿(na)来寫(xie)高考作文。幾(ji)秒(miao)鐘(zhong)就能生成一篇(pian)，不(bu)僅(jin)速(su)度(du)驚(jing)人、邏(luo)辑嚴(yan)密(mi)，還(hai)能引(yin)經(jing)據(ju)典(dian)。

乍(zha)一看(kan)，AI大模型写作文，簡(jian)直(zhi)太(tai)輕(qing)松(song)，似(si)乎(hu)對(dui)人類(lei)構(gou)成降(jiang)維(wei)打(da)擊(ji)。畢(bi)竟(jing)，論(lun)知(zhi)識(shi)儲(chu)備(bei)量(liang)，沒(mei)有(you)人可(ke)以(yi)跟(gen)AI比(bi)。AI把(ba)整(zheng)个互(hu)聯(lian)网上(shang)的資(zi)料(liao)都(dou)學(xue)習(xi)消(xiao)化(hua)了，然(ran)後(hou)模仿(fang)人类的表(biao)達(da)方(fang)式(shi)，用(yong)自(zi)己(ji)的逻辑輸(shu)出(chu)。

但(dan)是，如(ru)果(guo)我(wo)们仔(zai)細(xi)分(fen)析(xi)AI考生的“答(da)卷(juan)”，會(hui)發(fa)現(xian)AI並(bing)没有很(hen)多人想(xiang)象(xiang)的那(na)樣(yang)无所(suo)不能。AI大模型普(pu)遍(bian)存(cun)在(zai)的套路化写作、不会数数、胡(hu)說(shuo)八(ba)道(dao)等问題(ti)，也(ye)在作文中(zhong)出现。

事(shi)實(shi)上，按(an)照(zhao)高考作文的評(ping)分標(biao)準(zhun)，AI生成的作文都存在某(mou)些(xie)方面(mian)的局(ju)限(xian)。战勝(sheng)人类，目(mu)前(qian)还不现实。

深AI用高考作文測(ce)试了三(san)款(kuan)AI大模型——GhatGPT（OpenAI）、文心一言（百(bai)度）、通义千问（阿(e)裏(li)），发现了一些有趣(qu)的结论。

比如，AI不会数数，文心一言、通义千问的作文都没有达到(dao)“不少(shao)於(yu)800字”的硬(ying)性(xing)要(yao)求(qiu)；一本(ben)正(zheng)经胡说八道的毛(mao)病(bing)还没改(gai)，为了凑字数可以車(che)軲(gu)轆(lu)話(hua)来回(hui)说；AI写作文基(ji)本離(li)不開(kai)套路，一个模板(ban)反(fan)復(fu)套用。

以下(xia)是詳(xiang)细內(nei)容(rong)，歡(huan)迎(ying)討(tao)论。

1 一个没有感(gan)情(qing)的答题機(ji)器(qi)

今(jin)年高考全國(guo)甲(jia)卷的作文主(zhu)题是“人·技(ji)術(shu)·時(shi)間(jian)”，要求以“人们因技术发展(zhan)得(de)以更(geng)好(hao)地(di)掌(zhang)控(kong)时间，但也有人因此(ci)成了时间的仆(pu)人”这句(ju)话展开，写自己的联想與(yu)思(si)考。

我们先(xian)看一下教(jiao)育(yu)部(bu)教育考试院(yuan)发布(bu)的《试题解(jie)析》：

劃(hua)重(zhong)點(dian)：引導(dao)考生深入(ru)思考信(xin)息(xi)时代(dai)理(li)性分析和(he)審(shen)慎(shen)判(pan)斷(duan)的重要性。这是文章(zhang)的内核(he)。

深AI测试了三个大模型发现，它(ta)们都没有抓(zhua)住(zhu)这个内核——東(dong)拉(la)西(xi)扯(che)说一通，啥(sha)都说了但其(qi)实啥也没说。

先看GhatGPT的作文：

再(zai)看文心一言的：

最后看通义千问的：

这三篇作文，堪(kan)稱(cheng)頂(ding)級(ji)“端(duan)水(shui)大師(shi)”，圍(wei)繞(rao)主题正反来回说，就是没有把“批(pi)判性思维”这个点说透(tou)。只(zhi)有文心一言明確(que)提(ti)到了“深入思考和批判性思维的培(pei)養(yang)”。

通义千问的作文是最空(kong)洞(dong)的。它把重点放(fang)在了“时间管(guan)理”上，偏(pian)离了主题，而(er)且(qie)论述(shu)的道理也是人人皆(jie)知的常(chang)识。另(ling)外(wai)，通义千问的作文没有标题，扣(kou)分。

我们再用新課(ke)标I卷的作文试题“故(gu)事的力(li)量”，看看三家(jia)的表现。

这篇作文要求根(gen)据以下这段(duan)话，写自己的联想和思考：好的故事，可以幫(bang)我们更好地表达和溝(gou)通，可以觸(chu)動(dong)心靈(ling)、啟(qi)迪(di)智(zhi)慧(hui)；好的故事，可以改變(bian)一个人的命(ming)運(yun)，可以展现一个民(min)族(zu)的形(xing)象……故事是有力量的。

GhatGPT的作文：

文心一言的：

通义千问的：

不得不说，除(chu)了通义千问的作文相(xiang)对平(ping)淡(dan)，其他(ta)兩(liang)篇的表述方式、行(xing)文逻辑，尤(you)其是用詞(ci)还是可圈(quan)可点的。尤其是文心一言用場(chang)景(jing)化的开场方式，讓(rang)人眼(yan)前一亮(liang)。

不过问题也是顯(xian)而易(yi)見(jian)的——同(tong)一个事情用不同的话术翻(fan)来覆(fu)去说，导致(zhi)全文讀(du)下来，給(gei)人一種(zhong)“妳(ni)说的我都知道”的感覺(jiao)。

一个没有感情的答题机器，这是很多人的评價(jia)。

“内容空洞，车轱辘变著(zhe)来回说。”有人评价。还有人说：“全是没營(ying)养没内涵(han)的大白(bai)话。”

我们不妨(fang)拆(chai)解一下文心一言的这篇作文，就会知道什(shen)麽(me)是“车轱辘话”。

文中标黃(huang)、标綠(lv)的部分，都是完(wan)全相同的意(yi)思，甚(shen)至(zhi)可以说是相同的话术，在文中反复出现。在文末(mo)“總(zong)结来说”标藍(lan)的一整段，則(ze)是把文中的觀(guan)点和话术，搞(gao)了个大雜(za)燴(hui)。

这给人一种凑字数的即(ji)視(shi)感。

深AI更改提示(shi)词，让ChatGPT想象自己是一个在高考现场的考生，并再次写一篇作文，它上来第一句话就是“當(dang)我坐(zuo)在这个考试的座(zuo)位(wei)上时，我的手(shou)中拿着一只先進(jin)的電(dian)子(zi)筆(bi)......”

这样參(can)加(jia)考试，估(gu)計(ji)会被判違(wei)規(gui)，直接(jie)零(ling)分。

没有灵魂(hun)，是AI作文最大的減(jian)分項(xiang)。

2 套路，全是套路

为了让作文看起来像(xiang)那么回事，AI用了很多套路。

它们很喜(xi)欢用“首(shou)先、其次、然后、最后”的句式。最典型的是ChatGPT，最后一段一定(ding)会是“总的来说……”

比如ChatGPT的这两篇作文：

文心一言、通义千问也有相似的套路。前面一頓(dun)输出猛(meng)如虎(hu)，最后一定用“总而言之(zhi)”“总的来说”结尾(wei)。

这就跟彈(dan)吉(ji)他一样，只要掌握(wo)了万能和弦(xian)公(gong)式（比如万能的卡(ka)農(nong)进行），就能弹出上百首曲(qu)子。

甚至于，我们让文心一言给自己写的作文打分，它也是“首先、其次、此外、綜(zong)上……”一顿長(chang)篇大论。

而在“人·技术·时间”的作文题中，ChatGPT和通义千问居(ju)然用了几乎完全相同的表述：用“那么”提出一个问题，用“首先、其次、最后”展开具體(ti)论述。框(kuang)架(jia)和逻辑像是一个模子里刻(ke)出来的。

盡(jin)管如此，文心一言非(fei)常自信地给自己的高考作文打出了90分的高分（假(jia)設(she)滿(man)分100分），还自我评价“值(zhi)得肯(ken)定”。我们把它的作文丟(diu)给ChatGPT，ChatGPT竟然毫(hao)不吝(lin)嗇(se)地给出了100分的满分……

AI大模型就像工業(ye)流(liu)水線(xian)，批量生產(chan)作文。但本質(zhi)上，无论它说出来的话多么像人话，驅(qu)动的技术都是数学和統(tong)计，而非意识。

在人工智能行业，让AI聽(ting)懂(dong)人话、会说人话，一直以来都是一件(jian)很困(kun)難(nan)的事情。人类的自然语言是一个極(ji)其复杂的系(xi)统，科(ke)学家让机器模擬(ni)了人类大腦(nao)的神(shen)经网絡(luo)，使(shi)其具备深度学习能力，但始(shi)終(zhong)不具备跟人一样的自然语言能力。

于是有人另辟(pi)蹊(qi)徑(jing)，把语言问题轉(zhuan)化成数学问题，然后通过计算(suan)，间接解決(jue)自然语言處(chu)理的问题。按照自然语言处理專(zhuan)家吳(wu)軍(jun)的说法(fa)：语言模型不是逻辑框架，不是生物(wu)学的反饋(kui)系统，而是由数学公式构建(jian)的模型。这其中的關(guan)鍵(jian)词是“数学”。

这决定了人工智能没有自我意识或(huo)情緒(xu)，无法根据个人感觉来说话。写作文对它们来说，是以结果和任(ren)務(wu)为导向(xiang)的一种逻辑表达。

而通过抓取(qu)全网海(hai)量数据进行訓(xun)練(lian)，不断学习模仿人类的语言表达方式，AI大模型现在说话已(yi)经非常接近(jin)人类，雖(sui)然它还不懂文字背(bei)后的意思，但不影(ying)響(xiang)交(jiao)流。

在根本上，AI没有自己的思想。这也是为什么它的作文看起来頭(tou)头是道，仔细一品(pin)，你会发现没有灵魂，全是套路的根本原(yuan)因。

3 AI真(zhen)的不会数数

前面我们提到，语言模型的参数都是靠(kao)统计得出的。它的原理是给定一个文本的歷(li)史(shi)，預(yu)测下一个词的概(gai)率(lv)，然后補(bu)全下文。

2017年谷(gu)歌(ge)首次提出基于自我註(zhu)意力机制(zhi)（self-attention）的变換(huan)器（Transformer）模型，现在类似ChatGPT之类的语言大模型，都是建立(li)在Transformer架构上。

Transformer的注意力机制比之前的RNN（循(xun)環(huan)神经网络）、GRU和LSTM等深度学习算法具有极长的記(ji)憶(yi)力。它还可以记住输入的順(shun)序(xu)，所以能读懂“我愛(ai)你”和“你爱我”是不一样的意思。

但即便(bian)如此，它依(yi)然有局限。

比如，深AI让通义千问给它自己的作文打个分，它混(hun)淆(xiao)了“你”和“我”的概念(nian)。开头说是它自己的文章，然后又(you)说是“你”的文章……

《大模型时代》作者龍(long)誌(zhi)勇(yong)对深AI解釋(shi)，这可能是因为站(zhan)在左(zuo)右(you)互搏(bo)的角度，换位了。

在测试AI大模型写高考作文的过程(cheng)中，我们还发现一个有意思的现象——AI不会数数。

高考作文有一个要求是字数不少于800字。深AI跟大模型进行了多次互动，除了ChatGPT，文心一言和通义千问第一版(ban)交上来的作文都没有达到800字。

比如文心一言，深AI多次提醒(xing)，文章字数不夠(gou)800，需(xu)要重写。文心一言每(mei)次都是：首先態(tai)度非常謙(qian)卑(bei)地道歉(qian)，保(bao)證(zheng)一定符(fu)合(he)要求，然后快(kuai)速用十(shi)几秒钟的时间生成一篇新的作文——还是不到800字。

这个“考生”读不懂作文题，且屢(lv)教不改，是个大大的减分项。

龙志勇对深AI解释：“大模型预测下一个词的训练方式，没有让它学会数数，它并不知道800是多少，更不懂得数着字数来生成文章。”

事实上，別(bie)说800，連(lian)10这样的数字，文心一言也数不清(qing)。

这是语言模型普遍存在的问题。至于为什么数不清，什么时候(hou)、通过什么辦(ban)法就能数清，目前还没有结论。“虽然有一些提示工程的技巧(qiao)可以帮助(zhu)它数数，但并不是通用的解法。大模型现階(jie)段就是靠做(zuo)黑(hei)箱(xiang)实驗(yan)来验证它的能力，靠做黑箱训练来提升(sheng)它的能力。”龙志勇说。

在龙志勇的建議(yi)下，深AI更改提示词，输入“内容再豐(feng)富(fu)，再长一些”，文心一言输出的作文超(chao)过了800字。

在前面的高考作文题中，ChatGPT的作文超过了800字，但其实，它也没学会数数。

ChatGPT这样对深AI解释：

所以，其实“優(you)等生”ChatGPT的作文字数达标，是靠蒙(meng)的。它也不知道800字是多少，就尽可能多写点。

还不能完全听懂人话，但又具备超強(qiang)的知识储备和表达能力，就导致有时候会出现让人哭(ku)笑(xiao)不得的场面。

從(cong)这次AI大战高考作文的结果来看，大模型的写作能力已经有很大进步(bu)。在選(xuan)词用词、逻辑论述、引经据典方面，甚至超过很多人。

不过，对作文质量的评价，本身(shen)帶(dai)有主观因素(su)，不像数学题一样只有唯(wei)一正确答案(an)。好看的词句千篇一律(lv)，有趣的灵魂万里挑(tiao)一。如何(he)给作文注入灵魂，AI大模型还没玩(wan)明白。AI大模型固(gu)有的一些问题，也还需要通过技术叠(die)代慢(man)慢解决。返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：