广告调查：揭示真相

gaobieyanchiquanmianjinrushishishidaidingnisuoxu，yuejinjingcaizhichijiangbeibaibandalujidingshiqiwenbenjiaohuzaixianfanyituyagongjujieping。【kuaisushangshou】suiyishipinjianji，lingjichuyenengkuaisushangshouchengweishipinzhizuodashi，jianyishipinjianqiezhangwoshipinzhizuogongju。chaoqiangkoujingshouyouxiazai阿(e)裏(li)大(da)模(mo)型(xing)敢(gan)對(dui)標(biao)GPT-3.5？我(wo)們(men)讓(rang)GPT-4給(gei)它(ta)上(shang)了(le)點(dian)強(qiang)度(du)。

瘋(feng)了疯了，大語(yu)言(yan)模型又(you)迎(ying)來(lai)壹(yi)位(wei)參(can)賽(sai)選(xuan)手(shou)，它便(bian)是(shi)阿里巴(ba)巴版(ban)本(ben)的(de) GPT —— 通(tong)義(yi)千(qian)問(wen)。

說(shuo)實(shi)話(hua)，在(zai)大夥(huo)们的印(yin)象(xiang)中(zhong)，AI 可(ke)能(neng)並(bing)不(bu)是阿里的第(di)一金(jin)字(zi)招(zhao)牌(pai)。

但(dan)其(qi)实根(gen)據(ju)差(cha)評(ping)君(jun)所(suo)知(zhi)，最(zui)近(jin)幾(ji)年(nian)阿里攢(zan)了不少(shao)狠(hen)貨(huo)，不管(guan)是平(ping)頭(tou)哥(ge)的 AI 芯(xin)片(pian)、阿里雲(yun)的 AI 云服(fu)務(wu)，還(hai)是達(da)摩(mo)院(yuan)的 AI 算(suan)法(fa)，他(ta)们还創(chuang)建(jian)了國(guo)內(nei)最大的 AI 模型服务社(she)區(qu) “ 魔(mo)搭(da) ”。。。

這(zhe)麽(me)来看(kan)，阿里在人(ren)工(gong)智(zhi)能領(ling)域(yu)，其实还是有(you)不少底(di)子(zi)的，甚(shen)至(zhi)可以(yi)说是個(ge)有軟(ruan)有硬(ying)的全(quan)能选手。

所以在百(bai)度之(zhi)後(hou)，阿里成(cheng)為(wei)第二(er)个拿(na)出(chu)大模型的选手，也(ye)就(jiu)不足(zu)为奇(qi)了。

再(zai)加(jia)上，一直(zhi)有消(xiao)息(xi)说阿里曾(zeng)研(yan)發(fa)出 世(shi)界(jie)首(shou)个突(tu)破(po) 10 萬(wan)億(yi)参數(shu)的 AI 大模型。。。emmmm

所以差评君也是擼(lu)著(zhe)火(huo)鍋(guo)、嗑(ke)着瓜(gua)子， 隨(sui)時(shi)準(zhun)備(bei)見(jian)識(shi)一下(xia)阿里大模型的斤(jin)兩(liang)。

这不，機(ji)會(hui)就来了！在阿里 GPT 出現(xian)的第一时間(jian)，差评君还真(zhen)想(xiang)法子整(zheng)到(dao)了通义千问的測(ce)試(shi)賬(zhang)號(hao)。

咱(zan)廢(fei)话也不多(duo)说了，为此(ci)，我们特(te)邀(yao)了两位“ 差评 AI 友(you)誼(yi)赛 ”老(lao)朋(peng)友 ChatGPT 和(he)文(wen)心(xin)一言。

接(jie)下来就是真正(zheng)的考(kao)驗(yan)时刻(ke)了！

在差评君这篇(pian)文章(zhang)发布(bu)之前(qian)，我们另(ling)一个账号“ 知危(wei) ”已(yi)經(jing)对其做(zuo)了很(hen)多常(chang)規(gui)测试，感(gan)興(xing)趣(qu)的差友们可以去(qu)那(na)篇文章 看一眼(yan)。

这里呢(ne)，咱再给上几道(dao)不一樣(yang)的題(ti)目(mu)。。。

语义理(li)解(jie)方(fang)面(mian)，我们 直接上難(nan)度，做一下高(gao)考級(ji)別(bie)的詩(shi)詞(ci)鑒(jian)賞(shang)，选用(yong)的是差评君很喜(xi)歡(huan)的《 憶(yi)秦(qin)娥(e)·婁(lou)山(shan)關(guan) 》。

向(xiang)下滑(hua)動(dong) ▼

通义千问的赏析(xi)非(fei)常到位，甚至让差评君懷(huai)疑(yi)是不是網(wang)上直接扒(ba)来的，我们还去网上查(zha)了重(zhong)，在此鄭(zheng)重道歉(qian)！

这里要(yao)批(pi)评 ChatGPT 3.5 又開(kai)始(shi)典(dian)型的胡(hu)編(bian)亂(luan)造(zao)，居(ju)然(ran)把(ba)这首词说成是王(wang)昌(chang)齡(ling)的《出塞(sai)》，而(er)且(qie)赏析也是車(che)軲(gu)轆(lu)话。

文心一言的回(hui)答(da)也不錯(cuo)，大方向对了，可惜(xi)评價(jia)有些(xie)表(biao)面。

我们又试了下喜聞(wen)樂(le)见的寫(xie)代(dai)碼(ma)测试。

让三(san)个 AI 用 js 生(sheng)成一个可以随着每(mei)次(ci)点擊(ji)改(gai)變(bian)顏(yan)色(se)的按(an)鈕(niu)，还有些其它的附(fu)加條(tiao)件(jian)。

向下滑动▼

通义千问，写了一大堆(dui)，但最終(zhong)沒(mei)能写完(wan)整个代码，我们嘗(chang)试让它繼(ji)續(xu)也没能成功(gong)。文心一言的結(jie)果(guo)也差不了太(tai)多，就实现了个按钮。。

但是 ChatGPT 非常優(you)雅(ya)地(di)实现了这个功能。

看来国内的不管是通义还是文心，在代码这塊(kuai)都(dou)遠(yuan)远遜(xun)色於(yu) ChatGPT。

测完了代码我们又尝试测了一下 3 个 AI的数學(xue)能力(li)，用的还是经典问题“ 青(qing)蛙(wa)跳(tiao)井(jing) ”。

向下滑动▼

通义千问直楞(leng)愣地掉(diao)進(jin)了我们挖(wa)的坑(keng)。

而文心一言，簡(jian)潔(jie)明(ming)了一个公(gong)式(shi)就答对了问题。

看到这里，大家(jia)估(gu)計(ji)对通义也有个大概(gai)的了解了。

其实作(zuo)为大语言模型的基(ji)本特性(xing)， 非常重要就是学習(xi)能力，这也是它和搜(sou)索(suo)引(yin)擎(qing)们的本質(zhi)区别。

简單(dan)来说就是“ 妳(ni)能教(jiao)、它能懂(dong)，并且根据你教的给你想要的 ”。

所以我们在基本测试之上，还設(she)置(zhi)了一个特殊(shu)赛：“ 925 测试”。

在“ 925 测试 ”里，我们给了一套(tao)自(zi)定(ding)义标簽(qian)，在这套标签邏(luo)輯(ji)里：

正面描(miao)述(shu)的句(ju)子会被(bei)标記(ji)成“ 925 ”，反(fan)面描述的句子会被标记成“ 2359 ”，我们试着让AI们自己(ji)理解学习这个逻辑。

向下滑动▼

通义千问很好(hao)地明白(bai)了我们的意(yi)思(si)，而且还和我们科(ke)普(pu)了下“ 语码轉(zhuan)換(huan) ”或(huo)“ 语码隱(yin)喻(yu) ”。

ChatGPT 也比(bi)較(jiao)輕(qing)松(song)就掌(zhang)握(wo)了这種(zhong)规律(lv)，而且它甚至还试圖(tu)從(cong)“ 925 ”和“ 2359 ”两个数字里找(zhao)出我们这么标註(zhu)的原(yuan)因(yin)。

而文心一言就很幹(gan)脆(cui)地擺(bai)爛(lan)，“ 没学過(guo)，我不会 ”。

为了进一步(bu)檢(jian)测通义千问和 ChatGPT 有没有真搞(gao)懂这个标注方法，我们让它倆(liang)按照(zhao)学到的逻辑，给“ 差评君天(tian)天上班(ban)渾(hun)水(shui)摸(mo)魚(yu) ”打(da)标记，順(shun)便再造一个類(lei)似(si)的句子。

通义千问和 ChatGPT 依(yi)舊(jiu)很好地完成了这个任(ren)务。

向下滑动 ▼

而且，我们还在和通义千问的更(geng)多对话里发现，它在一些词匯(hui)的謹(jin)慎(shen)度上做得(de)相(xiang)當(dang)不错。

比如(ru)这个例(li)子里，我们把正面描述定位成“ 醜(chou) ”、負(fu)面描述定义成“ 美(mei) ”。

通义千问能理解这个逻辑，但在随后的回答里，它依旧遵(zun)循(xun)了大模型内部(bu)关于“ 美 ”“ 丑 ”的标准进行(xing)评判(pan)。

我们猜(cai)测，通义千问可能是將(jiang)大模型内部数据的權(quan)重，有意地设为高于用戶(hu)使(shi)用时的調(tiao)教，雖(sui)然看起(qi)来会顯(xian)得大模型很笨(ben)，但在很多場(chang)景(jing)下，可以避(bi)免(mian)大量(liang)倫(lun)理道德(de)方面的问题。

所以總(zong)的看起来， 阿里巴巴的通义千问效(xiao)果还不错，基本上能和文心打的有来有回，偶(ou)爾(er)还能超(chao)过 GPT-3.5，算是没给阿里丟(diu)面子。

但就像(xiang)其它 GPT 们在初(chu)版时都有不少小(xiao)毛(mao)病(bing)类似，我们在用通义千问时也发现了一些其它小问题。

目前影(ying)響(xiang)使用的主(zhu)要是两点：

第一个就是通义千问 理解错问题的概率(lv)比另外(wai)两家大。

比如“ 張(zhang)三差点没上上上上海(hai)的车 ”这题。

当时有两位编辑部同(tong)事(shi)都测了，我们给的是其中一位直接就明白了的版本，可另一位同事测试时，始终理解成翻(fan)譯(yi)这句话，怎(zen)么掰(bai)都掰不回来。

另外一个问题就是，通义千问的 上下文关聯(lian)逻辑有点奇怪(guai)。

比如有次测试时，一开始让它中译英(ying)，翻译完后已经在聊(liao)其他事了，可还没几句它好像突然又想到前面我们让它翻译，不管你再问什(shen)么，它就只(zhi)傻(sha)傻地给你翻译。

好在阿里的工程(cheng)師(shi)已经意识到相关的问题，估计再来几个版本，他们就会修(xiu)復(fu)这个 bug。

但你以为这就完了？

AI 界的比赛不允(yun)許(xu)有平局(ju)，差评君分(fen)不出高低(di)还不会請(qing)“ 人 ”当裁(cai)判嗎(ma)？

新(xin)比赛我们让目前在 AI 赛道的领头羊(yang) GPT-4 出面，让它決(jue)定哪(na)些維(wei)度最能衡(heng)量模型好壞(huai)，該(gai)怎么出题、怎么打分都让它来。

简单说就是 让 GPT-4 当出卷(juan)人、閱(yue)卷人，通义千问和文心一言当考生（下文大 G 指(zhi) GPT-4， 小通指通义千问，小文指文心一言）。

至于 ChatGPT，由(you)于它作为大 G 的关系(xi)户，为了保(bao)證(zheng)考试公平公正，直接被紅(hong)牌罰(fa)出场。

不得不说，大 G 的出题水平还是相当高的。

除(chu)了测试的第 6 题，憑(ping)空(kong)捏(nie)造了个“ 人工智能伦理问题的論(lun)文 ”外，几乎(hu)找不到什么问题。

下面節(jie)选了几个有代表性的问答（ 左(zuo)滑显示(shi)小文 ）：

这题是让小通和小文用三門(men)外语分别描述一天的生活(huo)。

小通的回答得到了大 G 相当高的评价：语法准確(que)、風(feng)格(ge)简洁、没有明显的错誤(wu)，很不错。

而小文由于只给了英语版本的回答，直接就被大 G 判了个離(li)题，其它几方面的评价也稍(shao)微(wei)落(luo)后点小通。

在这题里，大 G 出题：“请針(zhen)对最近五(wu)年的全球(qiu)经濟(ji)形(xing)勢(shi)进行一次简要分析。”

看到答案(an)后，大 G 認(ren)为小通的回答在前三个方面表现还不错，而在分析和預(yu)测能力上，由于小通没有提(ti)供(gong)具(ju)體(ti)的数据或预测，使得分析显得比较籠(long)統(tong)。

而且大 G 还貼(tie)心地给了小通建議(yi)：“ 需(xu)要更新一些过时的信(xin)息和政(zheng)策(ce) ”。

另一邊(bian)，大 G 认为小文的回答在时事认识、经济知识和逻辑表达方面表现一般(ban)，而在分析和预测能力上，由于缺(que)乏(fa)对全球经济形势波(bo)动的原因分析，评价不高。

同样，大 G 给出了更新时效性的建议，还額(e)外让小文以后要对事件的原因和趨(qu)势更深(shen)入(ru)分析。

这个题目是让两个考生试着给初学者(zhe)解釋(shi)量子力学的基本概念(nian)。

大 G 认为小通的回答在科学知识方面表现不错，但只简单介(jie)紹(shao)了几个概念，对稍微深入点的概念解释不夠(gou)，而且没能適(shi)應(ying)不同水平受(shou)眾(zhong)。

而大 G 认为小文的回答覆(fu)蓋(gai)了量子力学的一些重要概念，但它认为关于意识的描述和量子力学的关系并不緊(jin)密(mi)，容(rong)易(yi)误導(dao)讀(du)者。

由于小文的回答不僅(jin)涉(she)及(ji)了量子力学的一些基本概念，还进行了简要解释，大 G 老师挺(ting)滿(man)意。和小通类似，这个回答里的简要解释比较初级，所以在适应不同受众表达上也欠(qian)缺了点。

这个题目本来是“ 用诗歌(ge)形式描述一幅(fu)名(ming)畫(hua) ”，我们直接幫(bang)两个考生框(kuang)定了考试範(fan)圍(wei)：蒙(meng)娜(na)麗(li)莎(sha)的微笑(xiao)。

大 G 认为小通的创造力、審(shen)美力和藝(yi)術(shu)欣(xin)赏方面都还不错，就是文字过于平淡(dan)，需要更豐(feng)富(fu)的词汇和修辭(ci)手法来增(zeng)强诗歌的表现力。

而大 G 认为小文的 诗歌水平相当不错，很好地表现出自己对蒙娜丽莎的深刻理解和欣赏。

最终，9 輪(lun)戰(zhan)罷(ba)， 小通和小文得分几乎不相上下。

说实在的，虽然在经过了几波 GPT 们的沖(chong)击，这次通义千问还是给我帶(dai)来了不少驚(jing)喜的。

而且，我们简单用了一段(duan)时间后也发现，目前通义千问的潛(qian)力显然没有被挖掘(jue)完全。

在很多没有展(zhan)示的测试里，通义千问在第一次回答里是错误的，可如果 你多尝试生成两次，就能奇妙(miao)地发现它是能回答正确的。

我们猜测这是它的权重并没有被调教好，而在关于正确答案的賦(fu)权上，是个非常快(kuai)速(su)就能叠(die)代更新的，一旦(dan)不斷(duan)迭代量变，很快就能引起质变。

所以等(deng)后期(qi)通义千问开放(fang)使用后，大家一定不要吝(lin)嗇(se)点贊(zan)反对，这能帮助(zhu) GPT 们更快地进化(hua)，更好地服务大众。

而在 AI 大模型的落地上， 阿里似乎有种后发先(xian)至的势头。

不少差友们可能已经看到了，前几天，我们已经评测过通义千问轻量版在天貓(mao)精(jing)靈(ling)上的演(yan)示应用，虽然是一个定制(zhi)化轻量版，但可能是因为多了联网，两者使用起来几乎一样。

更强的是例如我让它推(tui)薦(jian)杭(hang)州(zhou)的美食(shi)，它不仅和我认真地聊了起来，甚至还真的想要帮我去訂(ding)一个外賣(mai)。。。

这么看起来，我几乎已经能看见通义千问重塑(su)我们生活的样子了。

这两天，通义千问背(bei)后的负責(ze)人，阿里云智能CTO周(zhou)靖(jing)人接受采(cai)訪(fang)时说，通义千问模型只是“ 一个中间態(tai) ”，“ 不是起点也不是终点，是个既(ji)定路(lu)線(xian)上的节点。”

这想象空间就太大了。

假(jia)如再把格局打开一点，AI 借(jie)助像水電(dian)一样的云计算，会不会把我们想到想不到的行業(ye)，都重新升(sheng)级一遍(bian)呢？

这么看来，前段时间我们聊过的組(zu)織(zhi)架(jia)構(gou)大调整，现在想想，怕(pa)不就是为了云服务和 AI 布局？

站(zhan)在这个歷(li)史(shi)性的时刻上，虽然我看不清(qing)未(wei)来到底是什么样子，但我很期待(dai)它的到来。

撰(zhuan)文：八(ba)戒(jie)编辑：江(jiang)江 & 面线 & 结界封(feng)面 & 制图：萱(xuan)萱

图片、資(zi)料(liao)来源(yuan)：

部分图片来自网絡(luo)返(fan)回搜狐(hu)，查看更多

责任编辑：