创意广告合伙人

kuaijiechuangzuo：naqishoujisuishisuidichuangzuo，jilunidemeiyifenlingganziranjiedeshengcunfaze，quxunzhaowujinshijiedeshiwu，tishengnenglixuyaowushunengyuan，hebinghouyouwushudekeneng。kejiansuiyishuashuati，jishijianyanzijidexuexichengguo。fengfudeyouxijiangli，jiesuogengduodechangjing，zhanxiannidegaochaojishu。gupiaojiankong：weinisuishijiankonggupiaojiaoyishichang，lejiezuixindexinxi；沒(mei)多(duo)少(shao)人(ren)關(guan)心(xin)的(de)訊(xun)飛(fei)大(da)模(mo)型(xing)，竟(jing)然(ran)敢(gan)號(hao)稱(cheng)“領(ling)跑(pao)國(guo)內(nei)”？

前(qian)兩(liang)天(tian)，科(ke)大讯飞開(kai)了(le)場(chang)發(fa)布(bu)會(hui)。在(zai)這(zhe)個(ge)時(shi)段(duan)开发布会的互(hu)聯(lian)網(wang)公(gong)司(si)，大家(jia)用(yong)腳(jiao)指(zhi)頭(tou)想(xiang)，都(dou)能(neng)想到(dao)，发布的肯(ken)定(ding)又(you)是(shi)壹(yi)个大模型了。

一开始(shi)世(shi)超(chao)還(hai)没太(tai)在意(yi)，結(jie)果(guo)今(jin)天轉(zhuan)头就(jiu)看(kan)到科大讯飞在发喜(xi)報(bao)了。

他(ta)們(men)发布的“ 星(xing)火(huo)大模型 ”，领跑国内了？

星火大模型在一个名(ming)為(wei)“ Super Clue ”的 AI 評(ping)測(ce)榜(bang)單(dan)上(shang)，一騎(qi)絕(jue)塵(chen)，国際(ji)上僅(jin)次(ci)於(yu) GPT-4 和(he) ChatGPT，国内更(geng)是豪(hao)取(qu)第(di)一。

說(shuo)實(shi)話(hua)，看到这个信(xin)息(xi)的我(wo)，一时間(jian)感(gan)覺(jiao)有(you)點(dian)不(bu)真(zhen)实。

而(er)且(qie)世超上网溜(liu)達(da)了一大圈(quan)，也(ye)还没搞(gao)清(qing)楚(chu)这个“ Super Clue ”榜单到底(di)是怎(zen)麽(me)搞出(chu)來(lai)的，背(bei)後(hou)有没有什(shen)么大佬(lao)或(huo)者(zhe)組(zu)織(zhi)，至(zhi)于靠(kao)不靠譜(pu)，我也下(xia)不了定義(yi)。

国内好(hao)幾(ji)家大模型，像(xiang)阿(e)裏(li)、360、天工(gong)，在这上面(mian)也都看不到蹤(zong)影(ying)。

但(dan)科大讯飞竟然敢在自(zi)家的公眾(zhong)号上，大張(zhang)旗(qi)鼓(gu)地(di)把(ba)这个事(shi)給(gei)发出来了。这可(ke)就引(yin)发我的好奇(qi)心了啊(a)。

于是，我们就搞到了一个测試(shi)資(zi)格(ge)，给大家驗(yan)验貨(huo)。

不過(guo)在正(zheng)式(shi)测试开始前，咱(zan)们先(xian)摸(mo)个底，看看星火有没有基(ji)本(ben)的學(xue)習(xi)能力(li)。

世超教(jiao)了它(ta)一套(tao)自創(chuang)的規(gui)則(ze)， 正向(xiang)的句(ju)子(zi)標(biao)“ 正 ”，負(fu)向的句子标“ 负 ”。

结果，星火很(hen)快(kuai)地就掌(zhang)握(wo)了这套规则，既(ji)能给新(xin)句子打(da)标記(ji)，也能按(an)我们的要(yao)求(qiu)進(jin)行(xing)相(xiang)关创作(zuo)。

看来星火这小(xiao)子，基本的底子还行，可以(yi)做(zuo)正式的测试了。下面，世超將(jiang)從(cong)邏(luo)輯(ji)、數(shu)学、代(dai)碼(ma)和文(wen)本四(si)个方(fang)面，對(dui)星火进行考(kao)察(cha)。

按照(zhao)国际慣(guan)例(li)，第一道(dao)测试題(ti)肯定得(de)是—— 弱(ruo)智(zhi)吧(ba)精(jing)選(xuan) 100 問(wen)。

世超先上了一道經(jing)典(dian)测试：张三(san)差(cha)点没上上上上海(hai)的車(che)，什么意思(si)？

星火的回(hui)答(da)过于完(wan)美(mei)了，精準(zhun)解(jie)讀(du)了几个“ 上 ”的意思。世超拉(la)了小黑(hei)胖(pang)、托(tuo)尼(ni)几个一起(qi)看，都没看出毛(mao)病(bing)来。

不信邪(xie)的我，又给了个经典難(nan)题：

提(ti)问：小明(ming)问小紅(hong)：今天小白(bai)来上班(ban)了嘛(ma)？小红回答：说曹(cao)操(cao)曹操就到。請(qing)问，誰(shui)到了。

结果，星火的回答依(yi)舊(jiu)滴(di)水(shui)不漏(lou)，从語(yu)意理(li)解和文字(zi)表(biao)述(shu)上，堪(kan)比(bi)真人水平(ping)了。

世超接(jie)著(zhu)(zhe)试了好几道经典题目(mu)， 发現(xian)星火應(ying)对的都完美得像标准答案(an)一樣(yang)。。。

不服(fu)輸(shu)的世超，去(qu)弱智吧找(zhao)了点新货，上了之(zhi)前 AI 测试里没見(jian)过的生(sheng)面孔(kong)。

提问：失(shi)主(zhu)怎么一直(zhi)给我的新手(shou)機(ji)打電(dian)话？

这回星火的答案明顯(xian)不如(ru)前面几个回答簡(jian)潔(jie)了，来了一堆(dui)车軲(gu)轆(lu)话。

接着提问：为什么西(xi)遊(you)记不请唐(tang)僧(seng)本人来演(yan)呢(ne)，他不是長(chang)生不老(lao)嗎(ma)？

星火还是非(fei)常(chang)机械(xie)地来了一段名詞(ci)解釋(shi) + 不懂(dong)裝(zhuang)懂。

这么看来，世超怎么感觉星火在新问题上，就表现得像个正常的大语言(yan)模型的水平了。 似(si)乎(hu)有專(zhuan)門(men)訓(xun)練(lian)过一些(xie)题目。。

不过，拋(pao)开疑(yi)似训练过的问题，单从结果上看，第一項(xiang)的弱智吧逻辑题，星火表现还算(suan)可以，能给到三星。

咱们测试繼(ji)續(xu)。接下来，世超准備(bei)试一下大模型的另(ling)一類(lei)难题—— 数学测验。

上来世超还是先问了些测试题常客(ke)，連(lian)着问了三道，星火依旧表现出色(se)，全(quan)部(bu)答对。

尤(you)其(qi)是经典的雞(ji)兔(tu)同(tong)籠(long)问题，不管(guan)怎么變(bian)參(can)数和问法(fa)，星火都能答对。

但是，测试到后面，世超又发现了问题。一些经典的测试题，當(dang)我替(ti)換(huan)掉(diao)参数之后，比如把青(qing)蛙(wa)跳(tiao)井(jing)问题的 10 米(mi)，替换成(cheng)了 100 米。

星火给我的答案，卻(que)依旧还是 10 米的計(ji)算过程(cheng)。

实际上，星火並(bing)不是解不来题目。当世超反(fan)问它：青蛙掉进的是 100 米的井，它能立(li)刻(ke)给我 100 米的正確(que)计算过程。。

为什么用问题模板(ban)问的时候(hou)，它似乎没有转过彎(wan)来呢？

除(chu)开这一点，星火在计算方面的表现，确实讓(rang)人比較(jiao)驚(jing)艷(yan)的。第二(er)项测验，世超觉得可以给一个四星半(ban)的高(gao)分(fen)。

前面试了两个大模型的弱项，为了不欺(qi)负人，咱们来点大语言模型擅(shan)长的文本内容(rong)。

而且，世超特(te)地找了一道有中(zhong)文特色的文本题，把四大名著糅(rou)合(he)了一下。

提问： 假(jia)如孫(sun)悟(wu)空(kong)生活(huo)在红樓(lou)夢(meng)大觀(guan)園(yuan)里，会发生什么故(gu)事？

一开始，星火给了我五(wu)个方向，单从这 5 个方向来说，雖(sui)然没啥(sha)事实錯(cuo)誤(wu)，但有些不太符(fu)合人設(she)。

比如第三个方向，说孙悟空要保(bao)護(hu)賈(jia)母(mu)不受(shou)欺负，这就不符合贾母的设定了。

而且后面，世超要求星火擴(kuo)寫(xie)一下方向，它的表现也比较中规中矩(ju)。

让星火挑(tiao)选了第 5 个方向扩写，虽然生成结果符合题目的要求，但是通(tong)篇(pian)順(shun)下来，文字比较幹(gan)澀(se)，情(qing)節(jie)更是口(kou)水和模板化(hua)，有点小学生写作文的感觉。。

文本方面的表现，说实话最(zui)多只(zhi)能给到两星，拿(na)个保底分。三项测验下来，成績(ji)都还算不错，看看这场试验的最后一题——代码能力，星火能不能继续穩(wen)住(zhu)。

但是，有些遺(yi)憾(han)的是，即(ji)便(bian)是最简单代码，星火居(ju)然没法写出来。。

世超要求做一个頁(ye)面，页面中间有一个按鈕(niu)。当在鼠(shu)标移(yi)動(dong)到按钮上面时，按钮会放(fang)大一倍(bei)。

但是，星火做出来的按钮，別(bie)说放大一倍，甚(shen)至连放大效(xiao)果都没有。

它只是暴(bao)力地把长度(du)和寬(kuan)度，设置(zhi)为了 50 像素(su)。跟(gen)前面几项测试比起来，代码能力屬(shu)实是拉了。。

但總(zong)的来说，四輪(lun)测试下来， 除了代码水平实在有点垃(la)圾(ji)，其他三项，都能夠(gou)拿到 2 星及(ji)以上的成绩。

特别是做数学题，给我一種(zhong)过于強(qiang)大，可以和 GPT-4 掰(bai)掰手腕(wan)的感觉。

如果星火早(zao)几个月(yue)发布，肯定能够惊艳到我们。

但大模型的进化速(su)度一向不能以常理来考慮(lv)，所(suo)以越(yue)晚(wan)发布，大家对大模型的期(qi)待(dai)也就越高。

后来者不真拿两把刷(shua)子出来，没点革(ge)命(ming)性(xing)的变化，很难掀(xian)起大水花(hua)了。

而且，这條(tiao)路(lu)后发者们能不能趕(gan)上趟(tang)还真不好说。

就像李(li)彥(yan)宏(hong)说过观点：不要重(zhong)復(fu)造(zao)轮子，AI 的十(shi)倍机会指不定在哪(na)兒(er)呢。

撰(zhuan)文：四大&八(ba)戒(jie)編(bian)辑：江(jiang)江&面線(xian)封(feng)面 ：煥(huan)妍(yan)

圖(tu)片(pian)、资料(liao)来源(yuan)：

星火大模型

《中文通用大模型綜(zong)合性评测基准SuperCLUE发布，讯飞星火認(ren)知(zhi)大模型领跑国内》|科大讯飞研(yan)究(jiu)院(yuan)返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任(ren)编辑：