香奈儿5号：优雅斗牛士

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>反(fan)思(si)國(guo)產(chan)大(da)模(mo)型(xing)：如(ru)果(guo)泡(pao)沫(mo)不(bu)可(ke)避(bi)免(mian)，我(wo)們(men)該(gai)如何(he)面(mian)對(dui)這(zhe)場(chang)革(ge)命(ming)？

來(lai)源(yuan)：阿(e)爾(er)法(fa)工(gong)场

最(zui)近(jin)，Facebook早(zao)期(qi)投(tou)資(zi)者(zhe)Roger McNamee在(zai)CNBC上(shang)批(pi)評(ping)人(ren)们对AI的(de)狂(kuang)熱(re)，是(shi)“忘(wang)掉(diao)了(le)過(guo)去(qu)科(ke)技(ji)泡沫帶(dai)来的痛(tong)”。

同(tong)樣(yang)的，在国內(nei)，面对越(yue)来越多(duo)的大模型，部(bu)分(fen)頭(tou)腦(nao)冷(leng)靜(jing)的人士(shi)，也(ye)顯(xian)示(shi)出(chu)自(zi)己(ji)的擔(dan)憂(you)。

“这麽(me)多的大模型，真(zhen)正(zheng)有(you)自己技術(shu)的有幾(ji)個(ge)？”

“有几家(jia)公(gong)司(si)能(neng)持(chi)續(xu)投入(ru)下(xia)去？”

更(geng)有头部VC機(ji)構(gou)人士認(ren)為(wei)，經(jing)过他(ta)们的私(si)下測(ce)試(shi)和(he)摸(mo)底(di)，几乎(hu)国内所(suo)有的大模型，都(dou)是PR項(xiang)目(mu)……

眾(zhong)所周(zhou)知(zhi)，大模型的訓(xun)練(lian)是壹(yi)个成(cheng)本(ben)極(ji)高(gao)的过程(cheng)，需(xu)要(yao)大量(liang)的算(suan)力(li)和资金(jin)支(zhi)持，以(yi)OpenAI为例(li)，GPT-3的單(dan)次(ci)训练成本就(jiu)高達(da)140萬(wan)美(mei)元(yuan)，对於(yu)一些(xie)更大的大模型，训练成本介(jie)于200万美元至(zhi)1200万美元之(zhi)間(jian)。

用(yong)知名(ming)計(ji)算机專(zhuan)家吳(wu)軍(jun)的話(hua)来形(xing)容(rong)，ChatGPT每(mei)训练一次，相(xiang)當(dang)于報(bao)廢(fei)了3000輛(liang)特(te)斯(si)拉(la)汽(qi)車(che)。

这个數(shu)字(zi)告(gao)訴(su)人们：要想(xiang)打(da)造(zao)有競(jing)爭(zheng)力的大模型，不下血(xue)本是不行(xing)的。

某(mou)些體(ti)量、资金不足(zu)，卻(que)仍(reng)舊(jiu)叫(jiao)囂(xiao)著(zhe)要“对標(biao)ChatGPT”的企(qi)業(ye)，其(qi)本身(shen)的實(shi)力，難(nan)免讓(rang)人产生(sheng)懷(huai)疑(yi)。

例如某个在發(fa)布(bu)大模型後(hou)，自身股(gu)價(jia)最高暴(bao)漲(zhang)338%的国内公司（此(ci)處(chu)就不點(dian)名了），其賬(zhang)上的貨(huo)幣(bi)资金不过13億(yi)元。

然(ran)而(er)，以ChatGPT的训练成本为例，要想背(bei)后的智(zhi)能算力集(ji)群(qun)，僅(jin)GPU显卡(ka)采(cai)購(gou)成本就超(chao)过了10亿元。国内目前(qian)能夠(gou)支撐(cheng)起(qi)類(lei)似(si)基(ji)礎(chu)設(she)施(shi)的企业不超过3家。

也正因(yin)如此，在这场表(biao)面热鬧(nao)的大模型竞賽(sai)中(zhong)，註(zhu)定(ding)有一大票(piao)公司，都只(zhi)是打着大模型的名號(hao)，来实現(xian)自身利(li)益(yi)的“陪(pei)跑(pao)者”罷(ba)了……

不过縱(zong)觀(guan)人类的科技发展(zhan)史(shi)，都由(you)泡沫中的幸(xing)存(cun)者来繼(ji)续推(tui)動(dong)的。即(ji)使(shi)人类本身，也是物(wu)種(zhong)大爆(bao)发这场生物泡沫的幸運(yun)兒(er)。如果泡沫無(wu)法避免，從(cong)业者真正需要的是面对泡沫時(shi)的冷静和定力。

数據(ju)孤(gu)島(dao)

国产大模型能否(fou)达到(dao)或(huo)超越GPT这类先(xian)進(jin)模型的水(shui)平(ping)，有兩(liang)个較(jiao)为主(zhu)要的因素(su)：

一是在数据集的獲(huo)取(qu)上，如何不斷(duan)積(ji)累(lei)足够多、且(qie)高質(zhi)量的数据集；

二(er)是在煉(lian)制(zhi)大模型的“工藝(yi)”上，如何不断探(tan)索(suo)和突(tu)破(po)，找(zhao)到新(xin)的理(li)論(lun)和方(fang)法。

先說(shuo)第(di)一点。

目前，在大模型的训练上，用来训练的主流(liu)数据集以英(ying)文(wen)为主，中文数据只占(zhan)据4.8%。

之前清(qing)華(hua)计算机系(xi)教(jiao)授(shou)唐(tang)傑(jie)，在对千(qian)亿模型ChatGLM-130B训练前数据準(zhun)備(bei)时，就曾(zeng)面臨(lin)过清洗(xi)中文数据后，可用量不到2TB的情(qing)況(kuang)。

这就是国内所有做(zuo)大模型的團(tuan)隊(dui)不得(de)不面对的慘(can)烈(lie)现狀(zhuang)。

为解(jie)決(jue)这个問(wen)題(ti)，許(xu)多国内团队，都開(kai)始(shi)通(tong)过“众誌(zhi)成城(cheng)”的方式(shi)，开源自身的中文数据集，以希(xi)望(wang)彌(mi)補(bu)高质量中文数据集的不足。

但(dan)是，这种通过各(ge)个团队“自覺(jiao)”开源的方式，仍然存在着一定局(ju)限(xian)性(xing)，那(na)就是：由于数据的敏(min)感(gan)性、隱(yin)私性和所有權(quan)等(deng)问题，很(hen)多行业和領(ling)域(yu)的数据並(bing)不容易(yi)获得或共(gong)享(xiang)。

国内数据大量儲(chu)存于移(yi)动端(duan)APP中，于训练大模型而言(yan)比(bi)较难于抓(zhua)取。

同时国内互(hu)聯(lian)網(wang)巨(ju)头之间的数据相互封(feng)閉(bi)，数据孤岛化(hua)情况嚴(yan)重(zhong)。例如百(bai)度(du)的内容生態(tai)数据，騰(teng)訊(xun)的公众号数据，阿裏(li)的電(dian)商(shang)和物流数，这些屬(shu)于各大企业的私有数据，雖(sui)然都在各自的行业和场景(jing)，积累了外(wai)人所不能及(ji)的優(you)勢(shi)，但由其所有权和隐私性的问题，導(dao)致(zhi)很难與(yu)外界(jie)进行共享。

而这些不容易获取的数据，往(wang)往无法依(yi)賴(lai)各团队的“自願(yuan)”和“主动”进行开源。

針(zhen)对这一问题，走(zou)在前列(lie)的美国AI产业，早已(yi)通过更成熟(shu)的数据共享平臺(tai)、数据交(jiao)易市(shi)场、数据信(xin)托(tuo)等机制，促(cu)进了数据的流通和价值(zhi)发现。

具(ju)体来说，在这些数据交易平台中，第三(san)方数据擁(yong)有者可以將(jiang)原(yuan)始数据掛(gua)到数据交易市场上公开出售(shou)，数据需求(qiu)方按(an)照(zhao)約(yue)定价格(ge)（買(mai)断数据/按小(xiao)时计費(fei)、平台會(hui)員(yuan)费）购买后，可以在数据交易平台上获得離(li)線(xian)的数据包(bao)或者实时API。

若(ruo)最終(zhong)成功(gong)交易，平台收(shou)取一定傭(yong)金后返(fan)還(hai)銷(xiao)售收入給(gei)第三方数据拥有者。这类型数据交易平台代(dai)表有RapidAPI、Streamr等。

与之相比，国内大数据交易仍处于起步(bu)階(jie)段(duan)，数据交易主要以单純(chun)的原始数据“粗(cu)加(jia)工”交易为主，且数据供(gong)需不对稱(cheng)，使得数据交易难以滿(man)足社(she)会有效(xiao)需求，数据成交率(lv)和成交額(e)不高。

此外，在数据交易过程中，国内市场也缺(que)乏(fa)全(quan)国統(tong)一的規(gui)範(fan)体系和必(bi)要的法律(lv)保(bao)障(zhang)，无法有效破解数据定价、数据確(que)权等难题。

从長(chang)遠(yuan)来看(kan)，国内大模型要想在数据的数量、质量上进一步得到提(ti)升(sheng)，就不能单单只靠(kao)部分团队“自愿”和“主动”的开源，而要在法律、市场机制等方面，做出更多与时俱(ju)进的改(gai)革，如此方能促进各个行业间数据的廣(guang)泛(fan)共享。

“工艺”的差(cha)距(ju)

除(chu)了数据集的数量、质量外，另(ling)一个决定大模型能力強(qiang)弱(ruo)的關(guan)鍵(jian)因素，就是炼制大模型的“工艺”。

前段时间，復(fu)旦(dan)大學(xue)教授、上海(hai)市数据科学重点实驗(yan)室(shi)主任(ren)肖(xiao)仰(yang)华就表示，与国際(ji)同行相比，模型、数据和算力并不是中国最大的劣(lie)势，真正的短(duan)板(ban)在于对大模型"炼制"工艺的掌(zhang)握(wo)，包括(kuo)数据配(pei)方、数据清洗和參(can)数设置(zhi)等等。

现在有些国内大模型，动輒(zhe)就对外号称“百亿”、“千亿”规模，仿(fang)佛(fo)参数量越大，模型性能就愈(yu)强。

然而，空(kong)有龐(pang)大的规模，却缺乏先进的“工艺”，这就像(xiang)一个脑容量頗(po)大，但却掌握不到学習(xi)要领的学生，难以在学习能力上进一步“精(jing)进”。

具体来说，如果将炼制大模型的过程，类比成一座(zuo)工廠(chang)中的流水线。那么数据配方就像在开始生产之前選(xuan)擇(ze)原材(cai)料(liao)一样，需要选择不同的数据集，确定不同领域、不同类型、不同模态数据的配比；

而数据清洗就像对原材料的加工一样，对原始語(yu)料进行去噪(zao)、去重、过濾(lv)、规范化等操(cao)作(zuo)，提取有用的信息(xi)；

参数设置就像生产过程中的調(tiao)整(zheng)和优化一样，通过选择合(he)適(shi)的超参数，如学习率、批次大小等，以达到最佳(jia)的效果。

虽然上述(shu)的每一个具体步驟(zhou)，国内其实都知道(dao)怎(zen)么做，但是将它(ta)们整合在一起，總(zong)体效果和国外是存在差距的。

这虽然不是0和1的區(qu)別(bie)，但却是50分和100分的区别。

所以，大模型的研(yan)制与开发，终歸(gui)是一个易学难精的过程。而要想进一步提升这样的工艺，就必須(xu)在人工智能的基础理论、工程实踐(jian)以及創(chuang)新思維(wei)上不断积累，从而实现在关键環(huan)節(jie)上的突破和领先。

可问题是，这些反复试錯(cuo)、探索的过程，往往是一个需要消(xiao)耗(hao)大量时间、资源，且并沒(mei)有实际产出与盈(ying)利的过程。

即便(bian)是创造了ChatGPT的OpenAI，目前也处于严重虧(kui)損(sun)的状态（其去年(nian)的亏损已达5.4亿美元）。

这对于国内许多急(ji)功近利的企业而言，无疑是一个重大的考(kao)验。

因为国内巨头们对技术性風(feng)口(kou)的追(zhui)逐(zhu)和热愛(ai)，不堅(jian)定，也缺乏耐(nai)心(xin)。

舉(ju)例来说，全民(min)造芯(xin)运动中，在2017年，资本对半(ban)导体的狂热达到了一个頂(ding)端，创下至今(jin)最高歷(li)史記(ji)錄(lu)，单筆(bi)平均(jun)融(rong)资达到 8亿元。

然而，一旦察(cha)觉某类技术的研发，是一场漫(man)长且难見(jian)收益的过程，某些企业的“浮(fu)躁(zao)”与“搖(yao)擺(bai)”就会逐漸(jian)显现。

2020年，武(wu)漢(han)弘(hong)芯半导体，号称千亿投资，台积电技术大牛(niu)執(zhi)掌。但成立(li)仅仅三年，就被(bei)曝(pu)出项目欠(qian)薪(xin)停(ting)摆。武汉弘芯将大陸(lu)唯(wei)一一台，价值5亿多元，能够生产7nm芯片(pian)的光(guang)刻(ke)机，拿(na)去銀(yin)行抵(di)押(ya)续命。

由此可见，国内外大模型的竞争，表面上看，是数据集多寡(gua)、质量高低(di)的竞争；稍(shao)微(wei)深(shen)入了看，是大模型工艺的比拼(pin)；而再(zai)深入到底層(ceng)，就變(bian)成了不同的商业文化，乃(nai)至生态的綜(zong)合竞争了。返回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任編(bian)輯(ji)：