2013跨年

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>觀(guan)察(cha)|大(da)模(mo)型(xing)“幻(huan)覺(jiao)”裏(li)的(de)算(suan)力(li)與(yu)數(shu)據(ju)，誰(shui)會(hui)先(xian)成(cheng)為(wei)“賽(sai)點(dian)”？

全(quan)球(qiu)大模型群(qun)雄(xiong)逐(zhu)鹿(lu)，算力最(zui)先告(gao)急(ji)。今(jin)年(nian)5月(yue)29日(ri)，英(ying)偉(wei)達(da)創(chuang)始(shi)人(ren)黃(huang)仁(ren)勛(xun)斷(duan)言(yan)，“我(wo)們(men)已(yi)經(jing)达到(dao)生(sheng)成式(shi)AI引(yin)爆(bao)点，從(cong)此(ci)全世(shi)界(jie)的每(mei)個(ge)角(jiao)落(luo)都(dou)会有(you)算力需(xu)求(qiu)”。壹(yi)天(tian)後(hou)，英伟达市(shi)值(zhi)突(tu)破(po)萬(wan)億(yi)美(mei)元(yuan)，屹(yi)立(li)世界之(zhi)巔(dian)。

英伟达將(jiang)世界的目(mu)光(guang)聚(ju)焦(jiao)在(zai)了(le)風(feng)雲(yun)變(bian)幻的算力、顯(xian)卡(ka)江(jiang)湖(hu)。2023世界人工(gong)智(zhi)能(neng)大会期(qi)間(jian)，有人直(zhi)言，沒(mei)有大算力做(zuo)大模型就(jiu)是(shi)天方(fang)夜(ye)譚(tan)。但(dan)也(ye)有人認(ren)为，数据要(yao)素(su)在人工智能大模型的發(fa)展(zhan)中(zhong)具(ju)有關(guan)鍵(jian)性(xing)作(zuo)用(yong)，決(jue)定(ding)了模型的訓(xun)練(lian)質(zhi)量(liang)、性能表(biao)現(xian)和(he)應(ying)用領(ling)域(yu)的廣(guang)度(du)与深(shen)度。

人们常(chang)把(ba)算力、算法(fa)、数据形(xing)容(rong)为人工智能的三(san)駕(jia)馬(ma)車(che)，但這(zhe)三驾马车之间可(ke)能也不(bu)是完(wan)全的並(bing)行(xing)关系(xi)。如(ru)果(guo)說(shuo)算力是大模型的“根(gen)”，那(na)数据或(huo)者(zhe)说是高(gao)质量的語(yu)料(liao)庫(ku)，或許(xu)就会成为算力的“根”。

一熱(re)一“冷(leng)”

大模型浪(lang)潮(chao)，率(lv)先将算力推(tui)至(zhi)风口(kou)浪尖(jian)。2023世界人工智能大会上(shang)，算力成为大模型絕(jue)對(dui)的关键詞(ci)之一。中國(guo)工程(cheng)院(yuan)院士(shi)、鵬(peng)城(cheng)實(shi)驗(yan)室(shi)主(zhu)任(ren)高文(wen)把算力比(bi)作電(dian)力，认为没有大算力做大模型就是天方夜谭。華(hua)为輪(lun)值董(dong)事(shi)長(chang)胡(hu)厚(hou)崑(崑)也提(ti)到，大模型训练的效(xiao)率或者是创新(xin)的速(su)度，根本(ben)上取(qu)决於(yu)算力的大小(xiao)。中国的算力已经成为一个越(yue)來(lai)越稀(xi)缺(que)的資(zi)源(yuan)。

大会期间，畢(bi)马威(wei)与聯(lian)想(xiang)集(ji)團(tuan)联合(he)发布(bu)《普(pu)慧(hui)算力開(kai)啟(qi)新計(ji)算時(shi)代(dai)》報(bao)告。毕马威中国数字(zi)化(hua)賦(fu)能主管(guan)合夥(huo)人張(zhang)慶(qing)傑(jie)在解(jie)讀(du)报告时提到，算力供(gong)給(gei)增(zeng)速明(ming)显難(nan)以(yi)滿(man)足(zu)指(zhi)数式爆发的需求，儲(chu)備(bei)算力成为各(ge)行各業(ye)的必(bi)要舉(ju)動(dong)。

据了解，深度學(xue)習(xi)出(chu)现之前(qian)，用于AI训练的算力增长大約(yue)每20个月翻(fan)一番(fan)；之后，用于AI训练的算力大约每6个月翻一番；2012年后，全球頭(tou)部(bu)AI模型训练算力需求更(geng)是加(jia)速到每3个月至4个月翻一番，即(ji)平(ping)均(jun)每年算力增长幅(fu)度达到驚(jing)人的10倍(bei)；目前大模型发展如火(huo)如荼(tu)，训练算力需求有望(wang)擴(kuo)张到原(yuan)来的10-100倍，算力需求的指数級(ji)增长曲(qu)線(xian)将更加陡(dou)峭(qiao)。

大模型对算力的需求是显而(er)易(yi)見(jian)的，但更关键的点可能在于是否(fou)能把算力更高效地(di)挖(wa)掘(jue)出来。一位(wei)芯(xin)片(pian)企(qi)业的技(ji)術(shu)人員(yuan)对北(bei)京(jing)商(shang)报記(ji)者提到，一个模型上线需要用到很(hen)多(duo)硬(ying)件(jian)，如果只(zhi)支(zhi)撐(cheng)了少(shao)量用戶(hu)，就会因(yin)为太(tai)貴(gui)導(dao)致(zhi)用户不買(mai)賬(zhang)，由(you)此撑不起(qi)正(zheng)向(xiang)循(xun)環(huan)的情(qing)況(kuang)，但太便(bian)宜(yi)又(you)会出现虧(kui)本的問(wen)題(ti)。特(te)別(bie)是到落地階(jie)段(duan)，如何(he)能夠(gou)結(jie)合模型上的一些(xie)改(gai)進(jin)，把硬件的特性最大程度地发揮(hui)出来，就会变得(de)非(fei)常重(zhong)要。

“也就是说在训练阶段，大家(jia)对算力的追(zhui)求可能是‘大’，这一方面(mian)能够做出更大的模型，另(ling)一方面也能够进行更快(kuai)速的叠(die)代。但到用户开始接(jie)受(shou)这个效果的时候(hou)，就要涉(she)及(ji)到怎(zen)樣(yang)做才(cai)能更劃(hua)算的问题，也就是说在部署(shu)阶段，可能要更关註(zhu)‘精(jing)’的问题，盡(jin)可能用相(xiang)对少的算力实现最大程度的作用。”上述(shu)技术人员说道(dao)。

大会期间，比起对算力的探(tan)討(tao)，数据就显得有些“冷清(qing)”了。“数据要素比大模型早(zao)好(hao)幾(ji)年，大模型被(bei)‘炒(chao)’起来了，但数据要素卻(que)一直不溫(wen)不火”，7月8日，在2023世界人工智能大会“大模型时代下(xia)的数据要素流(liu)通(tong)”論(lun)壇(tan)的主题演(yan)講(jiang)中，拓(tuo)爾(er)思(si)總(zong)裁(cai)施(shi)水(shui)才开場(chang)便提出了这样一種(zhong)现象(xiang)，在他(ta)看(kan)来，这场论坛为人们认識(shi)数据要素流通提供了一个新的視(shi)角。

大模型“幻觉”

在上述论坛上，中国知(zhi)網(wang)副(fu)总经理(li)张宏(hong)伟表示(shi)，数据是人工智能的基(ji)石(shi)，数据的质量和数量最終(zhong)决定人工智能水平高低(di)，影(ying)響(xiang)其(qi)安(an)全性、可信(xin)性。施水才更是认为，高质量数据才是大模型價(jia)值躍(yue)遷(qian)的制(zhi)勝(sheng)法寶(bao)。

但當(dang)下的问题在于，数据并不都是高质量的。過(guo)去(qu)一段时间，一度出现“AI正在汙(wu)染(ran)中文互(hu)联网”的讨论，而AI最讓(rang)人詬(gou)病(bing)的就是“幻觉”问题，也就是人们常说的“一本正经地胡说八(ba)道”。

大模型“幻觉”也是人工智能大会期间被提到的高頻(pin)词匯(hui)。施水才对北京商报记者提到，“幻觉”问题的出现，主要是因为大模型缺乏(fa)理论的支撑，因为其核(he)心(xin)技术原理主要就是Transformer架(jia)構(gou)下的Next Token Prediction，即“下一个字符(fu)的預(yu)測(ce)”。另一方面大模型并不是越大越好，数据也不是越多越好，真(zhen)正好的大模型是參(can)数大小適(shi)中，数据高质量。

算力可以堆(dui)硬件，相比起来，優(you)质数据的供给可能会復(fu)雜(za)得多。上海(hai)数据交(jiao)易所(suo)总经理湯(tang)奇(qi)峰(feng)认为，大模型时代下的语料库建(jian)設(she)存(cun)在语料库供给不足、语料库质量不高、语料库多样性匱(kui)乏、语料库標(biao)準(zhun)欠(qian)缺等(deng)问题。

在接受北京商报记者采(cai)訪(fang)时，上海数据交易所副总经理韋(wei)誌(zhi)林(lin)提到，从推动数字经濟(ji)，推动数据作为生產(chan)要素的角度看，数据应該(gai)是最核心、最长遠(yuan)、最基礎(chu)性的因素。“大模型的预训练对数据要求也特别高，必須(xu)在前期进行清洗(xi)、标注、标识，但圍(wei)繞(rao)千(qian)行百(bai)业的数据训练，在数据供给方面也呈(cheng)现出了许多问题和挑(tiao)戰(zhan)。”

首(shou)要的就是头部廠(chang)商并不願(yuan)意(yi)开放(fang)数据。数据是生产要素，数据有价值，这些已经达成共(gong)识，但进行数据共享(xiang)就一定会牽(qian)扯(che)到安全问题，如何解决数据在共享过程中的安全機(ji)制至关重要。而数据的开放流通，也自(zi)然(ran)涉及收(shou)益(yi)分(fen)配(pei)，且(qie)数据流通过程中创造(zao)的新价值更多服(fu)務(wu)于企业內(nei)部，拿(na)出去的动力還(hai)需进一步(bu)培(pei)育(yu)。

“所以从数据流通本身(shen)看，更多壓(ya)力还存在供给側(ce)这一方面，需要解决供给侧中产權(quan)制度问题、收益分配制度问题、安全问题、基础设施问题等，让数据流通更加便捷(jie)、更加合規(gui)。”韦志林表示，上海数据交易所作为国家战略(lve)的承(cheng)接者，需要解决的就是这些问题。

据了解，7月8日，上海数据交易所启动语料数据生態(tai)创新合作伙伴(ban)计划，而在此前一天，上海数据交易所官(guan)网剛(gang)刚正式上线语料库，累(lei)计掛(gua)牌(pai)近(jin)30个语料数据产品(pin)，包(bao)含(han)文本、音(yin)频、圖(tu)像(xiang)等多模态，覆(fu)蓋(gai)金(jin)融(rong)、交通運(yun)輸(shu)和醫(yi)療(liao)等领域。

汤奇峰稱(cheng)，语料库建设不是單(dan)一企业的責(ze)任，需要多方共同(tong)推进，如果每个企业都单獨(du)建设維(wei)護(hu)语料库，会拉(la)低效率，也会增加企业成本，“数交所希(xi)望通过自己(ji)的努(nu)力加強(qiang)数据要素建设提升(sheng)语料库建设效率。”

北京商报记者 楊(yang)月涵(han)返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

责任編(bian)輯(ji)：