探索宝马户外广告的创意与灵感

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>”什(shen)麽(me)時(shi)候(hou)我(wo)們(men)算(suan)力(li)超(chao)越(yue)美(mei)國(guo)，GDP也(ye)就(jiu)有(you)望(wang)超越美国了(le)”

? 文(wen) 觀(guan) 察(cha) 者(zhe) 網(wang) 呂(lv)棟(dong)

剛(gang)刚在(zai)上(shang)海(hai)閉(bi)幕(mu)的(de)第(di)六(liu)屆(jie)世(shi)界(jie)人(ren)工(gong)智(zhi)能(neng)大(da)會(hui)（WAIC），火(huo)爆(bao)程(cheng)度(du)可(ke)謂(wei)歷(li)届之(zhi)最(zui)。在会上，AI大模(mo)型(xing)是(shi)當(dang)之無(wu)愧(kui)的焦(jiao)點(dian)，而(er)芯(xin)片(pian)和(he)算力作(zuo)為(wei)大模型的基(ji)礎(chu)，也成(cheng)为與(yu)会專(zhuan)家(jia)學(xue)者口(kou)中(zhong)的高(gao)頻(pin)詞(ci)。

“沒(mei)有大算力，做(zuo)大模型就是天(tian)方(fang)夜(ye)譚(tan)。”本(ben)届WAIC期(qi)間(jian)，中国工程院(yuan)院士(shi)、鵬(peng)城(cheng)實(shi)驗(yan)室(shi)主(zhu)任(ren)高文在昇(sheng)騰(teng)人工智能產(chan)業(ye)高峰(feng)論(lun)壇(tan)上演(yan)講(jiang)时直(zhi)言(yan)，使(shi)用(yong)算力訓(xun)練(lian)大模型，就像(xiang)工业中使用電(dian)力壹(yi)樣(yang)，想(xiang)靠(kao)省(sheng)电做出(chu)什么产品(pin)來(lai)，真(zhen)正(zheng)懂(dong)行(xing)的人聽(ting)了都(dou)不(bu)信(xin)，大模型一定(ding)要(yao)有算力作为基础。

他(ta)指(zhi)出，算力已(yi)成为數(shu)字(zi)經(jing)濟(ji)發(fa)展(zhan)中的一個(ge)指数，美国的算力指数現(xian)在排(pai)名(ming)全(quan)球(qiu)第一，比(bi)中国大概(gai)多(duo)了20%-30%的算力，GDP也比中国多20%-30%，“什么时候我们的算力超越了美国，咱(zan)们的GDP也就有望超越美国了。所(suo)以(yi)发展人工智能和数字经济，没有匹(pi)配(pei)的算力是不可能的。”

圖(tu)源(yuan)：观察者网

根(gen)據(ju)工信部(bu)数据，截(jie)至(zhi)2022年(nian)底(di)，我国算力總(zong)規(gui)模已達(da)180EFLOPS，近(jin)五(wu)年平(ping)均(jun)增(zeng)速(su)超30%，算力规模排名全球第二(er)。但(dan)這(zhe)其(qi)中很(hen)大一部分(fen)是通(tong)用算力，而不是更(geng)適(shi)合(he)大模型训练的智能算力。

中国信通院发布(bu)的《中国算力指数发展白(bai)皮(pi)書(shu)（2022）》顯(xian)示(shi)，中美在全球算力规模中的份(fen)額(e)分別(bie)为33%、34%，其中基础算力分别为26%、37%，智能算力分别为28%、45%，超級(ji)算力分别为18%、48%。

建(jian)設(she)更多的智能算力，成为中国AI产业向(xiang)前(qian)发展的当務(wu)之急(ji)。

据高文介(jie)紹(shao)，鹏城实验室已经与華(hua)为合作，建设了大规模AI計(ji)算集(ji)群(qun)“鹏城雲(yun)腦(nao)Ⅱ”，該(gai)集群搭(da)載(zai)了約(yue)4000顆(ke)华为昇腾AI芯片，相(xiang)当於(yu)4000塊(kuai)英(ying)偉(wei)达A100 GPU的算力，目(mu)前算力规模是1000P，並(bing)且(qie)该集群实现全棧(zhan)軟(ruan)硬(ying)件(jian)自(zi)主可控(kong)，蟬(chan)聯(lian)多項(xiang)全球AI性(xing)能榜(bang)單(dan)冠(guan)軍(jun)。

他近期在深(shen)圳(zhen)一場(chang)讲座(zuo)上還(hai)曾(zeng)提(ti)到(dao)，“鹏城云脑II”作为国內(nei)首(shou)个全面(mian)自主可控的E级智能算力平臺(tai)，当前的性能以及(ji)人工智能算力水(shui)平达到国際(ji)領(ling)先(xian)。目前，“鹏城云脑II”有超過(guo)七(qi)成的機(ji)时對(dui)外(wai)開(kai)放(fang)服(fu)务，已支(zhi)撐(cheng)起(qi)諸(zhu)多国产AI大模型的训练。

高文还透(tou)露(lu)，下(xia)一代(dai)鹏城云脑正在籌(chou)建中，其算力將(jiang)是“鹏城云脑II”的16倍(bei)，建成後(hou)能更好(hao)支撑6G技(ji)術(shu)和人工智能大模型训练，有望成为国际首个支撑新(xin)一代智能网絡(luo)通信創(chuang)新研(yan)究(jiu)的重(zhong)大科(ke)学基础设施(shi)和国内首个支持(chi)数据密(mi)集型智慧(hui)科学研究的大科学裝(zhuang)置(zhi)。

根据高文在本届WAIC上披(pi)露的信息(xi)，“鹏城云脑III”預(yu)计2024年底到2025年初(chu)建成，算力将达到16E，也就是16000P智能算力。

图源：观察者网

官(guan)网介绍，鹏城实验室是中央(yang)批(pi)準(zhun)成立(li)的突(tu)破(po)型、引(yin)领型、平台型一體(ti)化(hua)的网络通信领域(yu)新型科研机構(gou)。实验室聚(ju)焦寬(kuan)帶(dai)通信、新型网络、网络智能等(deng)国家重大戰(zhan)略(lve)任务以及粵(yue)港(gang)澳(ao)大灣(wan)區(qu)、中国特(te)色(se)社(she)会主義(yi)先行示範(fan)区建设的長(chang)遠(yuan)目標(biao)与重大需(xu)求(qiu)，开展领域内战略性、前瞻(zhan)性、基础性重大科学問(wen)題(ti)和關(guan)鍵(jian)核(he)心(xin)技术研究。

以下是高文院士演讲全文（观察者网根据现场讲話(hua)整(zheng)理(li)，未(wei)经本人確(que)認(ren)）：

各(ge)位(wei)专家、各位领導(dao)，大家下午(wu)好！

前面的领导都讲的很好，算力是非(fei)常(chang)重要的一件事(shi)，今(jin)天上午陳(chen)书記(ji)也讲到，上海要抓(zhua)三(san)件大事，人工智能领域，算力建设是非常重要的一方面，就像电力一样，原(yuan)来李(li)克(ke)強(qiang)总理抓经济的时候，有一个很重要的指数就是“克强指数”，是靠电力消(xiao)耗(hao)看(kan)整个经济发展順(shun)不顺利(li)，或(huo)者是正常不正常。

從(cong)现在开始(shi)，算力也是数字经济发展的一个指数。算力夠(gou)，数字经济就能发展好，不够就发展不好。所以，算力建设尤(you)其是智能算力建设就非常关键。我在这裏(li)，跟(gen)大家分享(xiang)关于鹏城云脑的智算平台，另(ling)外是分享一下，在这个平台上做的鹏城脑海大模型。

首先算力很重要，但重要到什么程度呢(ne)？清(qing)华大学一个2022年的咨(zi)詢(xun)報(bao)告(gao)提到，经过統(tong)计，算力指数和GDP是正相关的，一个国家算力越强，GDP就越强。美国现在算力指数排第一，比我们大概多了20%-30%的算力，GDP也比我们多20%-30%，什么时候我们的算力超越美国，咱们的GDP也就有望超越美国了。

正是因(yin)为算力这么重要，所以发展人工智能和数字经济，没有匹配的算力是不可能的。要有算力，就要有芯片，芯片做成机器(qi)，才(cai)能用这个机器训练模型。

为了做这件事，我们2020年在深圳做了一台机器叫(jiao)鹏城云脑Ⅱ。在2020年，这台机器的算力是全世界做人工智能训练最强的，比当时微(wei)软、谷(gu)歌(ge)的机器都要强，相当于4000块英伟达A100 GPU的算力，而且这台机器是用全光(guang)网络連(lian)接(jie)的，節(jie)点之间延(yan)遲(chi)非常低(di)。

因为有了这台机器，我们就可以做很多事，包(bao)括(kuo)做科学研究、产业應(ying)用还有关键技术的研发。这台机器刚刚我說(shuo)有4000块卡(ka)，其中一方面是鯤(kun)鹏CPU，另外是昇腾NPU，都是华为的。

图源：观察者网

那(na)么这台机器的性能行不行呢？我们就參(can)加(jia)世界TOP500的超算打(da)榜，整个超算打榜也有其他的賽(sai)道(dao)，我们参加的是IO500的赛道，是一條(tiao)考(kao)验輸(shu)出和输入(ru)能力的赛道，从2020年10月(yue)份这台机器做出来以后，我们11月份就参加打榜，连續(xu)6次(ci)第一，每(mei)半(ban)年有一次打榜，全节点连续兩(liang)次第一。

所以做人工智能训练这件事，别人没辦(ban)法(fa)和这台机器比。这台机器不僅(jin)硬件强，接口能力和网络也非常强，同(tong)时上面的软件也配備(bei)得(de)比較(jiao)完(wan)备，包括怎(zen)么样做分布式(shi)计算，怎么样做命(ming)令(ling)調(tiao)優(you)、自研调度规劃(hua)等等。

也許(xu)有的专家听到过，有人说全世界能在1000块卡上同时训练一个模型的只(zhi)有幾(ji)千(qian)人，能在4000块卡上训练的不超过100个人，在10000块卡上训练模型的人数更少(shao)了。在大规模的卡上一起做事，对于软件规划、資(zi)源调度挑(tiao)战非常大。

我们不仅是把(ba)鹏城云脑Ⅱ用好，同时也承(cheng)擔(dan)了国家发改(gai)委(wei)的任务，把华为生(sheng)態(tai)包括昇腾AI集群的算力，不论是100P或900P的算力結(jie)点，用网络把资源连起来，可以向外界提供(gong)。同时按(an)照(zhao)发改委的要求，希(xi)望这是異(yi)构的算力网平台，我们在华为生态以外，也選(xuan)擇(ze)了部分其他廠(chang)商(shang)的算力，在2022年6月这个项目验收(shou)的时候，已经聚合的智能算力达到2300P，鹏城云脑Ⅱ只是1000P，而这个系(xi)统已经聚集了2300P的智能算力。

有了鹏城云脑Ⅱ可以训练大模型了，但训练大模型还是很費(fei)算力的，即(ji)使可以训练大模型，现在的算力供給(gei)根本不够用，因此(ci)我们正在规划做鹏城云脑Ⅲ。

下面我说说大模型。

鹏城实验室正在做一个2000億(yi)参数的大模型，也就是200B的参数，为什么做这件事呢？因为有ChatGPT和類(lei)ChatGPT大模型在不停(ting)湧(yong)现，同时现在很多公(gong)司(si)都用这个東(dong)西(xi)做产业应用，去(qu)做服务。所以现在模型變(bian)得很重要了，但现在有錢(qian)的公司可以砸(za)几个亿做这样的机器，甚(shen)至十(shi)几个亿和几十个亿，而大多数公司是做不了的。

图源：观察者网

这个领域需求这么大，怎么办？鹏城实验室可以做一个底座，把模型训练完开放出去，大家在这个底座上做垂(chui)直应用。按照这样的思(si)路(lu)，我们首先有鹏城云脑Ⅱ的算力，前一階(jie)段(duan)我们積(ji)累(lei)了很多数据，这一段时间我们通过各个渠(qu)道，包括購(gou)買(mai)，拿(na)到数据先做清洗(xi)，清洗数据的工作很重，可能拿到100个数据，清洗完就剩(sheng)几个了，因为有很多是重復(fu)和不规范的数据，这些(xie)东西拿掉(diao)后，数据量(liang)就变得很小(xiao)。雖(sui)然(ran)拿了很多数据，但是真正用来做训练的数据只有1%-5%。有了这些数据，我们就可以做大模型底座。

这个大模型底座用的就是生成式预训练模型，也就是和GPT完全类似(si)的底層(ceng)。现在这个2000亿参数规模的大模型训练出来以后，我们希望把它(ta)给到合作夥(huo)伴(ban)那里，而且提供相应的指令微调和相应的人工增强学習(xi)的工具(ju)，甚至在一两个垂直领域作为垂直应用样板(ban)。因为华为在这方面很有经验，我们建議(yi)誰(shui)想做垂直应用，可以找(zhao)华为獲(huo)得一些咨询。

我们希望能快(kuai)速把这个模型做完推(tui)向社会，讓(rang)业界在这个模型上，开发中国自己(ji)的人工智能大模型应用系统。现在我们正在緊(jin)鑼(luo)密鼓(gu)地(di)往(wang)前推，应该是8月底第一次训练就完成了，9月份就会把模型开放出去。

现在训练的数据有多大呢？我们说的是餵(wei)数据，每天喂10个B，但是最重要的是喂一个T的数据，而一个T是由(you)几百(bai)个T清洗来的，现在数据都是中文和代碼(ma)数据，4000多块卡的机器每天可以吃(chi)掉10个B，100天就能吃掉1000个B，也就是一个T，因此训练2000亿参数的模型，需要4000块卡训练100天。

这就是算力的重要性，如(ru)果(guo)算力不足(zu)的话，做一个模型还是很辛(xin)苦(ku)的，而且现在这个模型才训练一个T的数据，如果训练两到三个T的话，还要加两到三个100天，没有大算力做大模型就是天方夜谭。实际上这就和电力是一样的，想靠省电做出什么产品来，真正懂行的人听了都不信，一定要有算力作为基础。

图源：观察者网

怎么样把数据做好、训练得快，我们有一套(tao)体系。

有个开源社区叫啟(qi)智开源社区，这里有很多工程師(shi)在做飛(fei)輪(lun)数据工程，可以使清洗数据做得非常快，有很多自動(dong)和半自动的清洗数据。同时我们要考慮(lv)应用的时候有隱(yin)私(si)数据，有一些数据应用者，希望到这个模型应用一下，但是不希望自己的数据被(bei)丟(diu)掉或者是被看到，我们也提供了隐私数据保(bao)護(hu)的模块。

我们希望鹏城脑海大模型训练出来以后，可以快速向社会賦(fu)能，可以让大家做数字政(zheng)府(fu)、一带一路、智能制(zhi)造(zao)、智慧金(jin)融(rong)、智慧醫(yi)療(liao)等各種(zhong)各样的应用。而且我们还有完整的教(jiao)育(yu)计划、人才计划，希望通过高校(xiao)和合作伙伴培(pei)養(yang)更多AI人才，能让中国的大模型应用快速启动。

总结一下，鹏城实验室在鹏城云脑Ⅱ硬件平台和鹏城脑海大模型这两件事上，都在和华为合作往前推進(jin)，希望可以对中国人工智能大模型的应用貢(gong)獻(xian)一点力量。作为一个基石(shi)，希望大家多关心、多参与。

来 源 | 观 察 者 网返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任編(bian)輯(ji)：