名牌产品广告宣传语

wanghongzhubomoniqicaiyongdeshimonijingyingwanfa，tiaozhanmoniyangchengzhubo，weinijinxingzhuanqian。chuangruwaixingrendejidi，zhaodaoxiaomiewaixingrendeguanjian，xindedirenbuduanchuxian，zaizuiduandeshijianneijiejuetamenbashoujiziliaolejiezhenxiang，shoujiguanjianxiansuo，jiesuogoumaigengduodeshexiangtou。yanxujingdiandetesejiemiwanfa，shenlinqijingdequzhankaigezhongkongbumaoxian。bairendaochang，tongtaigongpingjingji千(qian)億(yi)參(can)數(shu)的(de)盤(pan)古(gu)大(da)模(mo)型(xing)是(shi)如(ru)何(he)煉(lian)成(cheng)的？

天(tian)地(di)混(hun)沌(dun)如雞(ji)子(zi)，盘古生(sheng)在(zai)其(qi)中(zhong)，萬(wan)八(ba)千歲(sui)，天地開(kai)辟(pi)，陽(yang)清(qing)為(wei)天，陰(yin)濁(zhuo)为地，盘古在其中。

——三(san)國(guo)·吳(wu)·徐(xu)整(zheng)《三五(wu)歷(li)紀(ji)》

“每(mei)個(ge)人(ren)都(dou)生活(huo)在特(te)定(ding)的時(shi)代(dai)，每个人在特定时代中的人生道(dao)路(lu)各(ge)不(bu)相(xiang)同(tong)。在同壹(yi)个时代，有(you)人慨(kai)嘆(tan)生不逢(feng)时，有人只(zhi)願(yuan)安(an)分(fen)……”這(zhe)是2021年(nian)北(bei)京(jing)高(gao)考(kao)命(ming)題(ti)作(zuo)文(wen)“論(lun)生逢其时”的开頭(tou)。

答(da)题的是一位(wei)既(ji)沒(mei)上(shang)過(guo)小(xiao)學(xue)，也(ye)没讀(du)过初(chu)中、高中的特殊(shu)考生。他(ta)只是在短(duan)时間(jian)內(nei)学習(xi)了(le)大量(liang)人民(min)日(ri)報(bao)的文章(zhang)，然(ran)後(hou)憑(ping)借(jie)自(zi)己(ji)的閱(yue)读理(li)解(jie)、文本(ben)聯(lian)想(xiang)以(yi)及(ji)語(yu)言(yan)生成能(neng)力(li)，寫(xie)出(chu)这篇(pian)看(kan)似(si)“像(xiang)模像樣(yang)”的高考作文。（延(yan)展(zhan)阅读：今(jin)天参加(jia)高考的有1078万考生和(he)一个AI）

是的，它(ta)是一个AI——華(hua)为雲(yun)盘古大模型，就(jiu)在昨(zuo)天2021世(shi)界(jie)人工(gong)智(zhi)能大會(hui)（WAIC2021）上剛(gang)被(bei)評(ping)選(xuan)为大会的“鎮(zhen)館(guan)之(zhi)寶(bao)”！在現(xian)場(chang)，觀(guan)眾(zhong)可(ke)與(yu)大模型互(hu)動(dong)，直(zhi)接(jie)給(gei)對(dui)方(fang)出题。比(bi)如，一句(ju)“明(ming)明明明明白(bai)白白白喜(xi)歡(huan)他，但(dan)他就是不說(shuo)，他很(hen)高冷(leng)。”

这句話(hua)裏(li)，“明明”顯(xian)示(shi)一个人名(ming)，而(er)后又(you)作为形(xing)容(rong)詞(ci)，且(qie)整句需(xu)要(yao)斷(duan)句。但當(dang)記(ji)者(zhe)向(xiang)大模型提(ti)問(wen) “白白喜欢誰(shui)？”时，大模型很快(kuai)回(hui)答“明明”。回答正(zheng)確(que)！雖(sui)然盘古没有寒(han)窗(chuang)苦(ku)读十(shi)幾(ji)年，但它也經(jing)历了上亿参数的“学习”。

比如理解下(xia)面(mian)这兩(liang)句话：

1、小明在读一本書(shu)，通(tong)过不断堅(jian)持(chi)，克(ke)服(fu)各種(zhong)困(kun)難(nan)，最(zui)后读完(wan)了。

2、小紅(hong)在畫(hua)画，期(qi)间遇(yu)到(dao)了很多(duo)困难，最后也完成了这副(fu)画作。

虽然上面两句话的人物(wu)和事(shi)件(jian)都不相同，但盘古也能和我(wo)們(men)人類(lei)一样，從(cong)中提取(qu)一个相同的含(han)義(yi)：鍥(qie)而不舍(she)。这个能力其實(shi)已(yi)经在华为开發(fa)者大会（Cloud）2021现场有所(suo)展示。我们不禁(jin)想问道盘古大模型是如何做(zuo)到如此(ci)“聰(cong)慧(hui)”的呢(ne)？

为了更(geng)深(shen)入(ru)理解千亿参数的盘古大模型，我们采(cai)訪(fang)到了盘古大模型研(yan)发員(yuan)謝(xie)淩(ling)曦(xi)，考慮(lv)到大模型涉(she)及到的一些(xie)技(ji)術(shu)比較(jiao)晦(hui)澀(se)，所以谢博(bo)士(shi)以非(fei)常(chang)通俗(su)的方式(shi)为我们娓(wei)娓道來(lai)了盘古大模型研发的“前(qian)世今生”，以及它背(bei)后的艱(jian)难往(wang)事。

▲华为云盘古大模型研发员 谢凌曦

何为大模型：AI落(luo)地千行(xing)百(bai)業(ye)的必(bi)由(you)之路

神(shen)话傳(chuan)说里，盘古开天辟地，宇(yu)宙(zhou)从一片(pian)混沌變(bian)得(de)有序(xu)，談(tan)盘古大模型，谢凌曦从人工智能的誕(dan)生开始(shi)说起(qi)。

上世纪50年代，AI概(gai)念(nian)被提出，人们使(shi)用(yong)人工設(she)計(ji)規(gui)則(ze)的方式去(qu)定义AI。到了80年代，在大数據(ju)的浪(lang)潮(chao)下，人们通过訓(xun)練(lian)数据模型的方式来实现AI。后期隨(sui)著(zhe)数据规模擴(kuo)大以及算(suan)力的发展，深度(du)学习掀(xian)起新(xin)浪潮，各种AI模型不断湧(yong)现。

直到近(jin)两年，我们开始將(jiang)跨(kua)領(ling)域(yu)的知(zhi)識(shi)整合(he)到AI模型中，基(ji)於(yu)Transformer結(jie)構(gou)的各种大模型出现，包(bao)括(kuo)OpenAI的GPT-3，以及盘古大模型，“它们打(da)开了深度学习模型的规模与性(xing)能共(gong)同发展的局(ju)面，達(da)到了深度学习领域新的高度。” 谢凌曦推(tui)了推眼(yan)鏡(jing)说道。

过去十年，AI 算法(fa)对算力的需求(qiu)增(zeng)長(chang)了40万倍(bei)，神经網(wang)絡(luo)从小模型到大模型已经成为了必然的发展趨(qu)勢(shi)。大模型能夠(gou)解決(jue) AI 模型定制(zhi)化(hua)和應(ying)用开发碎(sui)片化，它可以吸(xi)收(shou)海(hai)量的知识，提高模型的泛(fan)化能力，減(jian)少(shao)对领域数据標(biao)註(zhu)的依(yi)賴(lai)。

大模型一方面激(ji)活了深度神经网络对大规模無(wu)标注数据的自監(jian)督(du)学习能力，同时对于 AI 框(kuang)架(jia)的深度優(you)化和並(bing)行能力都有很高的要求，是深度学习框架下将AI做到極(ji)致(zhi)的集(ji)大成者。“从传統(tong)方法到深度学习，这是一次(ci)大的跳(tiao)躍(yue)，而在深度学习这个臺(tai)階(jie)上，大模型已经站(zhan)在了最前面，等(deng)待(dai)着下一个台阶的出现。”

当前盘古系(xi)列(lie)超(chao)大规模預(yu)训练模型，包括NLP大模型、CV大模型、多模態(tai)大模型、和科(ke)学计算大模型。模型大意(yi)味(wei)着它吸收了海量数据知识，以盘古NLP大模型为例(li)，它学习了40TB的中文文本数据；盘古CV大模型则包含了30亿+参数。这些数据提高了大模型的泛化能力，提升(sheng)算法对新鮮(xian)样本的適(shi)应能力，从而学到隱(yin)含在数据背后的规律(lv)，减少对领域数据标注的依赖。

当大模型可以从小数据样本中学习更多，也能幫(bang)助(zhu)我们打开走(zou)向通用AI的大門(men)，它可以解决AI模型定制化和应用开发碎片化的难题。

谢凌曦给我们算了一筆(bi)賬(zhang)，他認(ren)为AI算法落地难不是因(yin)为它无法解决实際(ji)问题，而是应用场景(jing)太(tai)狹(xia)窄(zhai)，每个痛(tong)點(dian)都需要定制化开发，从而導(dao)致投(tou)入的成本和人力过高。一旦(dan)场景变化，整个模型可能都需要重(zhong)新开发。而大模型是一种工业化AI开发的新模式，可以解决小模型的定制化难题，讓(rang)一个模型可以应用到多个场景中，让AI真(zhen)正落地到千行百业中。

盘古NLP大模型

在最近的CLUE榜(bang)單(dan)上，盘古的NLP模型在總(zong)榜、阅读理解排(pai)行榜和分类任(ren)務(wu)排行榜上都位列第(di)一，总榜得分比第二(er)名高出一个百分点。为了说明盘古的NLP模型是如何在理解能力上接近人类的，回到文章的开头，谢凌曦舉(ju)了我们开篇提到的那(na)个“锲而不舍”的例子解釋(shi)：

1、小明在读一本书，通过不断坚持，克服各种困难，最后读完了。

2、小红在画画，期间遇到了很多困难，最后也完成了这副画作。

人类可以很容易(yi)的通过邏(luo)輯(ji)判(pan)断能力知道两件事表(biao)达的是同一个意思(si)：锲而不舍，但大模型需要大量的数据投餵(wei)和学习，去捕(bu)捉(zhuo)元(yuan)素(su)与元素之间的關(guan)系，比如两段(duan)文本之间的关系，几段文本之间，哪(na)两段之间关系更近一些，才(cai)能得出逻辑性的判断结论。

還(hai)是上面的例子，如果(guo)把(ba)2改(gai)成为“小明在读一本书，期间遇到很多困难，可最后也没能读完”，这样1和2的文字(zi)非常相似，但其实两者表达的是完全(quan)不同的含义。

大模型需要学会判断这种关系，谢凌曦解释道，

表征(zheng)（从文本和圖(tu)像中直接抽(chou)取的簡(jian)单特征）和语义之间的关联性是极其復(fu)雜(za)的，人能够理解，但让计算機(ji)去理解并建(jian)立(li)计算模型就非常困难，大模型以大数据的方式以及堆(dui)砌(qi)大量可训练参数去完成这件事。

盘古CV大模型

針(zhen)对盘古CV大模型，谢凌曦同样先(xian)举了一个例子：如何區(qu)分白色(se)貓(mao)和白色狗(gou)的图片？人类看到这两張(zhang)图片能一眼识別(bie)出来哪只是猫，哪只是狗，那麽(me)大模型面对这些是如何處(chu)理的呢？

谢凌曦強(qiang)調(tiao)图像中非常重要的一个東(dong)西(xi)就是層(ceng)次化的信(xin)息(xi)，

我们需要让模型在训练的过程(cheng)中，了解这些样例之间真正强关联性的东西。在判断图像的过程中，首(shou)先要把握(wo)好(hao)图片中层次化的信息，能够快速(su)的定位到图片中哪部(bu)分信息是起决定作用的，让算法以自适应的方式去关注比较重要的地方或(huo)内容，这样就容易捕捉样本之间的关系。在这两张图片中，很明显白色不是最重要的信息，动物才是图片中起决定性的信息。

盘古CV大模型首次兼(jian)顧(gu)了图像判别与生成能力，能同时滿(man)足(zu)底(di)层图像处理与高层语义的理解需求，同时能够融(rong)合行业知识的微(wei)调，快速适配(pei)各种下遊(you)任务。

另(ling)外(wai)，为了解决模型大，数据多帶(dai)来的学习效(xiao)率(lv)低(di)，表征性能弱(ruo)的问题，盘古CV大模型在预训练阶段主(zhu)要集中在数据处理、架构设计和模型优化三个阶段進(jin)行优化。目(mu)前盘古CV大模型在Image Net 1%、10%数据集上的小样本分类精(jing)度上均(jun)达到目前业界最高水(shui)平(ping)。

为“应用”而生，盘古賦(fu)能更多用戶(hu)

大模型训练在各方面突(tu)破(po)，也为缺(que)乏(fa)大量数据的行业鋪(pu)上接入智能时代的軌(gui)道。正如华为云人工智能领域首席(xi)科学家(jia)、IEEE Fellow田(tian)奇(qi)教(jiao)授(shou)在发布(bu)盘古大模型所提到的，盘古大模型是为各行业的应用而生，盘古具(ju)備(bei)前所未(wei)有的泛用性，无论是2B场景或是2C场景。

行业知识来源(yuan)于行业数据，盘古團(tuan)隊(dui)使用了大量行业语音(yin)和文本数据，借助这些数据进行微调，模型的行业特定意图和知识理解能力得以大幅(fu)提高。

以盘古CV大模型为例，其在電(dian)力巡(xun)檢(jian)行业中表现出超强的应用能力。它利(li)用海量无标注电力数据进行预训练，并结合少量标注样本微调的高效开发模式，節(jie)省(sheng)人工标注时间。在模型通用性方面，结合盘古搭(da)載(zai)的自动数据增廣(guang)以及类别自适应損(sun)失(shi)函(han)数优化策(ce)略(lve)，极大地降(jiang)低了模型維(wei)護(hu)成本。

谢凌曦还谈到，除(chu)了行业的应用，面向开发者方面，盘古大模型正在逐(zhu)步(bu)上線(xian)到华为云AI資(zi)產(chan)共享(xiang)社(she)区（AI Gallery）。在平台上盘古会开发出一些比较通俗易用的工作流(liu)：如果妳(ni)是有一定基礎(chu)的开发人员，可以从工作流中做更多的定制化开发，更好地释放(fang)预训练模型的能力；如果你只是一个AI开发小白，想用大模型做简单的AI开发，盘古也会给你更加通俗易懂(dong)的界面，让大家用一些拖(tuo)拉(la)拽(zhuai)的方式去实现。后續(xu)盘古会针对开发者推出系列的課(ke)程，指(zhi)导开发者基于盘古大模型在实踐(jian)场景中开发应用。

另一方面，盘古也希(xi)望(wang)和开发者共成长。“大模型只是一个抓(zhua)手(shou)，让它应用到实际场景中。不僅(jin)更好的帮助用户提高训练的进度和縮(suo)短训练的时间，而且模型上的应用数量增多，用户的成本自然而然就降低了。” 谢凌曦表示，盘古的发展单靠(kao)我们团队是遠(yuan)远不够的，我们还需要和开发者一起建设好这个生态。

谈到盘古大模型的未来，谢凌曦有个简单的小目标——把盘古推向下一个技术爆(bao)发点。AI大模型是深度学习的最高阶段，往下走可能是一條(tiao)平的直线，大家都在等待跳跃的那一天。华为云一直在努(nu)力，用各种原(yuan)創(chuang)技术去推动，解决AI开发者实际会遇到的问题，最本質(zhi)的目的是赋能千行百业的AI落地。

道阻(zu)且长，行则将至(zhi)。正如盘古大模型的名字一样，华为也希望以大模型为抓手，把AI推向一个前所未有的高度，让我们往下一代AI去走，劈(pi)开AI未来道路上的“混沌”。

?-END-

7月(yue)15日14:30 华为云TechWave云安全專(zhuan)题日，圍(wei)繞(rao)零(ling)信任、云原生安全等熱(re)点话题，华为云攜(xie)行业大咖(ka)共话云原生安全技术，发布华为云最新安全产品(pin)和解决方案(an)，分享行业最佳(jia)应用实践，探(tan)討(tao)企(qi)业云上安全之道。

关注@华为云，了解更多资訊(xun)返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任編(bian)辑：