点亮你的品牌：灯光广告语言

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>匠(jiang)心(xin)故(gu)事(shi) |“盤(pan)古(gu)”開(kai)天(tian)記(ji)，AI落(luo)地(di)時(shi)

預(yu)訓(xun)練(lian)大(da)模(mo)型(xing)，打(da)开不(bu)止(zhi)壹(yi)種(zhong)可(ke)能(neng)

有(you)這(zhe)樣(yang)一個(ge)案(an)例(li)，某(mou)工(gong)廠(chang)的(de)IT負(fu)責(ze)人(ren)想(xiang)要(yao)應(ying)用(yong)AI，咨(zi)詢(xun)之(zhi)後(hou)卻(que)發(fa)現(xian)开发成(cheng)本(ben)過(guo)於(yu)高(gao)昂(ang)，人才(cai)、算(suan)力(li)、算法(fa)等(deng)條(tiao)件(jian)都(dou)不具(ju)備(bei)，最(zui)后只(zhi)能作(zuo)罷(ba)。

有这样一位(wei)朋(peng)友(you)，任(ren)職(zhi)于某家(jia)AI技(ji)術(shu)供(gong)应商(shang)，他(ta)們(men)推(tui)出(chu)的行(xing)業(ye)解(jie)決(jue)方(fang)案备受(shou)好(hao)評(ping)，却在(zai)實(shi)際(ji)進(jin)入(ru)商业化(hua)階(jie)段(duan)时，发现大量(liang)客(ke)戶(hu)都需(xu)要定(ding)制(zhi)，只能讓(rang)公(gong)司(si)的AI專(zhuan)家四(si)處(chu)奔(ben)波(bo)，解决用户的細(xi)小(xiao)問(wen)題(ti)，最后利(li)潤(run)却連(lian)人員(yuan)开支(zhi)都無(wu)法覆(fu)蓋(gai)。

還(hai)有这样一条朋友圈(quan)。一位AI开发者(zhe)惋(wan)惜(xi)中(zhong)文(wen)世(shi)界(jie)缺(que)少(shao)NLP预训练大模型。

其(qi)实，这些(xie)朋友都遇(yu)到(dao)了(le)同(tong)一个问题：一道(dao)名(ming)為(wei)“AI开发”的產(chan)业天塹(qian)。

當(dang)我(wo)们談(tan)論(lun)AI时，總(zong)是(shi)會(hui)將(jiang)其效(xiao)果(guo)等同于數(shu)據(ju)集(ji)、实驗(yan)室(shi)裏(li)的能力上(shang)限(xian)，却忽(hu)略(lve)了在真(zhen)实的开发、训练、部(bu)署(shu)中，AI有著(zhu)(zhe)太(tai)多(duo)碎(sui)片(pian)化與(yu)不確(que)定性(xing)的因(yin)素(su)。

而(er)跨(kua)过这道产业天堑，也(ye)成为了一場(chang)名副(fu)其实的全(quan)球(qiu)大賽(sai)。这场赛跑(pao)中至(zhi)關(guan)重(zhong)要的一个項(xiang)目(mu)，名为“预训练大模型”。

隨(sui)着预训练大模型的产业与戰(zhan)略價(jia)值(zhi)在國(guo)际上水(shui)漲(zhang)船(chuan)高，致(zhi)力于将AI打造(zao)为新(xin)一代(dai)信(xin)息(xi)技术核(he)心抓(zhua)手(shou)的中国产學(xue)各(ge)界出现了一絲(si)緊(jin)迫(po)。

中文世界什(shen)麽(me)时候(hou)能迎(ying)來(lai)強(qiang)大可用的预训练大模型？面(mian)對(dui)AI开发的”天堑”，我们有什么自(zi)己(ji)的辦(ban)法？

就(jiu)在种种聲(sheng)音(yin)不斷(duan)发酵(jiao)的同时，華(hua)为雲(yun)人工智(zhi)能領(ling)域(yu)首(shou)席(xi)科(ke)学家田(tian)奇(qi)，正(zheng)在和(he)團(tuan)隊(dui)一同发起(qi)一次(ci)安(an)靜(jing)的沖(chong)鋒(feng)。

这次冲锋的“行動(dong)代號(hao)”，叫(jiao)做(zuo)——盘古大模型。

「天堑：“小作坊(fang)式(shi)”的AI开发困(kun)境(jing)」

試(shi)想一下(xia)，如(ru)果每(mei)家企(qi)业在进行研(yan)发时，都需要自己做螺(luo)丝、軸(zhou)承(cheng)、齒(chi)輪(lun)这些基(ji)礎(chu)部件，那(na)整(zheng)个社(she)会的工业化從(cong)何(he)說(shuo)起？

但(dan)在AI领域，却真的会出现这种情(qing)況(kuang)。如今(jin)，AI技术的企业滲(shen)透(tou)率(lv)僅(jin)仅为4%，距(ju)離(li)产业爆(bao)发期(qi)还有相(xiang)当長(chang)的路(lu)要走(zou)。究(jiu)其原(yuan)因，並(bing)不是AI缺乏(fa)价值，而是开发过程(cheng)中存(cun)在大量的碎片化因素。每家想要应用AI的企业，可能都需要一些技术水平(ping)很(hen)高的人才来进行獨(du)立(li)的架(jia)構(gou)設(she)計(ji)与調(tiao)參(can)。这就像(xiang)每家工厂都需要聘(pin)請(qing)设计師(shi)来设计螺丝，是一种相当粗(cu)放(fang)、原始(shi)的手工作坊模式。

来到华为云的田奇，就和同事们共(gong)同发现了这样的问题。

加(jia)入华为之前(qian)，田奇已(yi)經(jing)是业界知(zhi)名的AI领域学者。他是美(mei)国伊(yi)利諾(nuo)伊大学香(xiang)檳(bin)分(fen)校(xiao)博(bo)士(shi)、IEEE Fellow，也是原德(de)州(zhou)大学聖(sheng)安東(dong)尼(ni)奧(ao)分校计算機(ji)系(xi)正教(jiao)授(shou)。在高校任教17年(nian)之后，帶(dai)着学术界的前沿(yan)思(si)考(kao)和科研成果，田奇与团队来到了产业一線(xian)。而他们首先(xian)关註(zhu)到的，就是廣(guang)泛(fan)存于各个角(jiao)落的AI开发困境。

由(you)于傳(chuan)統(tong)的NLP、机器(qi)視(shi)覺(jiao)模型开发都来自研究机构，所(suo)以(yi)其开发模式也天然(ran)与实验室对齊(qi)，缺乏产业界要求(qiu)的效率、標(biao)準(zhun)化与成本可控(kong)。

比(bi)如说，一家企业的一个项目，往(wang)往都需要开发一系列(lie)定制化的小模型。但每个模型的开发周(zhou)期都相对較(jiao)长，并且(qie)需要不断完(wan)成各种数据清(qing)洗(xi)、数据增(zeng)强、模型適(shi)配(pei)等等瑣(suo)碎繁(fan)雜(za)的工作。这个过程中，开发人员会選(xuan)擇(ze)自己熟(shu)悉(xi)、擅(shan)长的模型与开发方式，又(you)導(dao)致每个模型之間(jian)差(cha)異(yi)化很大。一旦(dan)出现问题就可能推倒(dao)重来，而人员變(bian)动更(geng)可能让所有努(nu)力付(fu)之东流(liu)。

这种开发模式，存在着“三(san)高”的问题：开发人员专业性要求高、綜(zong)合(he)成本高、不可控程度(du)高。

那么如何突(tu)破(po)这道产业天堑呢(ne)？从工业體(ti)系的邏(luo)輯(ji)上看(kan)，核心方案就是提(ti)升(sheng)AI开发前置(zhi)工作的标准化程度，把(ba)不同开发者所需模型的公約(yue)部分提前训练好。这就是工业化中的零(ling)件化、标准化和流程化。

在探(tan)索(suo)AI工业化的过程中，预训练大模型逐(zhu)漸(jian)成为了行业認(ren)可的方案。它(ta)的逻辑就是提前将知識(shi)、数据、训练成果沈(chen)澱(dian)到一个模型中，然后将这个基础釋(shi)放到产业。由不同行业、不同企业的开发者在此(ci)基础上进行二(er)次开发和微(wei)调。就像一个工业化社会的第(di)一步(bu)，是完善(shan)重型机械(xie)的建(jian)造能力。AI工业化的来臨(lin)，也需要首先擁(yong)有作为底(di)座(zuo)的“重型机械”。这也成为了盘古大模型团队在华为云体系中的首要任務(wu)。

翻(fan)越(yue)开发天堑，在于能築(zhu)“重器”。

「登(deng)山(shan)：盘古大模型背(bei)后的人与事」

想要打造一个屬(shu)于中文世界，并且适配各种真实产业场景(jing)的AI预训练大模型，首先擺(bai)在研发团队面前的是兩(liang)大門(men)檻(kan)。一个是技术门槛，大模型需要非(fei)常(chang)好的并行優(you)化来确保(bao)工作效率，这对網(wang)絡(luo)架构设计能力提出了很高要求；第二是資(zi)源(yuan)门槛，大模型训练需要極(ji)大的算力。后来在训练千(qian)億(yi)参数的盘古大模型时，团队调用了超(chao)过2000塊(kuai)的昇(sheng)騰(teng)910，进行了超过2个月(yue)的训练。这对于一般(ban)企业来说顯(xian)然難(nan)以承擔(dan)。

总之，想要快(kuai)速(su)打造一个可堪(kan)重用的AI大模型，需要调用各方的力量，并且精(jing)准完成技术上的进化。

2020年夏(xia)天GPT-3的出现，让歐(ou)美AI界产生(sheng)了对预训练大模型的极高興(xing)趣(qu)。但在国內(nei)，产业界对NLP预训练大模型的关注还相对较少。而机器视觉领域的预训练大模型，在全球範(fan)圍(wei)内都是十(shi)分陌(mo)生的新鮮(xian)事物(wu)。

此时，剛(gang)刚在2020年3月份(fen)加入华为云团队的田奇，开始組(zu)建团队并且进行方向(xiang)梳(shu)理(li)。到了8月，团队迎来了核心专家的加入。随后在9月，团队开始推动盘古大模型的立项，希(xi)望(wang)能夠(gou)在华为云的产业基座上，完成适配各个产业AI开发的大模型。

▲华为云人工智能领域首席科学家田奇

来到2020年11月，盘古大模型在华为云内部立项成功(gong)，也完成了与合作夥(huo)伴(ban)、高校的合作搭(da)建。在开始打造盘古大模型的时候，团队确立了三项最关鍵(jian)的核心设计原則(ze)：

一是模型要大，可以吸(xi)收(shou)海(hai)量数据； 二是网络結(jie)构要强，能够真正发揮(hui)出模型的性能； 三是要具有优秀(xiu)的泛化能力，可以真正落地到各行各业的工作场景。

接(jie)下来就是选择赛道的问题。NLP领域的预训练大模型当时已经得(de)到了广泛关注，自然是盘古大模型的重中之重。同时，AI在产业中应用的更广泛需求是机器视觉能力，所以盘古大模型同时也瞄(miao)准这一领域，同时开啟(qi)了NLP和机器视觉两个领域的大模型开发。

与此同时，盘古大模型也做好了未(wei)来規(gui)劃(hua)。

首先希望能够把机器视觉、NLP、語(yu)音，甚(shen)至计算机圖(tu)形(xing)学的技术结合起来，形成多模態(tai)的预训练大模型，增强预训练大模型的跨领域協(xie)同落地能力。另(ling)外(wai)，AI落地中还有一个十分重要的领域是科学计算。海洋(yang)、氣(qi)象(xiang)、制藥(yao)、能源等领域都有非常强的知识处理、科学计算需求。用AI的方法去(qu)求解科学计算问题，将带来十分巨(ju)大的价值潛(qian)力。因此，多模态与科学计算大模型，将是盘古接下来的行动方向。

确定了建设方案与赛道选择之后，接下来的研发工作可以順(shun)理成章(zhang)地开展(zhan)，同时也必(bi)然经歷(li)創(chuang)造性研究中难免(mian)产生的一系列挑(tiao)战。

比如盘古大模型的核心开发过程，就是以海量有效数据进行模型预训练，实现吸收大量数据之后模型的高度智能化。那么数据和算力从哪(na)来，就成为了一个不可避(bi)免的问题。在盘古大模型的开发过程中，华为云和合作伙伴的多方推动，确保了所需数据和算力资源的保障(zhang)到位。即(ji)便(bian)华为云拥有非常好的资源基础，在千亿参数級(ji)別(bie)的大模型面前也依(yi)舊(jiu)存有不足(zu)。为此，田奇团队也嘗(chang)试了与合作伙伴的紧密(mi)协作，调用一切(qie)资源来确保开发进度。比如团队同著名的鵬(peng)城(cheng)实验室合作，来完成了模型训练所需算力的调用。 而在数据与知识方面，盘古大模型的开发团队经常会遇到与具体行业知识体系、数据系统的磨(mo)合问题。这在具体过程中经常出现意(yi)料(liao)之外的情况。比如一个醫(yi)学数据的准确率，显然应該(gai)依賴(lai)医学专家的解答(da)。但在具体场景中，往往医学专家的判(pan)断准确率也并不高。这類(lei)AI之外领域的情况，往往会反(fan)向影(ying)響(xiang)到盘古大模型的开发。为此，盘古大模型团队需要与具体的行业专家进行反復(fu)溝(gou)通(tong)，希望把他们的知识或(huo)者直(zhi)觀(guan)感(gan)受，轉(zhuan)化为计算机可量化的模型，再(zai)对训练出的结果进行协同验證(zheng)。这种反复的跨领域沟通与聯(lian)动，才最終(zhong)可能達(da)成关于AI的共识。 在盘古大模型开发过程中，由于时间紧張(zhang)、训练难度与成本巨大，并且还是机器视觉与NLP雙(shuang)模型同时推动，自然也需要内部团队的“超人发挥”。田奇回(hui)憶(yi)，团队内部都叫自己“特(te)战队员”，也就是角色(se)需要经常互(hu)換(huan)，工作需要相互支撐(cheng)，哪里缺人就要哪里頂(ding)上。一个技术专家，同时也要考慮(lv)很多产业落地、商业化方面的问题。

支撑着盘古大模型不断攻(gong)堅(jian)克(ke)难的团队，起初(chu)仅有6、7人，他们是让盘古大模型得以从实验室走向产业的中坚力量。如今团队已陸(lu)續(xu)壯(zhuang)大起来，已包(bao)括(kuo)20多名博士、30多名工程师、3名广受关注的“华为天才少年”，还有50多名来自全国C9高校的专家。

翻山越嶺(ling)从来不易(yi)，智能时代亦(yi)是如此。

「翻越：“盘古”究竟(jing)强在何处？」

2021年4月，盘古大模型正式对外发布(bu)。其中盘古NLP大模型是业界首个千亿参数的中文预训练大模型，在CLUE打榜(bang)中实现了业界领先。为了训练NLP大模型，团队在训练过程中使(shi)用了40TB的文本数据，包含(han)了大量的通用知识与行业经验。

而盘古CV大模型，在业界首次实现了模型的按(an)需抽(chou)取(qu)，可以在不同部署场景下抽取出不同大小的模型，动态范围可根(gen)据需求，覆盖特定的小场景到综合性的复杂大场景；提出的基于样本相似(si)度的对比学習(xi)，实现了在ImageNet上小样本学习能力业界第一。

这些数据下，我们可以进一步考察(cha)盘古大模型的优勢(shi)和能力點(dian)在何处。

在盘古大模型的研发过程中，团队考虑到真实的产业场景中有大量的内容(rong)理解需求，比如客服(fu)、智能对話(hua)等等，于是給(gei)盘古大模型设计了兼(jian)顧(gu)架构，能够同时高度完成理解与生成任务。 再来看具体一些的技术差异，盘古大模型提升了复杂场景下的小样本学习能力，在小样本学习上提升了一个数量级的效率；在微调能力上，盘古有着更好的数据吸收理解能力，可以在真实行业场景中实现提升模型应用效率；再有盘古大模型集成行业知识的能力更强，其采(cai)用更靈(ling)活(huo)的模块设计，能够根据业务场景适配，提升行业知识吸收效率。 在技术创新之外，盘古大模型还是一个天然瞄准AI工业化、现实场景的项目。在立项初期，研发团队就与合作伙伴进行了一系列商业化验证，以此来确保盘古大模型走入真实产业场景中的效率和适应能力。这也是盘古大模型的一大差异，它并非为实验室而创造，而是将工业化的一面放置在更高的优先级上，是一个以商业价值驅(qu)动研发创新的“实幹(gan)模式”大模型。 再有一点，盘古大模型与其他预训练大模型不同的是，团队在研发过程中始终将生态化、协同创新納(na)入考量。盘古大模型是一个开放、可生长的产业实体，可以在各个環(huan)節(jie)引(yin)入生态合作伙伴、高校科研团队，以及(ji)不同领域AI开发者的力量。这样确保了盘古大模型的融(rong)入产业鏈(lian)条、搭建生态化合作的能力。从技术化、商业化、生态化三个層(ceng)面，盘古大模型都驱动预训练大模型来到了一个新的阶段，建造了一个从“作坊式AI开发”到“工业化AI开发”的转换基础。

盘古之力，在于合力。

「燈(deng)火(huo)：大模型的落地进行时」

雖(sui)然刚刚发布幾(ji)个月，但从立项之初，盘古大模型就已经开展了一系列产业合作。这些来自千行百(bai)业的“盘古故事”，可以让我们看到大模型与AI开发之变带来的真实影像。

在物流场景，盘古大模型协助(zhu)浦(pu)发銀(yin)行构建了“物的银行”——浦慧(hui)云倉(cang)。在人员行为、貨(huo)物檢(jian)測(ce)方面，可以实现性能提升5%到10%；同时开发效率也极大提升，原本需要1到2个月的开发工作，现在只需要两三天就可以完成，开发中的人力、算力、維(wei)護(hu)成本都极大降(jiang)低(di)。

在盘古大模型的落地进程中，也经常会出现一些“意外”的驚(jing)喜(xi)。比如在国家電(dian)网巡(xun)检案例中，由于缺陷(xian)种类复杂多样，传统的方法需要对大多数缺陷适配特定模型以滿(man)足性能需求，这样100余(yu)种缺陷就需要开发20+模型，造成模型叠(die)代维护困难。盘古大模型创造性的提供行业预训练模型，得益(yi)于其突出的特征(zheng)表(biao)达能力，能够做到一个模型适配所有缺陷，极大地提升了开发效率，同时识别效果平均(jun)提升超过18%。同时，盘古大模型还提供針(zhen)对零样本的缺陷检测功能，能够快速判断新缺陷，真正貼(tie)近(jin)于巡检员能力。

这样的案例不断增多，让盘古大模型的行业认可度节节攀(pan)升。繼(ji)而也让“预训练大模型是AI工业化主(zhu)要途(tu)徑(jing)”成为行业共识与产业发展方向。目前，盘古大模型已经在100多个行业场景完成验证，包括能源、零售(shou)、金(jin)融、工业、医療(liao)、环境、物流等等。精度提升、效率加强、开发成本下降，逐渐成为盘古大模型走向产业的几个“标簽(qian)”。

萬(wan)家灯火初上，百业AI将兴。

「思索：AI工业化的虹(hong)吸与变革(ge)」

盘古大模型的故事当然刚刚开始，但从它的立项、研发和落地进程中，我们却可以得到一些关于AI工业化的思考。

从历史(shi)中看，一种产品(pin)的工业化进程必然需要经历研发为重—基座为重—产品为重三个层级。比如说我们熟悉的智能手机，在经历了微型处理、无线通訊(xun)、屏(ping)幕(mu)觸(chu)控等技术的儲(chu)备阶段之后，最终形成了一套(tao)标准化的集成逻辑与基础产业链。这一阶段，厂商不必再花(hua)費(fei)巨资进行基础研发，而是可以用相对较低的成本完成零部件采購(gou)与集成制造。也只有这样，厂商才能打磨产品，雕(diao)琢(zhuo)功能，消(xiao)费者才能用上物美价廉(lian)的智能手机。

将这个逻辑回溯(su)到AI领域。自深(shen)度学习为代表的AI第三次兴起之后，这项技术得到了快速发展。但其基础业态还处于“研发为重”的第一阶段。行业中缺乏公开、有效、低成本的产业基础，最终导致很多理论上成立的落地方案难以成行。

而盘古大模型的价值，恰(qia)恰就在于推动AI的低成本、可复制。虽然在打造大模型的阶段需要耗(hao)费巨大的研发成本与资源，但一旦突破产业规模期，将带来全行业的普(pu)惠(hui)价值。田奇认为，目前我们处在AI工业化开发模式起步后的快速发展阶段，而大模型是最有希望将AI进行落地的一个方向。

从这个角度看，我们在观察、思考和推动预训练大模型发展时，就不应该停(ting)留(liu)在科研基础设施(shi)的角度，而是应该以产业应用为导向，引导各方全力以赴(fu)，謀(mou)求AI工业化进程的質(zhi)变契(qi)机。

从盘古大模型的故事中看，这个过程需要多重力量的攜(xie)手与跨界。比如说，田奇加入华为，一度被(bei)视作AI学者进入产业界的代表性事件。而今天来看，这种“跨界”和“变化”确实起到了作用。田奇有着最新的研究方法、技术创新能力与国际视野(ye)；而在华为云的产业结构中，田奇团队也找(zhao)到了学术界所不具备的驱动力——在产业界，科学家必須(xu)思考功耗、效率、成本、商业场景等等一系列真实问题，“学以致用”需要落进方方面面。

再比如，盘古大模型的开发过程，也是一场AI学者与工程师，同各行业专家、企业的对话。鐵(tie)路、物流、医学、天文，种种知识要融入大模型之中，这就需要更强的协同能力与互相理解。

产学研的縱(zong)向融合，不同行业领域的橫(heng)向协同，誕(dan)生了AI在工业化阶段必须经历的虹吸效应。从这个角度看，盘古大模型也是一次产业、科研的虹吸范本。

这种“协同发力、重裝(zhuang)行动”的盘古大模型模式，或許(xu)将在未来一段时间内不断湧(yong)现，也将成为云计算与AI产业的战略重心。而其影响，可能是AI开发的综合门槛下降，一系列产业与社会价值的提升，以及战略级AI基础设施的完备。

田奇回忆说，在打造大模型的过程中，他更多考虑的是可能带来的商业价值。如果不能复制推广，那么大模型可能就是“一个toy、一个只能在实验室中被观賞(shang)的东西(xi)”。团队希望大模型能够在更多场景中被使用，这样才能带来改(gai)变。

当更多科学家、行业专家、AI架构师，用这样的角度和动力去思考AI、推动AI、建造AI，横亙(gen)在AI面前的产业天堑，最终会成为登山者的豐(feng)碑(bei)，成为AI工业化变革的标誌(zhi)。

也许有一天，我们在聊(liao)AI往事的时候，会记住(zhu)这么几个字(zi)：

AI落地，“盘古”开天。返(fan)回搜(sou)狐(hu)，查(zha)看更多

责任編(bian)辑：