vivo 广告策略

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>從(cong)狂(kuang)熱(re)到(dao)理(li)性(xing)：大(da)模(mo)型(xing)訓(xun)練(lian)三(san)堵(du)墻(qiang)，壹(yi)場(chang)少(shao)數(shu)人(ren)的(de)遊(you)戲(xi) | 鈦(tai)媒(mei)體(ti)深(shen)度(du)

“只(zhi)要(yao)有(you)GPU卡(ka)，把(ba)服(fu)務(wu)器(qi)買(mai)走(zou)都(dou)行(xing)”。3月(yue)份(fen)開(kai)始(shi)，張(zhang)陽(yang)明(ming)顯(xian)感(gan)受(shou)大模型帶(dai)來(lai)的沖(chong)擊(ji)，作(zuo)為(wei)一家(jia)雲(yun)廠(chang)商(shang)算(suan)力(li)平(ping)臺(tai)負(fu)責(ze)人，他(ta)意(yi)識(shi)到市(shi)场甚(shen)至(zhi)有些(xie)盲(mang)目(mu)。“當(dang)時(shi)客(ke)戶(hu)比(bi)較(jiao)慌(huang)，相(xiang)当於(yu)對(dui)產(chan)品(pin)都沒(mei)有什(shen)麽(me)要求(qiu)，不(bu)關(guan)心(xin)網(wang)絡(luo)和(he)存(cun)儲(chu)，就(jiu)是(shi)感覺(jiao)大家都在(zai)搶(qiang)機(ji)器，先(xian)抢過(guo)来固(gu)定(ding)住(zhu)时間(jian)，然(ran)後(hou)再(zai)去(qu)看(kan)怎(zen)么用(yong)，那(na)會(hui)大家還(hai)没有想(xiang)明白(bai)怎么用。”

到了(le)4月，有些客户已(yi)經(jing)嘗(chang)試(shi)过或(huo)者(zhe)見(jian)过大模型训练，逐(zhu)漸(jian)开始想明白，大概(gai)知(zhi)道(dao)想要什么樣(yang)的配(pei)置(zhi)。要一堆(dui)GPU卡，實(shi)際(ji)上(shang)是一個(ge)認(ren)知誤(wu)區(qu)，大模型训练的实現(xian)依(yi)靠(kao)的是一个算力集(ji)群(qun)，包(bao)含(han)整(zheng)套(tao)的服务。

但(dan)不是所(suo)有企(qi)業(ye)都能(neng)駕(jia)馭(yu)大規(gui)模算力集群，這(zhe)註(zhu)定是一场少数人的游戏。事(shi)实上，微(wei)軟(ruan)和OpenAI的合(he)作也(ye)已经證(zheng)明，用云来训练大模型，似(si)乎(hu)是更(geng)合理的選(xuan)擇(ze)。

作为中(zhong)间層(ceng)，云厂商向(xiang)下(xia)屏(ping)蔽(bi)底(di)层软硬(ying)件(jian)的復(fu)雜(za)性，向上对接(jie)企业的研(yan)發(fa)和算法(fa)工(gong)程(cheng)師(shi)、个人开发者等(deng)，此(ci)外(wai)背(bei)靠集團(tuan)的云厂商，还具(ju)備(bei)資(zi)金(jin)、人才(cai)、数據(ju)等優(you)勢(shi)，也就最(zui)先开始聲(sheng)势浩(hao)大的進(jin)軍(jun)大模型。

AI算力芯(xin)片(pian)、服务器/交(jiao)換(huan)机、光(guang)模塊(kuai)/光芯片、数据中心、云計(ji)算……算力产业鏈(lian)條(tiao)的每(mei)个角(jiao)色(se)，仿(fang)佛(fo)齒(chi)輪(lun)般(ban)咬(yao)合在一起(qi)，構(gou)成(cheng)数字(zi)经濟(ji)的产业发動(dong)机，如(ru)今(jin)，大模型讓(rang)每个齿轮都極(ji)速(su)傳(chuan)动起来。

训练基(ji)礎(chu)模型，是一切(qie)大模型产业生(sheng)態(tai)的起點(dian)，也只有闖(chuang)过算力关，才能拿(na)到大模型競(jing)賽(sai)的入(ru)场券(quan)。

大模型训练的三堵墙

技(ji)術(shu)的发展(zhan)有其(qi)延(yan)續(xu)性，正(zheng)如微软Azure为OpenAI打(da)造(zao)的“超(chao)級(ji)计算机”，经歷(li)了数年(nian)的演(yan)进才有成果(guo)，现階(jie)段(duan)大模型训练比拼(pin)的，其实是过去幾(ji)年厂商的戰(zhan)略(lve)預(yu)判(pan)與(yu)技术積(ji)累(lei)，能上牌(pai)桌(zhuo)的大多(duo)是老(lao)玩(wan)家。

“大模型存在明显的炒(chao)作过热傾(qing)向，行业應(ying)該(gai)更加(jia)理性，而(er)不是套著(zhu)(zhe)大模型概念(nian)做(zuo)资本(ben)或者业务的炒作。我(wo)自(zi)己(ji)的觀(guan)点是，真(zhen)的不要去考(kao)慮(lv)端(duan)到端地(di)去做一个大模型，对于非(fei)要做的企业，我只能說(shuo)有机会，但是挑(tiao)战很(hen)大。”一家互(hu)聯(lian)网大厂大模型产品负责人对钛媒体表(biao)示(shi)。

在學(xue)术界(jie)看来，OpenAI並(bing)没有做出(chu)革(ge)命(ming)性的創(chuang)新(xin)，本質(zhi)是圍(wei)繞(rao)AGI产品进行的“工程创新”，但正是工程化(hua)造就了OpenAI和大模型的成功(gong)，工程化体现在大模型研究(jiu)、工程、产品、組(zu)織(zhi)各(ge)个環(huan)節(jie)，算力训练集群也是如此。

“工程化做得(de)好(hao)也很難(nan)，它(ta)证明了往(wang)上堆算力，堆数据是可(ke)以(yi)往前(qian)推(tui)进的。”微软技术中心首(shou)席(xi)架(jia)构师韓(han)凱(kai)对钛媒体表示。

这一看似簡(jian)單(dan)的邏(luo)輯(ji)背后，对企业而言(yan)卻(que)是极大的考驗(yan)——看不见可能的出路(lu)，擔(dan)心巨(ju)大的投(tou)入没有产出，这是最大的風(feng)險(xian)，也是为什么國(guo)內(nei)没有先做出“ChatGPT”的原(yuan)因(yin)——他們(men)更多选择跟(gen)隨(sui)，而不是对一条没被(bei)验证过的路投资。

算力集群的工程化，至少要突(tu)破(po)三堵墙。

首先是“算力”墙。“完(wan)成一个千(qian)億(yi)參(can)数级別(bie)的大模型例(li)如GPT-3需(xu)要314ZFLOPs算力的模型训练，而单卡只有312TFLOPS算力时，一张卡训练一个模型要耗(hao)时32年。所以需要引(yin)入分(fen)布(bu)式(shi)训练的方(fang)法，使(shi)用多机多卡的方式来加速模型的训练，包括(kuo)比较常(chang)见的数据并行和张量(liang)并行。”天(tian)翼(yi)云资深專(zhuan)家陳(chen)希(xi)表示。

其次(ci)是“存储”墙。单显卡的显存已经無(wu)法加載(zai)千亿级参数。千亿级参数完全(quan)加载到显存大概需要几个TB，如果再考虑梯(ti)度、优化器狀(zhuang)态等训练过程产生的一些中间結(jie)果，占(zhan)用的显存量就更大了，往往需要上百(bai)张卡才可以支(zhi)持(chi)。

所以厂商一般会引入流(liu)水(shui)線(xian)并行，將(jiang)模型不同(tong)的层放(fang)到不同的节点的显卡内进行计算。对于这一组节点只需要加载某(mou)一些层的参数，降(jiang)低(di)显存的壓(ya)力。

随之(zhi)而来的是“通(tong)信(xin)”墙。大模型并行切分到集群后，模型切片间会产生大量通信，包括节点内多卡通信，节点间通信。几種(zhong)并行方式都会涉(she)及(ji)到大量的节点与节点间的通信，这时候(hou)就会对總(zong)线和总带寬(kuan)都有很高(gao)的要求，要達(da)到几百G的吞(tun)吐(tu)。

另(ling)外除(chu)了这三堵墙以外，还有一些其他問(wen)題(ti)：如大模型参数的增(zeng)長(chang)速度和芯片工藝(yi)发展之间的矛(mao)盾(dun)也日(ri)趨(qu)明显。最近(jin)几年随着transformer结构的引入，平均(jun)每兩(liang)年，模型参数数量增长15倍(bei)。而相应的芯片制(zhi)程从7nm提(ti)升(sheng)到4nm，单卡算力增长不超过4倍，芯片工艺发展落(luo)后于大模型的需求

大模型训练需要的不单单是算力，对存储，对安(an)全，对训练框(kuang)架都有一定的要求，需要一套比较完整的平台或服务来提供(gong)支持。“大家最近的一个普(pu)遍(bian)的感受，就是能滿(man)足(zu)大模型训练平台的提供商不多，高性能算力供应整体比较緊(jin)张。”陈希说。

为什么“他们”能成？

现在仍(reng)有不少企业毫(hao)无準(zhun)备或者自我感觉有所准备，就冲进基础模型領(ling)域(yu)。

然而，如果細(xi)细研究现阶段做出基础模型的厂商，无一例外在AI领域都有足夠(gou)积累，特(te)别是底层基础設(she)施(shi)层面(mian)，他们的实踐(jian)也在验证“云是规模算力的最佳(jia)承(cheng)载平台”这一判斷(duan)。

“为了打造AI超级计算机，微软早(zao)在2018年就开始布局(ju)，除了OpenAI还投资了几个小(xiao)公(gong)司(si)，大数据是AI的前序(xu)，云计算基础设施是算力平台，大模型是算力、算法和数据的集合，微软的成功在于全棧(zhan)能力。”韩凯表示。

回(hui)到国内，百度也遵(zun)循(xun)類(lei)似的逻辑。百度副(fu)总裁(cai)謝(xie)廣(guang)军提到，算力和存储一定要达到更高的密(mi)度，才能够支持大模型。显著的问题还有网络互联，大模型训练用的比较多的显卡是带有NVLink高速互連(lian)的A800，需要比传統(tong)云计算做到更低延时、更高带宽，大量的小文(wen)件，也需要低延时、高存储的基础设施。

“大模型跑(pao)起来之后，还有非常多的地方需要加速，像(xiang)通信需要加速、显存需要压縮(suo)、整个推理也需要加速。百度智(zhi)能云能够把調(tiao)优手(shou)段集成到基础庫(ku)，对于大模型计算和推理非常有幫(bang)助(zhu)。”谢广军说。

从平台的視(shi)角来说，不管(guan)是训练任(ren)务还是推理任务，单个的任务就需要非常长的时间，需要占用很多资源(yuan)。怎么能够保(bao)证资源的充(chong)分利(li)用，以及降低它的训练和推理时间。这裏(li)面需要切任务、调度、并行，对于模型训练的加速比和并行度的支撐(cheng)。

同时，一个平台上往往有有很多任务，如何(he)靈(ling)活(huo)调度，进而能够让这些任务充分地使用资源，甚至能够感知到異(yi)构算力的拓(tuo)撲(pu)，使得平台效(xiao)率(lv)得到提升……这类AI任务调度、容(rong)器化支持方面都有非常多的工作需要去做。

以文心一言的训练为例，千卡规模的A100或者A800数据并行加速比达到90%，其中用了非常多的调优手段和技术，百度智能云围绕着大模型一层一层做优化，在平台上分成了AI 计算、AI 存储、AI 加速和 AI 容器等四(si)层，共(gong)同组成了 AI IaaS，这些基础设施可以支持上萬(wan)亿参数大模型的训练。

此外，预训练模型需要通过千卡以上的集群训练，而在大多数情(qing)況(kuang)，精(jing)调或者微调更普遍，基于大模型训练行业模型，相当于在樹(shu)幹(gan)上长树枝(zhi)，不需要超大规模的集群，小几十(shi)张卡足以满足企业所需训练资源。

达观数据将在7月份正式推出国产版(ban)GPT“曹(cao)植(zhi)”系(xi)统，也是得益(yi)于多年文本智能技术积累和垂(chui)直(zhi)领域场景(jing)业务经验，算法和数据层面有所储备，而在測(ce)试阶段的算力层面，达观数据CEO陈運(yun)文表示，自建(jian)算力数据中心较为吃(chi)力，达观尋(xun)求了多种算力平台的支持，包括运營(ying)商算力中心、鵬(peng)程实验室(shi)等。

达观数据也曾(zeng)尝试某家頭(tou)部(bu)云厂商的GPU算力，但经过测算成本太(tai)高，租(zu)一年半(ban)下来的成本，足够达观数据自家購(gou)置一个自己的算力平台，达观数据选择了英(ying)偉(wei)达DGX高性能工作站(zhan)方案(an)，相当于英伟达自身(shen)做了很多集群优化，解(jie)決(jue)了存储和网络的大部分问题，直接买GPU卡自建集群和英伟达解决方案相比，綜(zong)合性能相差(cha)一倍。

“我们自己的模型训练成本其实还是很高的，但是我们帮客户算过賬(zhang)，模型在推理阶段需要的算力投入并不大，很多客户只要单机多卡就够，硬件投入不算很大，但是給(gei)客户带来的效果和体验提升非常明显。”陈运文表示。

英伟达不只有GPU

小厂商用英伟达的商业技术補(bu)齊(qi)能力，大厂商以英伟达的硬件为核(he)心构建高性能计算集群、提升性能，进一步(bu)缩短(duan)训练时间……基本所有厂商的大模型的推理、训练都高度依賴(lai)英伟达的GPU。

来自市场的消(xiao)息(xi)显示，A800的價(jia)格(ge)一度超过8万元(yuan)人民(min)幣(bi)，A100更貴(gui)，甚至超过9万元。

“英伟达的策(ce)略是既(ji)要確(que)保每家大客户都能拿到貨(huo)，同时又(you)不会完全满足其短时大量的需求，这使得英伟达GPU保持在一个供应紧张的状态。”一位(wei)业内人士(shi)表示，英伟达全球(qiu)A100的产能并不缺(que)，供货没有问题，对于禁(jin)售(shou)A100之后，特供中国的替(ti)代(dai)品A800，英伟达特意开了一条产品线，因其产能相对有限(xian)，造成了供需矛盾。

一些厂商也在想其他辦(ban)法，比如在香(xiang)港(gang)建立(li)算力集群，同时H800和A800复用了一部分产品线，未(wei)来H800的产能上来之后或許(xu)会压制A800，不排(pai)除英伟达会繼(ji)续增加適(shi)用于中国市场的产线。

除了产量，高企的价格也源于英伟达芯片的工程化能力，这是其成为大模型训练核心的决定性原因。

业界内外对英伟达有两种极端认知：一种认为，英伟达难以战勝(sheng)；另一种是諸(zhu)多厂商在PPT上“吊(diao)打”英伟达。然而，即(ji)便(bian)在理念和先进性上领先，但这一切只停(ting)留(liu)在芯片设计环节，没有真正工业落地，也就无从对比。

现实情况是，在大模型算力领域，英伟达的壁(bi)壘(lei)在于GPU+NVlink/Infiniband网络+CUDA的组合能力。

以英伟达最新发布的GH200GraceHopper超级芯片，以及擁(yong)有256个GH200超级芯片的DGXGH200超级计算机为例，产品性能上至少领先其他厂商一个身位。

涉及到算力集群，RDMA网络成为大模型时代的底层通信技术，业内主(zhu)要使用的是Infiniband、RoCE，NVlink僅(jin)用于GPU之间通信，InfiniBand网络則(ze)为通用高性能网络，既可用于GPU之间通信，也可用于CPU之间通信。

Infiniband网络以往在超算领域应用较为广泛(fan)，随后擴(kuo)展至人工智能计算，2019年，英伟达以69亿美(mei)元收(shou)购邁(mai)络思(si)，补全了自己了网络短板(ban)，目前IB较为成熟(shu)，很多厂商都在尝试自研RoCE路线，在部分场景下较IB网络还有一定差距(ju)。

例如文心一言，早在2021年6月，百度智能云开始规劃(hua)全新的高性能GPU集群的建设，联合NVIDIA共同完成了可以容納(na)万卡以上规模的IB网络架构设计，集群中节点间的每张GPU卡都通过IB网络连接，并在2022年4月将集群建设完成，提供单集群EFLOPS级别的算力。

2023年3月，文心一言在这个高性能集群上誕(dan)生，并不断叠(die)代出新的能力。目前，这个集群的规模还在不断扩大。NVIDIA中国区解决方案与工程总经理赖俊(jun)傑(jie)也提到，高速IB网络互联的GPU集群是大模型时代的关鍵(jian)基础设施。

据了解，百度仅半年时间就采(cai)购了数万片英伟达A800，其他互联网厂商的采购量也在上万片，刨(pao)除一开始发生了擠(ji)兌(dui)现象(xiang)導(dao)致(zhi)供不应求外，目前英伟达产品的供货周(zhou)期(qi)在三个月以内。

CUDA（ComputeUnifiedDeviceArchitecture）软件生态，也是备受开发人員(yuan)好評(ping)的产品，它允(yun)许开发者使用C/C++、Fortran等編(bian)程語(yu)言在英伟达GPU上进行并行计算，提供了強(qiang)大的计算能力和高效的数据传輸(shu)方式，使得GPU在科(ke)学计算、机器学習(xi)、深度学习等领域得到了广泛的应用。

目前，英伟达是大模型热潮(chao)中最受益的厂商，没有之一，即便是微软为OpenAI搭(da)建的超级计算机，也依赖于英伟达的产品，絕(jue)大多数训练算力都来自于英伟达GPU，面对全球如雪(xue)花(hua)般飛(fei)来的訂(ding)单，英伟达賺(zhuan)的盆(pen)满缽(bo)满。

其最新的2024財(cai)年第(di)一季(ji)度财報(bao)显示，英伟达数据中心业务营收为42.8亿美元，创下历史(shi)紀(ji)錄(lu)，与上年同期相比增长14%，与上一财季相比增长18%，股(gu)价也创下历史新高。财报具有滯(zhi)后性，大模型带来的业績(ji)增收还没有完全体现在财报上。

国产算力的机会

在自主创新的大背景下，大模型算力也在加速拥抱(bao)国产化，大家的态度是遠(yuan)期普遍看好，短期仍有挑战。大模型时代到来之后，很多国产芯片雖(sui)然有所准备，但是在最高端的芯片上存在一定的差距。

燧(sui)原COO张亞(ya)林(lin)表示，当前所有人在做大模型训练的时候，时间至关重(zhong)要，现在大家需要成熟的产品，不会倾向于选用国产化芯片，避(bi)免(mian)遇(yu)到一些穩(wen)定性或者成熟度的问题。

但推理层面是国产芯片的机会，张亚林表示，推理模型本身支持的方向比较单一，只要在推理模型上做到极致的调优，把性价比拿出来，很多用户反(fan)而願(yuan)意用国产化芯片。“我认为现在国产芯片应该倒(dao)过来，先做推理和微调，然后慢(man)慢通过研究所、高校(xiao)、国家级实验室的研究，牽(qian)引到集群化的能力，从推理到训练的曲(qu)线会更加合理。”他说。

谢广军提到，AI芯片的发展比摩(mo)爾(er)定律(lv)更加激(ji)进，也会有更大的下降空(kong)间。算力短缺一方面算力跟不上需求，另一方面，还是由(you)于整个供应形(xing)势所带来的问题。

“大模型的需求也会加速国产芯片的迭代。以昆(kun)侖(lun)芯来講(jiang)，今年年底昆仑第三代，更加适合大模型，不管是训练还是推理，包括通信、显存都会有非常大的提升。我相信其他的国产算力也是这样的，国产算力更具备竞爭(zheng)力，会使得整个算力成本进一步下降，而且(qie)是加速下降。”谢广军说。

钛媒体App了解到，今年国产芯片的发展呈(cheng)现錯(cuo)位状态，国产芯片还没有对標(biao)到英伟达最高端的产品，比如A100。有几家国产芯片厂商已经预备在今年晚(wan)些时候，推出类似的对标产品。不論(lun)是训练还是推理，国产芯片的发展或多或少有一些滞后。

与之对应地，英伟达芯片供应相对紧张，国产算力在明年之后，会有比较大的机会，现在算力市场还在急(ji)劇(ju)增长，国产芯片的匹(pi)配度不够，主要还是英伟达在增长，如果需求匹配上之后，国内芯片会有很大的机会。

张亚林表示，如果燧原要真的“殺(sha)”到互联网客户场景，一定是在他们需要的场景和业务下，具备1.5倍的英伟达产品性能，和两倍的性价比。

“互联网客户普遍追(zhui)求极致性价比，但是在集群方面要看TCO（总体拥有成本），集群的软硬件整体价格、运維(wei)服务部署(shu)等，比如我1000卡的集群，跟英伟达的600卡集群对比，可能性能差不多，但是我性价比更高，同时我提供更好的定制化的服务支持，在市场上也是很有竞争力的。”他说。

6月，关于大模型算力的討(tao)论渐歇(xie)，基础模型厂商初(chu)窺(kui)門(men)徑(jing)，要么身体力行地去训练大模型，要么买到更有性价比的算力，但总体来说，以算力为中心的大模型基础设施，成本依然處(chu)于较高的水平。

IT产业总是遵循否(fou)定之否定的鐘(zhong)擺(bai)定理，在大模型的产业热潮中，接下来算力的各个环节如何进化，也更值(zhi)得期待(dai)。（文中张阳为化名(ming)）

（本文首发钛媒体APP，作者 | 张帥(shuai)，编辑 | 蓋(gai)虹(hong)达）返(fan)回搜(sou)狐(hu)，查(zha)看更多

责任编辑：