国美 春节 福利大放送！

dingjiwurenjixietongzuozhan，zidongzhandou，jiefangshuangshou，duoxianwanfajiezouziyouzhangkong。daxingkaihuixinfangshi，wankezhiboguangchangnabaichuanhelaoshitongxuefasixinliaotiangezhonggequyefenleizhenglidehenxiangxi。keyigenjuzijidetinggexihaoxuanzexiangyingdegequlaiting。dingdanguanlijiaoyiguanlikehuxingweifenxi，quanfangweishujupouxi，qudongjuecetiaozheng11分(fen)鐘(zhong)訓(xun)完(wan)GPT-3！英(ying)偉(wei)達(da)H100 橫(heng)掃(sao)MLPerf 8項(xiang)基(ji)準(zhun)測(ce)試(shi)，下(xia)壹(yi)代(dai)顯(xian)卡(ka)25年(nian)發(fa)布(bu)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Aeneas 潤(run)

【新智元導(dao)讀(du)】黃(huang)老(lao)板(ban)又(you)贏(ying)麻(ma)了(le)！在(zai)最(zui)新的(de)MLPerf基准测试中(zhong)，H100成(cheng)功(gong)創(chuang)下8项测试紀(ji)錄(lu)。而(er)外(wai)媒(mei)透(tou)露(lu)，下一代消(xiao)費(fei)級(ji)显卡或(huo)在2025发布。

最新MLPerf训練(lian)基准测试中，H100 GPU在所(suo)有(you)的八(ba)项测试中都(dou)创下了新纪录！

如(ru)今(jin)，NVIDIA H100幾(ji)乎(hu)已(yi)經(jing)統(tong)治(zhi)了所有類(lei)別(bie)，並(bing)且(qie)是(shi)新LLM基准测试中使(shi)用(yong)的唯(wei)一 的GPU。

3,584個(ge)H100 GPU群(qun)在短(duan)短11分钟內(nei)完成了基於(yu)GPT-3的大(da)規(gui)模(mo)基准测试。

MLPerf LLM基准测试是基于OpenAI的GPT-3模型(xing)進(jin)行(xing)的，包(bao)含(han)1750億(yi)个參(can)數(shu)。

Lambda Labs估(gu)計(ji)，训练這(zhe)樣(yang)一个大模型需(xu)要(yao)大約(yue)3.14E23 FLOPS的计算(suan)量(liang)。

11分钟训出(chu)GPT-3的怪(guai)獸(shou)是如何(he)構(gou)成的

在LLM和(he)BERT自(zi)然(ran)語(yu)言(yan)處(chu)理(li) (NLP) 基准测试中排(pai)名(ming)最高(gao)的系(xi)统，是由(you)NVIDIA和Inflection AI聯(lian)合(he)開(kai)发。

由專(zhuan)門(men)從(cong)事(shi)企(qi)業(ye)级GPU加(jia)速(su)工(gong)作(zuo)負(fu)載(zai)的雲(yun)服(fu)務(wu)提(ti)供(gong)商(shang)CoreWeave托(tuo)管(guan)。

該(gai)系统結(jie)合了3584个NVIDIA H100加速器(qi)和896个Intel Xeon Platinum 8462Y+处理器。

因(yin)為(wei)英伟达在H100中引(yin)入(ru)了新的Transformer引擎(qing)，专门用于加速Transformer模型训练和推(tui)理，將(jiang)训练速度(du)提高了6倍(bei)。

CoreWeave从云端(duan)提供的性(xing)能(neng)與(yu)英伟达从本(ben)地(di)数據(ju)中心(xin)運(yun)行的AI超(chao)级计算機(ji)所能提供的性能已经非(fei)常(chang)接(jie)近(jin)了。

这得(de)益(yi)于CoreWeave使用的NVIDIA Quantum-2 InfiniBand網(wang)絡(luo)具(ju)有低(di)延(yan)遲(chi)网络。

隨(sui)著(zhe)参与训练的H100 GPU从数百(bai)个擴(kuo)展(zhan)到(dao)3000多(duo)个。

良(liang)好(hao)的優(you)化(hua)使得整(zheng)个技(ji)術(shu)堆(dui)棧(zhan)在要求(qiu)嚴(yan)苛(ke)的LLM测试中實(shi)現(xian)了近乎線(xian)性的性能扩展。

如果(guo)将GPU的数量降(jiang)低到一半(ban)，训练相(xiang)同(tong)的模型時(shi)間(jian)會(hui)增(zeng)加到24分钟。

說(shuo)明(ming)整个系统的效(xiao)率(lv)潛(qian)力(li)，随着GPU的增加，是超线性的。

最主(zhu)要的原(yuan)因是，英伟达从GPU設(she)计之(zhi)初(chu)就(jiu)考(kao)慮(lv)到了这个問(wen)題(ti)，使用NVLink技术來(lai)高效实现了GPU之间的通(tong)信(xin)。

在参与测试的90个系统中，有82个系统都使用了英伟达的GPU进行加速。

單(dan)卡训练效率

系统集(ji)群训练时间對(dui)比(bi)

英特(te)爾(er)参加测評(ping)的系统使用64到96个不(bu)等(deng)的Intel Xeon Platinum 8380 处理器和256到389个不等的Intel Habana Gaudi2加速器。

然而，英特尔提交(jiao)的GPT-3的训练时间为311分钟。

成績(ji)和英伟达相比就稍(shao)微(wei)有點(dian)慘(can)不忍(ren)睹(du)了。

分析(xi)師(shi)：英伟达优勢(shi)過(guo)大

行业分析师認(ren)为，英伟达的在GPU上(shang)的技术优势是非常明显的。

而它(ta)作为AI基礎(chu)设施(shi)提供商，在行业中的主导地位(wei)還(hai)體(ti)现在英伟达多年建(jian)立(li)起(qi)来的生(sheng)態(tai)系统粘(zhan)性上。

AI社(she)區(qu)对英伟达的軟(ruan)件(jian)的依(yi)賴(lai)性也(ye)非常強(qiang)。

几乎所有AI框(kuang)架(jia)都基于英伟达提供的底(di)層(ceng)CUDA庫(ku)和工具。

而且它还能提供全(quan)堆栈的AI工具和解(jie)決(jue)方(fang)案(an)。

除(chu)了为AI开发人(ren)員(yuan)提供支(zhi)持(chi)之外，英伟达还繼(ji)續(xu)投(tou)資(zi)用于管理工作负载和模型的企业级工具。

在可(ke)預(yu)見(jian)的未(wei)来，英伟达在行业的領(ling)先(xian)地位将会非常穩(wen)固(gu)。

分析师还进一步(bu)指(zhi)出。

MLPerf测试结果中所展现的，NVIDIA系统在云端进行AI训练的强大功能和效率，才(cai)是英伟达「戰(zhan)未来」的最大本錢(qian)。

下一代Ada Lovelace GPU，2025年发布

Tom's Hardware自由撰(zhuan)稿(gao)人Zhiye Liu也于近日(ri)发文(wen)，介(jie)紹(shao)了下一代英伟达Ada Lovelace显卡的计劃(hua)。

H100训练大模型的能力，毋(wu)庸(yong)置(zhi)疑(yi)。

只(zhi)用3584个H100，短短11分钟内，就能训练出一个GPT-3模型。

在最近的新聞(wen)发布会上，英伟达分享(xiang)了一份(fen)新路(lu)线圖(tu)，詳(xiang)細(xi)介绍了下一代產(chan)品(pin)，包括(kuo)GeForce RTX 40系列(lie)Ada Lovelace GPU的继任(ren)者(zhe)，而前(qian)者，是當(dang)今最好的遊(you)戲(xi)显卡。

根(gen)据路线图，英伟达计划在2025年推出「Ada Lovelace-Next」显卡。

如果继续沿(yan)用当前的命(ming)名方案，下一代GeForce产品應(ying)该是作为GeForce RTX 50系列上市(shi)。

根据南(nan)美(mei)黑(hei)客(ke)組(zu)織(zhi)LAPSU$得到的信息(xi)，Hopper Next很(hen)可能被(bei)命名为Blackwell。

在消费级显卡上，英伟达保(bao)持着兩(liang)年一更(geng)新的節(jie)奏(zou)。

他(ta)們(men)在2016年推出了Pascal，在2018年推出了Turing，在2020年推出了Ampere，在2022年推出了Ada Lovelace。

如果这次(ci)Ada Lovelace的继任者会在2025年推出，英伟达無(wu)疑就打(da)破(po)了通常的节奏。

最近的AI大爆(bao)发，产生了对英伟达GPU的巨(ju)大需求，无論(lun)是最新的H100，还是上一代的A100。

根据报道，某(mou)大廠(chang)今年就訂(ding)購(gou)了價(jia)值(zhi)10亿美元的Nvidia GPU。

盡(jin)管有出口(kou)限(xian)制(zhi)，但(dan)我(wo)國(guo)仍(reng)然是英伟达在全世(shi)界(jie)最大的市場(chang)之一。

（据说，在深(shen)圳(zhen)華(hua)强北(bei)電(dian)子(zi)市场，就可以(yi)買(mai)到少(shao)量英伟达A100，每(mei)塊(kuai)售(shou)价为2萬(wan)美元，是通常价格(ge)的两倍。）

对此(ci)，英伟达已经对某些(xie)AI产品做(zuo)了微調(tiao)，发布了H100或A800等特定(ding)SKU，以滿(man)足(zu)出口要求。

Zhiye Liu对此分析道，換(huan)个角(jiao)度看(kan)，出口法(fa)规其(qi)实是有利(li)于英伟达的，因为这意(yi)味(wei)着芯(xin)片(pian)制造(zao)商客戶(hu)必(bi)須(xu)购买更多原版(ban)GPU的變(bian)体，才能獲(huo)得同等的性能。

这也就能理解，为什(shen)麽(me)英伟达会优先考虑生成计算GPU，而非游戏GPU了。

最近的报道显示(shi)，英伟达已经增加了计算级GPU的产量。

沒(mei)有面(mian)臨(lin)来自AMD的RDNA 3产品堆栈的激(ji)烈(lie)競(jing)爭(zheng)，英特尔也没有对GPU雙(shuang)頭(tou)壟(long)斷(duan)构成严重(zhong)威(wei)脅(xie)，因此，英伟达在消费側(ce)可以拖(tuo)延。

最近，Nvidia通过GeForce RTX 4060和GeForce RTX 4060 Ti，将其GeForce RTX 40系列产品堆栈又扩大了。

GeForce RTX 4050以及(ji)頂(ding)部(bu)的RTX 4080 Ti或GeForce RTX 4090 Ti等，都有潜力。

如果迫(po)不得已，英伟达还可以从舊(jiu)的Turing版本中拿(na)出一个产品，更新Ada Lovelace，給(gei)它封(feng)个「Super」待(dai)遇(yu)，进一步扩展Ada陣(zhen)容(rong)。

最後(hou)，Zhiye Liu表(biao)示，至(zhi)少今年或明年，Lovelace架构不会真(zhen)正(zheng)更新。

参考资料(liao)：

https://blogs.nvidia.com/blog/2023/06/27/generative-ai-debut-mlperf/返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：