啤酒活动盛宴，乐在其中！

feichangdefangbiankeyizaixianshenpimeigezidouyouxiangxijieshao，jieshengleyonghuxuexideshijian。ganshoushushidegouwutiyan，nenggouzhakantuwenbingmaodexinxijieshao。douposhachengbtbanshejiaoruanjianzhuanzhangshi，zhidaoduifangshenfendezhenshixing，fangzhicaichansunshi。shejiaoruanjianjiaoyoushi，fangzhiduifangmaochongshenfenjinxingzhapian。成(cheng)本(ben)直(zhi)降(jiang)70%的(de)秘(mi)密(mi)：這(zhe)些(xie)企(qi)業(ye)找(zhao)到(dao)了(le)壹(yi)種(zhong)高(gao)性(xing)價(jia)比(bi)的AI打(da)開(kai)方(fang)式(shi)

近(jin)半(ban)年(nian)來(lai)，ChatGPT 所(suo)帶(dai)来的 AI 熱(re)度(du)是(shi)大(da)家(jia)能(neng)直觀(guan)感(gan)受(shou)到的。

圖(tu)片(pian)来源(yuan)：由(you)無(wu)界(jie)AI 生(sheng)成

其(qi)實(shi)，在(zai)不(bu)那(na)麽(me)直观的地(di)方，數(shu)據(ju)也(ye)在悄(qiao)然(ran)發(fa)生變(bian)化(hua)：斯(si)坦(tan)福(fu)大學(xue)发布(bu)的「2023 年 AI 指(zhi)数報(bao)告(gao)」顯(xian)示(shi)，2022 年采(cai)用(yong) AI 的公(gong)司(si)比例(li)自(zi) 2017 年以(yi)来翻(fan)了一番(fan)以上(shang)。这些公司报告稱(cheng)，采用 AI 之(zhi)後(hou)，它(ta)們(men)实現(xian)了显著(zhu)的成本降低(di)和(he)收(shou)入(ru)增(zeng)加(jia)。

雖(sui)然 2023 年的数据還(hai)沒(mei)出(chu)来，但(dan)僅(jin)憑(ping)被(bei) ChatGPT 带火(huo)的 AIGC 領(ling)域(yu)就(jiu)不難(nan)推(tui)測(ce)，上述(shu)数字(zi)將(jiang)在今(jin)年迎(ying)来新(xin)的拐(guai)點(dian)。AIGC 大有(you)掀(xian)起(qi)第(di)四(si)次(ci)產(chan)业革(ge)命(ming)之勢(shi)。

但與(yu)此(ci)同(tong)時(shi)，这些企业在構(gou)建(jian) AI 基(ji)礎(chu)設(she)施(shi)方面(mian)也迎来了新的挑(tiao)戰(zhan)。

首(shou)先(xian)，就算(suan)力(li)而(er)言(yan)，AI 领域算力需(xu)求(qiu)激(ji)增和供(gong)給(gei)不足(zu)形(xing)成的矛(mao)盾(dun)在今年变得(de)尤(you)其激烈(lie)，就連(lian) OpenAI CEO Sam Altman 都(dou)坦言自家公司正(zheng)被算力短(duan)缺(que)問(wen)題(ti)困(kun)擾(rao)，其 API 的可(ke)靠(kao)性和速(su)度问题屢(lv)遭(zao)投(tou)訴(su)。此外(wai)，大批(pi)公司还面臨(lin)这波(bo)需求高漲(zhang)带来的算力成本上升(sheng)问题。

其次，在模(mo)型(xing)的選(xuan)擇(ze)上，不少(shao)企业发现，當(dang)前(qian)討(tao)論(lun)热度最(zui)高的大模型其实还没有一個(ge)成熟(shu)的商(shang)业模式，其安(an)全(quan)性等(deng)方面还存(cun)在问题。以三(san)星(xing)设備(bei)解(jie)決(jue)方案(an)部(bu)門(men)為(wei)例，他(ta)们在啟(qi)用 ChatGPT 不到一个月(yue)的时間(jian)內(nei)，就发生了三起数据泄(xie)露(lu)事(shi)件(jian)，这讓(rang)原(yuan)本打算直接(jie)調(tiao)用 OpenAI API 的企业打了退(tui)堂(tang)鼓(gu)。此外，自己(ji)訓(xun)練(lian)、部署(shu)超(chao)大模型同樣(yang)很(hen)勸(quan)退：想(xiang)象(xiang)一下(xia)，仅仅簡(jian)單(dan)地向(xiang)一个大模型发送(song)一次請(qing)求，可能就需要(yao)昂(ang)貴(gui)的 GPU 卡(ka)進(jin)行(xing)獨(du)占(zhan)性的運(yun)算，这是很多(duo)企业都难以承(cheng)受的。

不過(guo)，話(hua)說(shuo)回(hui)来，像(xiang) ChatGPT 那样「无所不知(zhi)」的超大模型真(zhen)的是企业所必(bi)需的嗎(ma)？运行 AI 模型輔(fu)助(zhu)业務(wu)就意(yi)味(wei)要瘋(feng)狂(kuang)擴(kuo)充(chong) GPU 規(gui)模吗？那些已(yi)經(jing)利(li)用 AI 提(ti)升效(xiao)益(yi)的企业是怎(zen)么做(zuo)的？在分(fen)析(xi)了一些企业的最佳(jia)实踐(jian)之后，我(wo)们找到了一些參(can)考(kao)答(da)案。

那些已经用上 AI 的公司：性能与成本的艱(jian)难抉(jue)择

如(ru)果(guo)要分析最早(zao)應(ying)用人(ren)工(gong)智(zhi)能提升效益的行业，互(hu)聯(lian)網(wang)是繞(rao)不开的一个，其典(dian)型工作(zuo)負(fu)載(zai) —— 推薦(jian)系(xi)統(tong)、視(shi)覺(jiao)處(chu)理(li)、自然語(yu)言处理等 —— 的優(you)化都離(li)不开 AI。不过，隨(sui)著(zhe)业务量(liang)的激增，他们也在性能和成本等層(ceng)面面临着不同的挑战。

首先看(kan)推荐系统。推荐系统在電(dian)子(zi)商务、社(she)交(jiao)媒(mei)體(ti)、音(yin)视頻(pin)流(liu)媒体等許(xu)多领域都有廣(guang)泛(fan)的应用。以电子商务为例，在每(mei)年的 618、雙(shuang)十(shi)一等購(gou)物(wu)高峰(feng)，阿(e)裏(li)巴(ba)巴等頭(tou)部电商企业都會(hui)面临全球(qiu)龐(pang)大客(ke)戶(hu)群(qun)发出的数億(yi)实时请求，因(yin)此他们希(xi)望(wang)滿(man)足 AI 推理在吞(tun)吐(tu)量与时延(yan)方面的要求，同时又(you)能確(que)保(bao) AI 推理精(jing)确性，保證(zheng)推荐質(zhi)量。

接下来看视觉处理，仅美(mei)團(tuan)一家，我们就能找到智能图片处理、商户入駐(zhu)证照(zhao)識(shi)別(bie)、掃(sao)碼(ma)开单車(che)、扫藥(yao)盒(he)買(mai)药等多个应用場(chang)景(jing)。AI 已经成为其业务版(ban)图中(zhong)很重(zhong)要的一部分。不过，随着美团业务与用户量的高速增長(chang)，越(yue)来越多的应用需要通(tong)过视觉 AI 构建智能化流程(cheng)，美团需要在保证视觉 AI 推理精度的同时，提升视觉 AI 推理的吞吐率(lv)，以支(zhi)撐(cheng)更(geng)多的智能化业务。

最后看自然语言处理。得益於(yu) ChatGPT 带来的热度，自然语言处理正獲(huo)得前所未(wei)有的市(shi)场關(guan)註(zhu)与技(ji)術(shu)追(zhui)蹤(zong)。作为國(guo)内 NLP 技术研(yan)究(jiu)的先行者(zhe)，百(bai)度已在該(gai)领域构建起完(wan)整(zheng)的产品(pin)体系与技术組(zu)合(he)。ERNIE 3.0 作为其飛(fei)槳(jiang)文(wen)心(xin)?NLP 大模型的重要组成部分，也在各(ge)种 NLP 应用场景，尤其是中文自然语言理解和生成任(ren)务中展(zhan)现出卓(zhuo)越的性能。不过，随着 NLP 在更多行业中实现商业化落(luo)地，用户對(dui) ERNIE 3.0 也提出了更多細(xi)分需求，例如更高的处理效率和更广泛的部署场景等。

所有这些问题的解决都离不开大规模的基础设施投入，但困扰这些企业的共(gong)同问题是：独立(li) GPU 虽然可以满足性能所需，但是成本壓(ya)力較(jiao)大，因此一味扩充 GPU 规模並(bing)不是一个最佳选項(xiang)。

高性价比的解决方案：英(ying)特(te)爾(er)?第四代(dai)至(zhi)強(qiang)?可扩展处理器(qi)

AI 社區(qu)存在一个刻(ke)板(ban)印(yin)象：CPU 不適(shi)合承载 AI 任务。但 Hugging Face 首席(xi)傳(chuan)播(bo)官(guan) Julien Simon 的一项展示打破(po)了这种刻板印象。他所在的公司和英特尔合作打造(zao)了一个名(ming)为 Q8-Chat 的生成式 AI 应用，该应用能夠(gou)提供類(lei)似(si) ChatGPT 的聊(liao)天(tian)体驗(yan)，但仅需一个 32 核(he)英特尔? 至强? 处理器就能运行。

就像这个例子所展示的，用 CPU 承载 AI 任务（尤其是推理任务）其实在产业界非(fei)常(chang)普(pu)遍(bian)，阿里巴巴、美团、百度都用相(xiang)关方案緩(huan)解了算力问题。

阿里巴巴：用 CPU 助力下一代电商推荐系统，成功(gong)应对双十一峰值(zhi)负载压力

前面提到，阿里巴巴在电商推荐系统业务中面临 AI 吞吐量、时延、推理精确性等方面的多重考验。为了实现性能与成本的平(ping)衡(heng)，他们选择用 CPU 来处理 AI 推理等工作负载。

那么，什(shen)么样的 CPU 能同时頂(ding)住(zhu)多重考验？答案自然是英特尔? 第四代至强? 可扩展处理器。

这款(kuan)处理器于今年年初(chu)正式发布，除(chu)了一系列(lie)微(wei)架(jia)构的革新和技术规格(ge)的升級(ji)外，新 CPU 对 AI 运算「更上层樓(lou)」的支持(chi)也格外引(yin)人关注，尤其是英特尔在这代产品中增添(tian)的全新内置(zhi) AI 加速器 —— 英特尔高级矩(ju)陣(zhen)扩展（AMX）。

在实際(ji)的工作负载中，英特尔? AMX 能够同时支持 BF16 和 INT8 数据类型，能够确保该 CPU 像高端(duan)通用图形处理器（GPGPU）一样处理 DNN 工作负载。BF16 動(dong)態(tai)範(fan)圍(wei)与標(biao)準(zhun) IEEE-FP32 相同，但精度较 FP32 变低。在大多数情(qing)況(kuang)下，BF16 与 FP32 格式的模型推理結(jie)果一样准确，但是由于 BF16 只(zhi)需要处理 FP32 一半尺(chi)寸(cun)的数据，因此 BF16 吞吐量遠(yuan)高于 FP32，内存需求也大幅(fu)降低。

当然，AMX 本身(shen)的架构也是为加速 AI 計(ji)算所设计的。该架构由兩(liang)部分组件构成：2D 寄(ji)存器文件（TILE）和 TILE 矩阵乘(cheng)法(fa)单元(yuan)（TMUL），前者可存儲(chu)更大的数据塊(kuai)，后者是对 TILE 进行处理的加速单元，可在单次运算中计算更大矩阵的指令(ling)。

凭借(jie)这种新的架构，英特尔? AMX 实现了大幅代际性能提升。与运行英特尔? 高级矢(shi)量扩展 512 神(shen)经网絡(luo)指令（AVX-512 VNNI）的第三代英特尔? 至强? 可扩展处理器相比，运行英特尔? AMX 的第四代英特尔? 至强? 可扩展处理器将单位(wei)计算周(zhou)期(qi)内執(zhi)行 INT8 运算的次数從(cong) 256 次提高至 2048 次，执行 BF16 运算的次数为 1024 次 ，而第三代英特尔? 至强? 可扩展处理器执行 FP32 运算的次数仅为 64 次。

英特尔? AMX 的高级硬(ying)件特性为阿里巴巴的核心推荐模型带来了 AI 推理性能突(tu)破，并保证了足够的精度。此外，阿里巴巴还使(shi)用英特尔? oneAPI 深(shen)度神经网络庫(ku) (英特尔? oneDNN)，将 CPU 微调到峰值效率。

下图显示，在 AMX、BF16 混(hun)合精度、8 通道(dao) DDR5、更大高速缓存、更多内核、高效的内核到内核通信(xin)和軟(ruan)件优化的配(pei)合下，主(zhu)流的 48 核第四代英特尔? 至强? 可扩展处理器可以将代理模型的吞吐量提升到 2.89 倍(bei)，超过主流的 32 核第三代英特尔? 至强? 可扩展处理器，同时将时延嚴(yan)格保持在 15 毫(hao)秒(miao)以下，推理精度依(yi)然能够满足需求。

优化后的软件和硬件已经部署在阿里巴巴的真实业务環(huan)境(jing)中， 它们成功通过了一系列验证，符(fu)合阿里巴巴的生产标准，包(bao)括(kuo)应对阿里巴巴双十一购物節(jie)期间的峰值负载压力。

而且(qie)，阿里巴巴发现，升级为第四代英特尔? 至强? 可扩展处理器带来的性能收益远高于硬件成本，投資(zi)收益非常明(ming)显。

美团：用 CPU 承载低流量长尾(wei)视觉 AI 推理，服(fu)务成本直降 70%

前面提到，美团在业务扩展中面临视觉 AI 推理服务成本较高的挑战。其实，这个问题并非鐵(tie)板一块：部分低流量长尾模型推理服务的负载压力与时延要求是相对较低的，完全可以用 CPU 来承载。

在多个视觉 AI 模型中，美团通过采用英特尔? AMX 加速技术，动态将模型数据类型从 FP32 轉(zhuan)換(huan)为 BF16，从而在可接受的精度損(sun)失(shi)下，增加吞吐量并加速推理。

为了验证优化后的性能提升，美团将使用英特尔? AMX 加速技术转换后的 BF16 模型，与基准 FP32 模型的推理性能进行了比较。测試(shi)数据下图所示，在将模型转化为 BF16 之后，模型推理性能可实现 3.38-4.13 倍的提升，同时 Top1 和 Top5 精度损失大部分可以控(kong)制(zhi)在 0.01%-0.03%。

得益于性能的提升，美团能够更加充分地釋(shi)放(fang)现有基础设施的潛(qian)能，降低在 GPU 部署与运維(wei)方面的高昂成本，并节省(sheng) 70% 的服务成本。

百度：将蒸(zheng)餾(liu)后的模型跑(pao)在 CPU 上，解鎖(suo)更多行业、场景

眾(zhong)所周知，模型中更多的层数、参数意味着更大的模型体積(ji)、更强的计算资源需求以及(ji)更长的推理耗(hao)时，对于业务響(xiang)应速度和构建成本敏(min)感的用户而言，无疑(yi)提高了引入和使用门檻(kan)。因此，在 NLP 领域，模型小(xiao)型化是一个常見(jian)的优化方向。

百度也采用了这一做法，借助模型輕(qing)量化技术对 ERNIE 3.0 大模型进行蒸馏压縮(suo)，从而将其推广到更多行业与场景 。这些轻量版的模型（ERNIE-Tiny）不仅响应迅(xun)速，还有一个重要优势：无需昂贵的專(zhuan)用 AI 算力设备就能部署。因此，引入更强的通用计算平臺(tai)和优化方案，就成了助力 ERNIE-Tiny 获得更优效率的另(ling)一项重要手(shou)段(duan)。

为此，百度与英特尔展开深度技术合作：一方面将第四代英特尔? 至强? 可扩展处理器引入 ERNIE-Tiny 的推理计算过程；另一方面，也推进了多项优化措(cuo)施，例如通过英特尔? oneAPI 深度神经网络库来调用英特尔? AMX 指令等，以确保 ERNIE-Tiny 可以更为充分地利用 AMX 带来的性能加速紅(hong)利。

来自对比测试的数据表(biao)明，相比通过英特尔? AVX-512_VNNI 技术来实现 AI 加速的、面向单路(lu)和双路的第三代英特尔? 至强? 可扩展处理器，ERNIE-Tiny 在升级使用内置英特尔? AMX 技术的第四代英特尔? 至强? 可扩展处理器后，其整体性能提升高達(da) 2.66 倍，取(qu)得了令人满意的效果。

目(mu)前，各个 ERNIE-Tiny 不仅已部署在零(ling)门槛 AI 开发平台 EasyDL、全功能 AI 开发平台 BML 和 ERNIEKit (旗(qi)艦(jian)版) 产品中，它们也将与平台和产品的其它能力一起協(xie)同，在基于第四代英特尔? 至强? 可扩展处理器的基础设施上，为 使用者提供文本分类、关系抽(chou)取、文本生成以及问答等能力。

从阿里巴巴、美团、百度的实践经验可以看到，在真实的生产环境中，真正发揮(hui)作用的依然是一些规模没那么大的 AI 模型。这些模型的部署已经有了可借鑒(jian)的成熟方案，可以借助英特尔? 至强? CPU 以及配套(tao)的软硬件加速方案获得显著的成本效益。

当然，随着 AIGC 的强势崛(jue)起，不少企业也将目光(guang)瞄(miao)准了这类大一些的模型。但正如前面所讨论过的，无论是调用超大模型 API 还是自己训练、部署都有各自的问题，如何(he)选择一种经濟(ji)、高效又安全的解决方案是擺(bai)在企业面前的棘(ji)手难题。

AIGC 时代已来，企业如何应对？

企业擁(yong)抱(bao) AIGC 就意味着一定(ding)要有一个「无所不知」的超大模型吗？对此，波士(shi)頓(dun)咨(zi)詢(xun)公司（BCG）给出的答案是否(fou)定的。

他们选择的解决方案是利用自己的数据训练一个行业专用模型。这个模型可能没有那么大，但可以洞(dong)察(cha) BCG 过去(qu) 50 多年中高度保密的专有数据。同时，所有的 AI 训练和推理都完全符合 BCG 的安全标准。

这套解决方案的背(bei)后是一台英特尔 AI 超级计算機(ji)，该计算机搭(da)载英特尔? 第四代至强? 可扩展处理器和 Habana? Gaudi2? AI 硬件加速器，前者在 PyTorch 上的 AI 训练性能最高能提升到上一代产品的 10 倍，后者在计算机视觉（ResNet-50）和自然语言处理（BERT 微调）方面的表现优于英偉(wei)达 A100，在计算机视觉方面幾(ji)乎(hu)与 H100 不分伯(bo)仲(zhong)。二(er)者强强联合，为 BCG 提供了一套经济高效的 AIGC 解决方案。

在一个聊天机器人界面上，BCG 員(yuan)工能够从冗(rong)长的多頁(ye)文檔(dang)列表中，通过语義(yi)搜(sou)索(suo)来檢(jian)索、提取并匯(hui)總(zong)有效信息(xi)。BCG 报告称，这与现有的关鍵(jian)字搜索解决方案相比，其用户满意度提高了 41%，结果准确性增长了 25%，工作完成率提高了 39%。

由此可见，无论是传统的中小规模 AI，还是当前頗(po)有前景的 AIGC 行业大模型，GPU 都不是 AI 加速的唯(wei)一选择。但无论是何种规模的模型，英特尔都给出了颇具(ju)性价比的软硬件组合解决方案。

对于想要应用 AI 提升效益的企业来说，选择何种规模的模型、搭建怎样的软硬件基础设施都没有标准答案，所謂(wei)的超大模型、超大 GPU 算力集(ji)群可能都非必需。根(gen)据业务特点和屬(shu)性选择适合自己的技术方案才(cai)是实现最优解的重要因素(su)。

参考鏈(lian)接：

https://www.intel.cn/content/www/cn/zh/artificial-intelligence/amx-tencent-bert-model-search-applications.html

https://www.intel.cn/content/www/cn/zh/cloud-computing/alibaba-e-comm-recommendation-system-enhancement.html返(fan)回搜狐(hu)，查(zha)看更多

責(ze)任編(bian)輯(ji)：