东莞广告资源惊喜曝光！

【remenerge】kuaisudaoru：yongshouzhizhi，bierenbuhuikandaonindemimi;xingzhaomu，bufensuicongkezaifulihexiandinghuodongzhonglingqu。huoqudaodesuicongxuyaodianjijihuohoufangketigongshuxingjiacheng。zhenzhengzuodaoxiaoshuo/manhua/yingshiquanmianfei，wurenhehuashishoufei，hefufeiziyuansayno。zhekuanruanjianshiguangdadeanzhuoshoujiyonghudeyigeqinglishenqi，weidajiajinxingshoujiqinglitigonglehendadebianjie。Jeff Dean發(fa)推(tui)：谷(gu)歌(ge)超(chao)硬(ying)年(nian)終(zhong)總(zong)結(jie)「第(di)三(san)彈(dan)」來(lai)了(le)！大(da)力(li)发展(zhan)Jax

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Aeneas 好(hao)困(kun)

【新智元導(dao)讀(du)】谷歌費(fei)心(xin)打(da)造(zao)的(de)年终总结第三弹，火(huo)熱(re)出(chu)爐(lu)了！

剛(gang)刚，Jeff Dean发推表(biao)示(shi)，谷歌重(zhong)磅(bang)打造的超級(ji)硬核(he)年终大总结，出第三弹了！

第壹(yi)弹：「超詳(xiang)超硬Jeff Dean萬(wan)字(zi)总结火热出炉！圖(tu)解(jie)谷歌2022年AIGC、LLM、CV三大領(ling)域(yu)成(cheng)就(jiu)」

第二(er)弹：「谷歌2022年度(du)回(hui)顧(gu)：讓(rang)AI更(geng)負(fu)責(ze)任(ren)，主(zhu)要(yao)做(zuo)了4點(dian)微(wei)小(xiao)的工(gong)作(zuo)」

偉(wei)大的機(ji)器(qi)學(xue)習(xi)研(yan)究(jiu)需(xu)要伟大的系(xi)統(tong)。

隨(sui)著(zhe)算(suan)法(fa)和(he)硬件(jian)越(yue)来越復(fu)雜(za)，以(yi)及(ji)運(yun)行(xing)規(gui)模(mo)越来越大，執(zhi)行日(ri)常(chang)任務(wu)所(suo)需的軟(ruan)件的复杂性(xing)也(ye)在(zai)不(bu)斷(duan)增(zeng)加(jia)。

在這(zhe)篇(pian)文(wen)章(zhang)中(zhong)，研究人(ren)員(yuan)概(gai)述(shu)了過(guo)去(qu)一年整(zheng)個(ge)谷歌在ML系统方(fang)面(mian)取(qu)得(de)的眾(zhong)多(duo)進(jin)展，这些(xie)进展使(shi)谷歌能(neng)夠(gou)支(zhi)持(chi)复杂模型(xing)的服(fu)务和訓(xun)練(lian)，同(tong)時(shi)減(jian)輕(qing)了终端(duan)用(yong)戶(hu)的實(shi)施(shi)复杂性。

同时，这篇文章還(hai)提(ti)到(dao)了谷歌如(ru)何(he)利(li)用ML本(ben)身(shen)来改(gai)进和設(she)計(ji)下(xia)一代(dai)系统堆(dui)棧(zhan)的研究。

机器学习编程(cheng)語(yu)言(yan)

對(dui)於(yu)机器学习的工作，基(ji)礎(chu)架(jia)構(gou)的穩(wen)健(jian)性和正(zheng)確(que)性至(zhi)關(guan)重要。

谷歌一直(zhi)在努(nu)力，确保(bao)基础架构建(jian)立(li)在可(ke)靠(kao)的技(ji)術(shu)和理(li)論(lun)基础之(zhi)上(shang)。並(bing)且(qie)，作為(wei)後(hou)盾(dun)，谷歌一直在做编程语言和构建编譯(yi)器方面的前(qian)沿(yan)研究。

谷歌會(hui)繼(ji)續(xu)对開(kai)源(yuan)MLIR编译器的基础架构投(tou)資(zi)，构建更加可控(kong)、可組(zu)合(he)和模塊(kuai)化(hua)的编译器堆栈。

论文地(di)址(zhi)：https://research.google/pubs/pub49988/

此(ci)外(wai)，谷歌在稀(xi)疏(shu)線(xian)性代數(shu)的代碼(ma)生(sheng)成方面也取得了很(hen)大进展，現(xian)在可以從(cong)幾(ji)乎(hu)相(xiang)同的MLIR程序(xu)中生成密(mi)集(ji)和稀疏的代码。

最(zui)后，谷歌还继续开发了IREE编译器，这个编译器既(ji)可以在位(wei)于数據(ju)中心的強(qiang)大计算机上使用，在可以在智能手(shou)机之類(lei)的移(yi)動(dong)设備(bei)上使用。

IREE的端到端流(liu)程

在更理论的層(ceng)面，谷歌探(tan)索(suo)了哪(na)些方法可以形(xing)式(shi)化（formalize）和驗(yan)證(zheng)自(zi)己(ji)使用的代码生成技术。

谷歌还发布(bu)了一種(zhong)新穎(ying)的方法，用于执行和形式化一套(tao)自动微分(fen)（AD）系统，它(ta)正是(shi)ML庫(ku)的核心。

源代码轉(zhuan)換(huan)

谷歌將(jiang)反(fan)向(xiang)模式的AD算法分解成三个獨(du)立的程序转换，这就變(bian)得更簡(jian)單(dan)，更容(rong)易(yi)验证，从而(er)突(tu)出了JAX实现的独特(te)性。

反向模式自动微分作为正向微分、解壓(ya)縮(suo)和转置(zhi)

利用抽(chou)象(xiang)解釋(shi)和程序合成等(deng)编程语言技术，谷歌成功(gong)地减少(shao)了进行神(shen)經(jing)结构搜(sou)索（NAS）所需的资源数量(liang)。这項(xiang)??NAS成果(guo)，可以让我(wo)們(men)在不降(jiang)低(di)準(zhun)确性的前提下，发现了更有(you)效(xiao)的模型。

在用于图像(xiang)分类的視(shi)覺(jiao)Transformer架构演(yan)化过程中由(you)??NAS合成的突变

在过去的一年裏(li)，谷歌在JAX生態(tai)系统中发布了許(xu)多新的开源库，比(bi)如Rax和T5X。

随着圍(wei)繞(rao)jax2tf的持续努力，JAX模型现在可以使用TensorFlow Lite部(bu)署(shu)在移动设备上，并使用TensorFlow.js部署在網(wang)絡(luo)上。

「Plane Strike」中的演示

用于机器学习的分布式系统

2022年，谷歌在更好地支持ML和通(tong)用科(ke)学计算进行大规模计算方面取得了重大进展。

不僅(jin)为大型模型设计了SOTA的服务技术，改进了張(zhang)量程序的自动分區(qu)，而且还重新设计了库的API，以确保所有这些发展能够被(bei)廣(guang)大用户所接(jie)受(shou)。

其(qi)中最大的改进之一，便(bian)是用于評(ping)估(gu)大规模矩(ju)陣(zhen)乘(cheng)法运算的CollectiveEinsum策(ce)略(lve)，这是神经网络的核心。

论文地址：https://dl.acm.org/doi/abs/10.1145/3567955.3567959

與(yu)之前流行的SPMD分区策略不同，CollectiveEinsum会将通信(xin)与设备本地计算分开，并通过快(kuai)速(su)的TPU ICI鏈(lian)接进行疊(die)加，进而使性能提高(gao)了1.38倍(bei)。

同时，CollectiveEinsum算法也是谷歌擴(kuo)展Transformer推理工作的一个关鍵(jian)组成部分。比如，在吞(tun)吐(tu)量優(you)化的配(pei)置中達(da)到SOTA模型76%的FLOPs利用率(lv)（MFU）。

此外，谷歌还将SPMD風(feng)格(ge)的分区概念(nian)整合进了TensorFlow（通过DTensor扩展）和JAX（通过重新设计的数组类型）。

在这兩(liang)个库中，那(na)些程序员看(kan)来是完(wan)整的张量，可以通过附(fu)加聲(sheng)明(ming)性的布局(ju)註(zhu)释，在一些设备上透(tou)明地进行分片(pian)。

事(shi)实上，这两种方法不仅和为单设备计算编寫(xie)的现有代码兼(jian)容，并且还可以扩展到多设备程序中，而不需要修(xiu)改任何代码！

论文地址：https://arxiv.org/abs/2105.04663

然(ran)而，GSPMD在很大程度上依(yi)賴(lai)于啟(qi)发式方法，也就是有时仍(reng)然需要手动做出決(jue)定(ding)，而这通常会让性能無(wu)法达到最优。

为了使分区推理完全(quan)自动化，谷歌开发了Alpa——一个它探索了运算器级（模型）并行和較(jiao)大子(zi)计算之間(jian)管(guan)线并行策略的自动化系统。

Alpa不仅实现了在Transformer等主流模型上与「人工微調(tiao)」相媲(pi)美(mei)的性能，同时也能够扩展到其他(ta)模型之中，如卷(juan)積(ji)网络和專(zhuan)家(jia)混(hun)合模型（MOE）。

与之类似(si)，谷歌最近(jin)提出的Pathways系统，在TPU运行时间之上增加了一个額(e)外的虛(xu)擬(ni)化层——加速器由長(chang)期(qi)存(cun)在的进程管理，而不是直接分配給(gei)用户。

然后，单个终端用户可以連(lian)接到任意(yi)数量的Pathways控制(zhi)的设备，并编写他们的程序。就像所有的设备都(dou)直接连接到他们的进程一樣(yang)，即(ji)使现实中的情(qing)況(kuang)是跨(kua)越多个数据中心的。

论文地址：https://arxiv.org/abs/2203.12533

由于Pathways：（1）作業(ye)启动时间减少，（2）更容易实现容錯(cuo)，以及（3）使多租(zu)户成为一个可行的選(xuan)擇(ze)，从而让多个作业可以同时执行，更有效地利用硬件。

更重要的是，Pathways能够轻松(song)实现跨越多个TPU pods的计算，而这可以有效避(bi)免(mian)未(wei)来的扩展瓶(ping)頸(jing)。

左(zuo)上：用有向无環(huan)图表征(zheng)的分布式计算；右(you)上：资源管理器为每(mei)个编译的函(han)数（如A、B和C）分配虚拟的加速器网格片；下：集中的调度器对计算进行分组调度，然后由每个分片的执行器进行调度

此外，还有一个全新的用于多維(wei)阵列(lie)存儲(chu)的库——TensorStore。

TensorStore在训练具(ju)有多控制器运行时间的大型语言模型（LLM）时非(fei)常实用，其中每个进程只(zhi)用管理參(can)数的一个子集，而所有的参数則(ze)需要被整理成一个一致(zhi)的檢(jian)查(zha)点。

TensorStore为高效和并发的多维数组序列化提供(gong)了数据库级的保证（ACID），并已(yi)成功用于计算密集型工作负載(zai)，如PaLM和人类皮(pi)层和果蠅(ying)大腦(nao)的重建。

一个蒼(cang)蝇大脑的重建，其基础数据可以使用TensorStore轻松訪(fang)問(wen)和操(cao)作

硬件加速器和机器学习

用于ML的硬件设计

使用定制的硬件（如TPU和GPU），在性能提升(sheng)和能源效率上会有巨(ju)大的优勢(shi)，还能减少碳(tan)足(zu)跡(ji)。

在最近的MLPerf競(jing)賽(sai)中，谷歌在TPU v4上的五(wu)项基准測(ce)試(shi)中創(chuang)造了新的性能記(ji)錄(lu)，实现了比第二名(ming)平(ping)均(jun)高1.42倍的速度。

不过，为了跟(gen)上最近的进展，谷歌也在为特定的流行模型开发定制的硬件架构。

在已公(gong)布的五个基准测试（MLPerf 2.0）中，谷歌的TPU都比竞品(pin)（NVIDIA on-premises）速度更快。（條(tiao)形图內(nei)的数字代表使用的芯(xin)片/加速器的数量）

然而，构建新的硬件加速器会產(chan)生很高的初(chu)始(shi)成本，并且需要大量的开发和部署时间。

为了使单工作负载加速器（single-workload accelerators）可行，必(bi)須(xu)减少设计周(zhou)期时间。

全栈加速器搜索技术

而全栈搜索技术（FAST）通过引(yin)入(ru)一个硬件加速器搜索框(kuang)架，就解决了这个问題(ti)。

这个框架同时优化了数据路(lu)徑(jing)、调度和重要的编译器决策。

FAST引入了一个近似的模板(ban)，能够描(miao)述不同类型的架构和多功能的内存层次(ci)，从而使加速器的单位热设计功率（与单位总成本的性能高度相关）的单工作负载性能比TPU v3提高3.7倍。

这表明，单工作负载加速器对于中等规模的数据中心部署是实用的。

用于硬件设计的机器学习

为了盡(jin)可能地实现芯片设计过程的自动化，谷歌在硬件设计的各(ge)个階(jie)段(duan)，都在推动机器学习的功能，包(bao)括(kuo)高级架构探索、验证以及布局和布线。

方法和训练方案(an)概述

谷歌最近开源了一个名为Circuit Training的分布式RL基础设施，以及一个電(dian)路环境(jing)，后者(zhe)谷歌在发于Nature的论文中详細(xi)做了介(jie)紹(shao)。

论文地址：https://www.nature.com/articles/s41586-021-03544-w

谷歌在生产中使用了这个基础设施，为最新一代的TPU芯片生成了宏(hong)觀(guan)布局。

在解决架构探索问题时，PRIME引入了一种基于ML的方法来搜索硬件设计空(kong)间，只利用现有的数据（比如来自傳(chuan)统加速器设计工作的数据），而不需要进一步(bu)的硬件模拟。

这种方法减轻了运行耗(hao)时的模拟的需要，即使在目(mu)標(biao)應(ying)用程序集发生变化时。

PRIME比最先(xian)进的模拟驅(qu)动方法提高了約(yue)1.2-1.5倍的性能，同时减少了93%-99%的模拟时间。

AutoApprox通过将每个神经网络层映(ying)射(she)到適(shi)當(dang)的近似级別(bie)，自动生成近似的低功耗深(shen)度学习加速器，而沒(mei)有任何精(jing)度損(sun)失(shi)。

PRIME使用记录的加速器数据（包括可行的和不可行的加速器）来训练模型，其设计的加速器的延(yan)遲(chi)小了1.5倍，同时减少了99%的硬件模拟时间

依赖于硬件的模型设计

雖(sui)然神经架构搜索（NAS）在SOTA模型的发现方面展示出了巨大的能力，但(dan)它仍然受到缺(que)乏(fa)硬件知(zhi)識(shi)的限(xian)制。

而基于平臺(tai)感(gan)知（Platform-aware）的NAS，则可以通过将硬件结构的知识納(na)入NAS搜索空间的设计中，来解决这一问题。

由此产生的EfficientNet-X模型在TPU v3和GPU v100上的速度分别是EfficientNet的1.5倍-2倍，而精度卻(que)相差(cha)无几。

目前，平台感知的NAS和EfficientNet-X都已在生产中部署。实踐(jian)证明，对于各种生产型视觉模型来說(shuo)，都有明顯(xian)的精度提升和高达40%的效率提升。

论文地址：https://arxiv.org/abs/2102.05610

NaaS通过共(gong)同搜索神经网络架构和硬件架构，更进一步。

测试结果显示，NaaS可以在Edge TPU上发现同等精度但能效提高了2倍的视觉模型。

在TPU/GPU上的平台感知NAS概述

用于大规模生产系统的机器学习

在生产中运行的各种大规模系统上，谷歌也利用机器学习实现了效率的提升。

比如，最近发布的第一个在LLVM基础设施中系统地整合ML技术的工业级通用框架——MLGO，可以用RL策略取代LLVM中的启发式方法来做出优化决策。

测试发现，在优化内聯(lian)决策时，经过训练的策略可以减少3%-7%的二进制大小，而在优化寄(ji)存器分配决策时，可以提高0.3%~1.5%的吞吐量。

论文地址：https://arxiv.org/abs/2101.04808

在生产型ML编译器中，几年前发布的学习成本模型XLA，也被用于指(zhi)导頂(ding)级ML工作负载的TPU内核的最佳(jia)瓦(wa)片大小的选择，进而在数据中心上節(jie)省(sheng)了2%的TPU总计算时间。

论文地址：https://arxiv.org/abs/2008.01040

此外，谷歌还用新的混合算法取代了YouTube緩(huan)存替(ti)换算法中现有的启发式算法，該(gai)算法结合了简单的启发式算法和学习模型，在峰(feng)值(zhi)时将byte miss提高了9%。

总结一下

谷歌表示，随着机器学习领域的发展，自己将在开发高性能、高能效和易于使用的系统和基础设施上持续投入，进而实现对新想(xiang)法的快速探索。

同时，谷歌也会继续探索机器学习的能力、提高复杂系统的性能，并使系统设计中的勞(lao)动密集型任务自动化。

参考(kao)资料(liao)：

https://ai.googleblog.com/2023/02/google-research-2022-beyond-ml-computer.html#Theme1返(fan)回搜狐(hu)，查看更多

责任编辑：