公司环保广告，从爱地球开始！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>ChatGPT背(bei)後(hou)大(da)模(mo)型(xing)如(ru)何(he)高(gao)效(xiao)訓(xun)練(lian)？京(jing)東(dong)探(tan)索(suo)研(yan)究(jiu)院(yuan)、悉(xi)大、中(zhong)科(ke)大60頁(ye)論(lun)文(wen)詳(xiang)述(shu)五(wu)大類(lei)训练方(fang)法(fa)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

來(lai)源(yuan)：專(zhuan)知(zhi)

【新智元導(dao)讀(du)】這(zhe)篇(pian)《大規(gui)模深(shen)度(du)學(xue)習(xi)模型高效训练研究》綜(zong)述對(dui)训练加(jia)速(su)的(de)壹(yi)般(ban)技(ji)術(shu)進(jin)行(xing)了(le)详細(xi)的回(hui)顧(gu)。通(tong)用(yong)加速技术發(fa)展(zhan)的未(wei)来工(gong)作(zuo)进行了分(fen)析(xi)和(he)討(tao)论，啟(qi)发研究人(ren)員(yuan)重(zhong)新思(si)考(kao)和設(she)計(ji)新的範(fan)式(shi)。

近(jin)年(nian)来，深度学习領(ling)域(yu)取(qu)得(de)了重大进展，特(te)別(bie)是(shi)在(zai)计算(suan)機(ji)視(shi)覺(jiao)(CV)、自(zi)然(ran)語(yu)言(yan)處(chu)理(li)(NLP)和语音(yin)等(deng)领域。

在大量(liang)數(shu)據(ju)上(shang)训练的大规模模型的使(shi)用在實(shi)際(ji)應(ying)用、提(ti)高工業(ye)生(sheng)產(chan)力(li)和促(cu)进社(she)會(hui)发展方面(mian)具(ju)有(you)巨(ju)大的前(qian)景(jing)。然而(er)，它(ta)的训练過(guo)程(cheng)極(ji)不(bu)穩(wen)定(ding)，对计算資(zi)源的要(yao)求(qiu)非(fei)常(chang)嚴(yan)格(ge)。

隨(sui)著(zhu)(zhe)计算能(neng)力適(shi)应性(xing)需(xu)求的不斷(duan)提高，大量研究在一定程度上探索了高效训练领域，但(dan)对通用的大规模深度学习模型训练加速技术的總(zong)結(jie)和指(zhi)导仍(reng)有待(dai)深入(ru)研究。

论文地(di)址(zhi)：https://arxiv.org/abs/2304.03589

本(ben)文对训练加速的一般技术进行了详细的回顾。考慮(lv)基(ji)本更(geng)新公(gong)式，並(bing)將(jiang)其(qi)基本組(zu)成(cheng)部(bu)分分為(wei)5個(ge)主(zhu)要角(jiao)度：

（1）「以(yi)数据为中心(xin)」，包(bao)括(kuo)数据集(ji)正(zheng)則(ze)化(hua)、数据采(cai)樣(yang)和以数据为中心的課(ke)程学习技术，可(ke)以顯(xian)著降(jiang)低(di)数据样本的计算復(fu)雜(za)度;

（2）「以模型为中心」，包括加速基本模塊(kuai)、壓(ya)縮(suo)训练、模型初(chu)始(shi)化和以模型为中心的课程学习技术，側(ce)重於(yu)通过減(jian)少(shao)參(can)数计算和提供(gong)更好(hao)的初始化来加速训练;

（3）「以優(you)化为中心」，包括学习率(lv)的選(xuan)擇(ze)、大批(pi)量的使用、高效目(mu)標(biao)的设计和模型平(ping)均(jun)技术，註(zhu)重训练策(ce)略(lve)和提高大规模模型的通用性;

（4）「預(yu)算训练」，包括在资源受(shou)限(xian)情(qing)況(kuang)下(xia)的一些(xie)獨(du)特加速方法，例(li)如对总叠(die)代(dai)次(ci)数的限制(zhi);

（5）「以系(xi)統(tong)为中心」，包括一些高效的分布(bu)式框(kuang)架(jia)和開(kai)源庫(ku)，它們(men)为上述加速算法的实現(xian)提供了足(zu)夠(gou)的硬(ying)件(jian)支(zhi)持(chi)。通过提出(chu)这種(zhong)全(quan)面的分类法，本文综述了一个全面的回顾，以了解(jie)每(mei)个组件內(nei)的一般机制及(ji)其聯(lian)合(he)交(jiao)互(hu)。

同(tong)時(shi)，对通用加速技术发展的未来工作进行了详细的分析和讨论，这些工作可以启发我(wo)们重新思考和设计新的高效范式。总之(zhi)，我们希(xi)望(wang)这項(xiang)综述将成为普(pu)遍(bian)有效训练的寶(bao)貴(gui)指南(nan)。

随着人工智能技术的快(kuai)速发展，深度模型的参数以百(bai)萬(wan)級(ji)甚(shen)至(zhi)数十(shi)億(yi)级的速度迅(xun)猛(meng)增(zeng)長(chang)。Kaplan等人[110]将模型大小(xiao)、数据集大小和用于训练的计算量之間(jian)的關(guan)系研究为冪(mi)律(lv)，并表(biao)明(ming)更大的模型本質(zhi)上需要大量的数据，在学习上的样本效率明显更高。

大型模型的部署(shu)也(ye)成为最(zui)重要的研究领域之一。例如，Dehghani等人[44]提出了ViT-22B，該(gai)模型展示(shi)了计算机视觉(CV)社區(qu)中「类LLM(大型语言模型)」擴(kuo)展的潛(qian)力。GPT-1[196]提出了有監(jian)督(du)微(wei)調(tiao)以0.1B参数驅(qu)動(dong)语言模型。而兩(liang)年后，GPT-3[18]在45TB数据样本上训练了175B参数，并在各(ge)种自然语言处理任(ren)務(wu)上成功(gong)取得了最先(xian)进的结果(guo)。Turing-NLG采用了大約(yue)172亿个参数的生成语言模型，只(zhi)需一年时间就(jiu)可以快速迭代到(dao)具有530B参数的规模較(jiao)大的模型MT-NLG[229]，这在幾(ji)个任务中遠(yuan)远领先于GPT-3。

盡(jin)管(guan)從(cong)这种快速增长中獲(huo)得的收(shou)益(yi)令(ling)人震(zhen)驚(jing)，但为了保(bao)持实际效率，人们迫(po)切(qie)期(qi)待在探索新技术和训练方面取得实质性进展。就目前而言，训练如此(ci)龐(pang)大的模型的巨大而昂(ang)贵的成本通常是不可接(jie)受的。具體(ti)来說(shuo)，训练GPT-3消(xiao)耗(hao)大约355 GPU年，成本为460万美(mei)元。在如此庞大的参数和数据样本下，傳(chuan)统的从零(ling)开始训练显然無(wu)法承(cheng)受巨大的費(fei)用，特别是在扩展到下遊(you)任务[30,138,187,188,211,243]时，这将引(yin)入額(e)外(wai)的架構(gou)和过多(duo)的参数。因(yin)此，预训练-微调模式在深度学习领域日(ri)益受到关注。

预训练的主題(ti)是繼(ji)承遷(qian)移(yi)学习的范式，在一个通用的数据集上训练一个通用的基礎(chu)模型，以获得一个出色(se)的特征(zheng)提取器(qi)(从优化的角度来看(kan)也是一个良(liang)好的初始狀(zhuang)態(tai))，幫(bang)助(zhu)在另(ling)一个特定的任务上实现和稳定训练过程。許(xu)多研究领域都(dou)受益于预训练方法。

通过应用恢(hui)复的随机掩(yan)碼(ma)圖(tu)像(xiang)，有助于训练CV社区中的大型Transformer模型。掩码自編(bian)码器(MAE)[83]开发了一种非对稱(cheng)编码器-解码器架构来耦(ou)合自监督重建(jian)和后端(duan)训练，为下游任务产生了有希望的迁移性能。同样，来自图像transformer (BEiT)的雙(shuang)向(xiang)编码器表示[7]遵(zun)循(xun)BERT[48]，通过从分块掩码图像生成的视觉标記(ji)来重建图像。

在NLP社区，Radford等人[196]提出了生成式预训练(GPT)，通过在无标簽(qian)文本的不同语料(liao)库上采用生成式预训练来实现巨大的收益。为了进一步(bu)提高其效率，GPT-2[197]大大提高了模型作为具有廣(guang)泛(fan)语義(yi)知識(shi)的詞(ci)向量提取器的能力。GPT-3[18]通过双循環(huan)策略进行上下文学习，在预训练中可以显著增強(qiang)对知识的理解，在实际場(chang)景中可以提高流(liu)动性和通用性。Hendrycks等[88]研究表明，使用预训练可以提高模型的魯(lu)棒(bang)性和不確(que)定性，对于在大型数据集上进行训练表现出极大的优勢(shi)，泛化能力较好。

最新的进展表明，从具有巨大容(rong)量的预训练模型中获得了实质性的收获，特别是在任务不可知和少样本的场景中。它還(hai)提出了一个有希望的未来发展方向，即(ji)在大规模数据集上预训练的具有大量参数的大规模模型能够超(chao)越(yue)其他(ta)监督训练的性能。这一令人振(zhen)奮(fen)的进展有效地降低了深度学习对真(zhen)实值(zhi)的依(yi)賴(lai)，极大地启发了大数据的应用。同时，它对计算和训练效率也提出了更加严格的要求。昂贵的成本，包括时间和金(jin)錢(qian)，严重阻(zu)礙(ai)了它的发展。在此背景下，本文介(jie)紹(shao)和总结了在大规模模型上加速训练的通用和实用技术，这些技术促进了更快的训练，也可能有助于预训练中庞大的基础模型。

近年来，高效地训练大规模深度学习模型已(yi)成为机器学习领域的一个重要研究方向。雖(sui)然该领域已經(jing)取得了重大进展，但现有的研究大多集中在特定的模型架构或(huo)服(fu)务于特定的社区。相(xiang)比(bi)之下，本研究对任何大规模深度学习模型的实用加速技术进行了全面的回顾，这些技术独立(li)于任务或模型架构。从实踐(jian)效率的角度来看，我们認(ren)为高效的训练主要圍(wei)繞(rao)两个明确的目标:

为了達(da)到相當(dang)的測(ce)試(shi)精(jing)度，高效的训练需要更少的训练时间。

在相似(si)的训练成本下，高效的训练可以实现更高的性能。

本综述为深度学习模型的一般训练加速提供了有見(jian)地的指导。分析了训练加速技术在支撐(cheng)许多现代深度学习模型的各种基本骨(gu)幹(gan)架构上的功效。通过研究深度網(wang)絡(luo)的不同架构，可以帮助实现任何类型的深度学习模型的高效训练。此外，由(you)于我们的调研是无任务和无模型的，因此提供了训练加速技术的广泛泛化，可以应用于不同的领域和模型架构。

通过理解有效训练加速技术背后的一般原(yuan)理，研究人员可以开发更快、更有效的模型，而不受特定架构或任务的限制。本研究对大规模深度学习模型的通用训练加速技术进行了全面的综述，为机器学习领域做(zuo)出了重大貢(gong)獻(xian)。

本文对解決(jue)一般的基本最小化問(wen)题很(hen)感(gan)興(xing)趣(qu)，可以很容易(yi)地扩展到训练基础模型或预训练任务:

與(yu)之前的工作不同，本文解构了通用的基于梯(ti)度的下降公式作为本文的架构。考虑了公式(3)中的所(suo)有组件，这些组件可以覆(fu)蓋(gai)深度学习中的整(zheng)个训练过程。通过将它们吸(xi)收到f中，省(sheng)略了额外的近端项。在不損(sun)失(shi)通用性的情况下，使用更新向量G而不是梯度来包含(han)广泛的方法。我们认为基本更新公式如下：

在表1中，我们总结了这些符(fu)號(hao)及其对应的研究领域。基于式(3)，通过提煉(lian)和拆(chai)分组件的不同角色，将前人工作按(an)照(zhao)其固(gu)有的启发式见解和理论场景劃(hua)分为5大类。每一类对应分类后的分组下计算效率的优化目标。对上述组件进行细粒(li)度分析，以对当前用于训练大规模模型的通用加速技术进行分类，并结合实际实现的可行性。具体来说，它们是：

- 以数据为中心的有效训练。

在深度学习中，全局(ju)期望与训练样本分布之间经常存(cun)在差(cha)距(ju)。这可以导致(zhi)在训练的中期和后期階(jie)段(duan)的测试準(zhun)确性的提高，尽管在早(zao)期阶段表现有效。为了解决这个问题并提高泛化性能，以数据为中心的方法通过有效的数据增强和正则化策略来扩展训练集的样本容量。它需要额外的预处理计算来增强多样性并保持更高的稳定性，从而在实际应用中具有更好的泛化性能。同时，为了实现有效加速并进一步提高模型的通用性，以数据为中心的方法研究了随机优化过程中有效的采样技术以选择关鍵(jian)子(zi)集。它有效地减少了计算梯度所需的样本数量。此外，它还可以防(fang)止(zhi)模型在训练那(na)些不重要的样本或学习足够好的数据时过度擬(ni)合。最近的研究表明，课程学习是一个循序(xu)漸(jian)进的过程，可以产生有效的训练。在训练初期使用正则化程度较低的低分辨(bian)率样本，逐(zhu)步恢复到高质量的样本。总之，以数据为中心的方法的核(he)心考虑是如何在不影(ying)響(xiang)性能的情况下减少数据处理需求。

- 以模型为中心的高效训练。

深度模型是一个从数据域到真实值的精细映(ying)射(she)函(han)数。过去(qu)的工作探索了许多成熟(shu)的架构来构建一个高效训练的网络，例如基于卷(juan)積(ji)的神(shen)经网络(CNN)，多層(ceng)感知器(MLP)和transformer模型。以模型为中心的方法通过高效的架构近似、压缩和高效的初始化，更多地关注DNNs的计算复杂性，以获得更好的通用性。这些方法侧重于在保持良好性能的同时减小DNN的参数规模。具体来说，架构近似侧重于采用簡(jian)化的算子组合，以减少训练中的计算成本。它期待着探索用于一般加速的基本模块的表达性替(ti)代方案(an)。压缩关系到低精度计算和稀(xi)疏(shu)训练的效率，也需要在硬件实现上得到充(chong)分支持。模型初始化注重尋(xun)找(zhao)稳定性和通用性较好的初始状态，可以有效地加快收斂(lian)速度，防止训练过程在早期崩(beng)潰(kui)。总之，以模型为中心的方法为降低深度模型的计算复杂度以进行高效训练提供了一种有希望的方法，它具有很强的实用性，可以很容易地在任何深度学习框架中实现。

- 以优化为中心的高效训练。

为提高优化效率，总结了三(san)个主要因素(su)，即学习率、批量大小和优化目标。不同阶段学习率和衰(shuai)减策略的合理选择是深度网络训练的关键问题。然而，要找到一种适用于不同模型和优化器的通用方法是具有挑(tiao)戰(zhan)性的。因此，以学习率为中心的方法旨(zhi)在开发高效和靈(ling)活(huo)的策略，以高效和稳定地训练模型。第(di)二(er)个因素，批量大小，在优化中也起(qi)着关键作用。借(jie)助GPU设備(bei)的并行计算能力，特别是在计算资源充足的情况下，通过增加單(dan)个minibatch中的样本数量可以提高训练效率。因此，以批大小为中心的方法通常专注于采用大的小批量训练以提高优化速度。从优化的角度来看，我们总是努(nu)力实现一个具有高稳定性的目标，这是以目标为中心的方法的主要关注點(dian)。这些方法专注于优化目标，提供关于数据分布和模型架构具有鲁棒性的泛化。综上所述，以优化为中心的方法研究了训练过程中的高效迭代计算，为高效训练提供了堅(jian)实的保證(zheng)。

- 有预算的高效训练。

预算训练是在实际训练期间考虑到可用资源的一种方法。它主要关注资源受限场景下的训练效率，在这些场景中，计算资源(如训练时间或计算量)是有限的。预算训练的主要目标是确保高效和稳定的训练，同时在給(gei)定的约束(shu)條(tiao)件下最大化模型的潜力。这种方法可以在训练的早期阶段帶(dai)来显著的收获。通过采用预算训练，研究人员和从业人员可以充分利(li)用可用资源，避(bi)免(mian)将其浪(lang)费在低效的模型或训练程序上。这种方法还可以促进模型的开发，这些模型更实用，更适合于资源通常有限的现实世(shi)界(jie)应用程序。

- 以系统为中心的高效训练。

以系统为中心的方法侧重于在硬件支持下的实际实现，能够将算法设计轉(zhuan)化为真正的可執(zhi)行项目。大规模模型训练通常采用多節(jie)点多设备环境(jing)实现并行计算。它主要关注设计底(di)层邏(luo)輯(ji)，以解决跨(kua)设备通信(xin)中的瓶(ping)頸(jing)，并有效地協(xie)调整个训练过程。已经开发了几个开源框架来显著加速深度网络的训练。为了有效利用分布式训练，训练过程被(bei)分布为更小的计算任务，在不同的节点或设备上并行执行。这些节点相互通信以交換(huan)梯度更新并同步整个训练过程。这种分布式系统能够训练无法在单臺(tai)机器上执行的大型数据集和复杂模型。已经开发了几个开源的分布式训练框架，如TensorFlow, PyTorch和Horovod。这些框架实现了在多节点多设备集群(qun)上进行高效的分布式训练，并显著减少了大规模深度学习模型的训练时间。

总而言之，本文综述了有效训练的一般训练加速。在「以数据为中心」、「以模型为中心」、「以优化为中心」和「预算训练」部分，我们主要从算法设计和方法论的角度进行综合研究；在「以系统为中心」部分，我们主要从范式創(chuang)新和硬件支持的角度进行实际实施(shi)。本调查(zha)的主要贡献如下：

- 从「数据」、「模型」、「优化」、「预算训练」和「系统」的角度回顾了训练大规模模型的一般加速技术，总结了它们的技术路(lu)線(xian)和每个组件的实现，有助于为无任务和无模型的高效训练提供坚实的指导。

- 比较了训练加速中每个组件的优缺(que)点，展示了它们的见解和互动，可以启发我们重新思考训练大规模深度学习模型的高效范式的设计。

- 对每条技术路线及其在实际场景中的主要挑战进行了全面的分析，这可以为它们未来的发展提供指导。

本综述的主要结构组織(zhi)如下。在第2节中，介绍了一些初步工作，包括不同骨干中的基本模块，以及对大规模深度学习模型、数据集的预训练，以及本综述中采用的详细符号。在第3 ~ 6节中，基于迭代公式(3)，从「数据为中心」、「模型为中心」、「优化为中心」、「预算训练」和「系统为中心」的角度详细介绍了它们不同的训练加速技术路线。还分析和評(ping)估(gu)了每种实现的优缺点。这种新的分类方法可以为现有的有效训练方法提供一个清(qing)晰(xi)和全面的指导。在第8节中，我们讨论和总结了本综述中的技术，并提出了一些有前途(tu)的研究方向。

参考资料：

https://arxiv.org/abs/2304.03589返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：