广播电台必备！酒类广告语大揭秘

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>ChatGPT要(yao)怎(zen)麽(me)微(wei)調(tiao)？MIT韓(han)松(song)團(tuan)隊(dui)新(xin)作(zuo)告(gao)訴(su)妳(ni)！

新智(zhi)元(yuan)報(bao)道(dao)

來(lai)源(yuan)：CVHub

作者(zhe)：派(pai)派星(xing)

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】眾(zhong)所(suo)周(zhou)知(zhi)，遷(qian)移(yi)學(xue)習(xi)對(dui)於(yu)基(ji)礎(chu)模(mo)型(xing)適(shi)應(ying)下(xia)遊(you)任(ren)務(wu)很(hen)重(zhong)要。然(ran)而(er)，对于許(xu)多(duo)的(de)私(si)有(you)基础模型，數(shu)據(ju)所有者必(bi)須(xu)與(yu)模型所有者分(fen)享(xiang)他(ta)們(men)的数据以(yi)微调模型，這(zhe)是(shi)非(fei)常(chang)昂(ang)貴(gui)的，並(bing)容(rong)易(yi)引(yin)起(qi)隱(yin)私問(wen)題(ti)（雙(shuang)向(xiang)的，壹(yi)個(ge)怕(pa)泄(xie)露(lu)模型，一个怕泄露数据）。此(ci)外(wai)，对大(da)型基础模型進(jin)行(xing)微调是一項(xiang)計(ji)算(suan)密(mi)集(ji)型的任务，这对于大多数下游用(yong)戶(hu)来說(shuo)是不(bu)現(xian)實(shi)的。

本(ben)文(wen)中(zhong)， 韩松团队提(ti)出(chu)了(le) 一个能(neng)夠(gou)保(bao)護(hu)隐私且(qie)高(gao)效(xiao)的迁移学习框(kuang)架(jia)——Offsite-Tuning，可(ke)以將(jiang)数十(shi)億(yi)級(ji)參(can)数的基础模型迁移到(dao)下游数据，而無(wu)需(xu)訪(fang)问完(wan)整(zheng)模型。

Paper: https://arxiv.org/pdf/2302.04870v1.pdf

Code: https://github.com/mit-han-lab/offsite-tuning

在(zai) Offsite-Tuning 中，模型所有者将輕(qing)量(liang)级适配(pei)器(qi)和(he)有損(sun)壓(ya)縮(suo)仿(fang)真(zhen)器發(fa)送(song)給(gei)数据所有者，数据所有者在仿真器的協(xie)助(zhu)下对适配器进行下游数据的微调。隨(sui)後(hou)，經(jing)過(guo)微调的适配器返(fan)回(hui)给模型所有者，模型所有者将其(qi)插(cha)入(ru)（plug-in）完整模型以得(de)到迁移的模型。

Offsite-Tuning 保护了双方(fang)的隐私，并且比(bi)现有的需要访问完整模型權(quan)重的微调方法(fa)更(geng)具(ju)计算效率(lv)。論(lun)文在各(ge)種(zhong)大型語(yu)言(yan)和視(shi)覺(jiao)基础模型上(shang)證(zheng)明(ming)了 Offsite-Tuning的有效性(xing)。 Offsite-Tuning 可以達(da)到与基于全(quan)模型 Fine-Tuning 相(xiang)當(dang)的精(jing)度(du)，同(tong)時(shi)又(you)能保护隐私和效率，并实现了 6.5 倍(bei)的速(su)度提升(sheng)和 5.6 倍的內(nei)存(cun)減(jian)少(shao)。

研(yan)究(jiu)背(bei)景(jing)

Comparing existing fine-tuning approa ches

由(you)于下述(shu)兩(liang)个原(yuan)因(yin)，為(wei)下游任务调優(you)基础模型是困難(nan)的，如(ru)上圖(tu)所示(shi)。

首(shou)先(xian)， 訓(xun)練(lian)大型基础模型通(tong)常需要大量的计算和数据，從(cong)而导致(zhi)較(jiao)高的训练成(cheng)本 （例(li)如，训练GPT-3預(yu)计需要超(chao)过400萬(wan)美(mei)元，训练Chat-GPT更是超过了1200万美元）。因此， 训练后的参数通常是專(zhuan)有的，而是不公(gong)開(kai)的 。 这意(yi)味(wei)著(zhu)(zhe)下游用户必须与模型所有者共(gong)享他们的帶(dai)有標(biao)簽(qian)的数据来对模型进行微调 （OpenAI Fine-tuning API [1] ）。这可能會(hui) 代(dai)價(jia)高昂，并引发隐私问题，使(shi)有价值(zhi)的带标签数据處(chu)于風(feng)險(xian)之(zhi)中。 其次(ci)， 即(ji)使下游用户可以拿(na)到预先训练的权值，在本地(di)執(zhi)行微调也(ye)相当昂贵，也很困难 。基础模型通常有大量的参数。例如，GPT-3模型有1750亿个参数，需要350GB的GPU内存来存儲(chu)参数和执行推(tui)理(li)，更不用说训练了。苛(ke)刻(ke)的硬(ying)件(jian)需求(qiu)使得大多数終(zhong)端(duan)用户不可能执行迁移学习。

因此， 亟(ji)需一个保护隐私和更高效的框架来微调基础模型。

貢(gong)獻(xian)

为了解(jie)決(jue)上述挑(tiao)戰(zhan)， 论文提出了Offsite-Tuning（場(chang)外微调），这是一种保护隐私和高效的迁移学习框架，該(gai)框架可以使基础模型迁移到下游任务，而无需访问完整的模型权重。如上图所示，Offsite-Tuning的流(liu)程(cheng)如下：

模型所有者向数据所有者发送一个 适配器（adapter） 和 一个仿真器（emulator） 数据所有者在仿真器的幫(bang)助下，利(li)用下游数据在 适配器 上进行微调 数据所有者 将微调后的适配器返回给模型所有者，模型所有者将其插入（plug-in）到整个模型中 ，从而为下游用户創(chuang)建(jian)一个经过适应的基础模型。

其中， 适配器用于使用少量参数对任务特(te)定(ding)的知識(shi)进行编碼(ma)，而压缩仿真器模擬(ni)完整模型的其余(yu)部(bu)分的行为，并为微调适配器提供(gong)近(jin)似(si)的梯(ti)度。

因此，Offsite-Tuning 有幾(ji)大贡献：

Offsite-Tuning 保留(liu)了数据所有者的隐私 ，因为他们不需要直(zhi)接(jie)共享他们的業(ye)务数据。 Offsite-Tuning 保护了基础模型所有者的模型版(ban)权 ，因为完整的模型权重不共享，并且数据所有者训练的仿真器是有损的，性能高度下降(jiang)。 Offsite-Tuning也 比需要访问完整模型权重的现有微调方法更節(jie)省(sheng)資(zi)源 ，因为通过使用压缩仿真器对完整模型进行微调而不需要完整的模型。

论文在一系(xi)列(lie)语言和视觉基础模型上評(ping)估(gu)了Offsite-Tuning的性能，包(bao)括(kuo)GPT-2、OPT、BLOOM、CLIP和EVA。結(jie)果(guo)表(biao)明：

Offsite-Tuning 在多个下游任务上可以獲(huo)得与完整模型权重微调相当的结果，同时保护隐私和资源效率 。实现高达6.6×的速度提升和5.6×的内存减少。 Offsite-Tuning 還(hai)可以对以前(qian)在單(dan)个GPU上无法实现的模型进行微调 ，如OPT-6.7B和BLOOM-7.1B。

總(zong)的来说，Offsite-Tuning是一个实用的框架，可以安(an)全有效地将基础模型应用于更廣(guang)泛(fan)的实際(ji)应用中。

问题定義(yi)

Privacy requirements

论文在迁移学习設(she)置(zhi)中考(kao)慮(lv)了双方的隐私性： 数据所有者不能与模型所有者共享其标記(ji)的训练数据，而基础模型所有者不能与数据所有者共享他们的模型。论文需要 找(zhao)到一种方法来对数据所有者的数据进行调优模型，而不需要访问完整的模型权重。

Settings

给定由 参数化(hua)的基础模型 和下游数据集 ，利用下游数据集对模型进行微调，得到 , ， 。为了实现私有和高效的迁移学习，论文希(xi)望(wang) 找到一个替(ti)代模型 （也稱(cheng)为仿真器），它(ta)（明顯(xian)）比 更小(xiao)、更弱(ruo)，这樣(yang)与下游用户共享 就(jiu)不会威(wei)脅(xie)到基础模型的所有权。然后，数据所有者在自(zi)己(ji)的数据集上优化替代模型，生(sheng)成 。 论文希望将训练好的权重 插入（Plug-in）原来的模型（即 ）就可以与直接优化数据集上的 （即 ）一样，实现了類(lei)似的性能，而不需要访问 本身(shen)。

Metrics

为了评估该方法的性能，论文定义了几个度量标準(zhun)。为了不失(shi)一般(ban)性，这裏(li)将使用语言模型来进行定义。

是指(zhi)预先训练的基础模型在 不进行微调时，在直接運(yun)行下游任务的性能 （ ）。

是指在对下游数据集进行微调时的 小替代模型的性能 （ ）

是指 使用来自替代模型的插入式(shi)训练权重的预训练基础模型的性能 （ ）

能是指在下游数据集上直接微调基础模型而不考虑隐私性时的性能 （ ）

Offsite-Tuning的核(he)心(xin)概(gai)念(nian)是，下游用户可以根(gen)据其私有数据进行基础模型微调，而无需直接访问完整模型。 论文通过使用仿真器生成模拟梯度来实现这一點(dian)，可以利用仿真器来近似更新适配器。

为了证明该方法的有效性，论文要求：

Zero-shot performance < Plug-in performance: 表明调优有效地提高了在特定的下游数据集上的性能（否(fou)則(ze)，就不需要进行调优）。

Emulator performance < Plug-in performance: 显示基础模型仍(reng)然在任务中生效（否则，下游用户将很樂(le)意只(zhi)使用微调后的仿真器）。

Plug-in performance ≈ Full fine-tuning performance：这样用户就不会为数据隐私犧(xi)牲(sheng)太(tai)多的性能

方法

Framework Overview

为了达到期(qi)望的性能，论文将基础模型 ，分为两个不同的組(zu)件： 一个小的、可训练的适配器，表示为 ，用于下游任务迁移， 模型其余部分记为 ，其参数要保持(chi)固(gu)定。具體(ti)来说， 可以定义为 和 的concat，这样 。 为了保护基础模型的所有权和提高效率，对参数固定的组件应用有损压缩，得到一个仿真器，表示为 。下游用户得到适配器和仿真器的组合(he)，并能够通过更新进行模型调优。更新后的适配器表示为，将返回给上游基础模型所有者并集成到原始(shi)模型中，以在下游数据集上实现优越(yue)的性能。 需要註(zhu)意的是，由于有损压缩，使用的用户也无法达到可接受(shou)的性能水(shui)平(ping)，即使进行微调。因此，在此过程中，模型所有权的完整性不会受到损害(hai)，而压缩的结果是提高了整体效率。

所以， 確(que)定 、 、 的适当组合是一项重要的任务。直觀(guan)地说， 仿真器 应该与原始参数固定组件 具有相似性，以便(bian)在对下游数据集进行微调时，为更新适配器提供适当的梯度方向。同时， 仿真器不能过于精确，因为这将消(xiao)除(chu)下游用户对基础模型的需求。

接下来，论文将深(shen)入研究 、 、 的设计，并评估不同的设计如何(he)影(ying)響(xiang)上述指标。

Adapter Selection

Transformer架構(gou)已(yi)被(bei)广泛应用于各种基础模型中，如语言和视觉模型。在本討(tao)论中，论文将重点讨论針(zhen)对深度transformer骨(gu)幹(gan)的适配器的设计，它可以很容易地擴(kuo)展(zhan)到其他模型，如卷(juan)積(ji)神(shen)经網(wang)絡(luo)（CNNs）。

论文選(xuan)擇(ze)了基础模型的一个小子(zi)集作为适配器，它可以在各种下游数据集上进行训练。由于只更新了模型的一个子集，因此适配器必须可推广到不同的下游任务。 研究表明，transformer的不同層(ceng)，从淺(qian)层到深层，编码不同层次的特征(zheng)抽(chou)象(xiang)，更新层的选择（适配器的选择）会影响迁移学习性能。为了覆(fu)蓋(gai)广泛的任务， 论文选择在适配器中同时包括浅层和深层，从而形(xing)成了一个三(san)明治(zhi)设计， ? ? （ 浅层，深层作为适配器可训练，中間(jian)作为仿真器压缩固定）。实驗(yan)表明，这种适配器设计可以很好地用于各种下游任务，并且优于只微调最(zui)后几个层（即微调 ? ）的常見(jian)做(zuo)法。

Emulator Compression

仿真器的使用是为了提供粗(cu)糙(cao)的梯度方向来更新适配器，同时保持与原始凍(dong)结组件的相似性。仿真器不能太精确，因为这将揭(jie)示關(guan)于原始模型的信(xin)息(xi)。此外，更小的仿真器大小会为下游用户提供更高效的微调过程。因此，论文的目(mu)标是在这三个需求之间找到一个平衡(heng)。

为了实现这种平衡，论文使用基于layer drop-based的压缩方法。具体来说，论文 均(jun)勻(yun)地从冻结参数的组件 中刪(shan)除一个层的子集，并使用剩(sheng)余的层作为仿真器 。论文发现 在仿真器中包含(han)冻结部分的第(di)一层和最后一层总是有益(yi)的（如上面(mian)的算法图所示）

此外，为了在保持近似精度的同时实现更高的压缩比，在原始组件 的監(jian)督(du)下，论文将知识蒸(zheng)餾(liu)应用到layer-dropped仿真器 上。蒸馏过程采(cai)用均方誤(wu)差(cha)（MSE）作为损失函(han)数，如下式所示：

式中， 是前一层 所產(chan)生的第i个輸(shu)入样本的隐藏(zang)表示，N是训练前数据集中的样本数。 论文发现，适当的蒸馏将有助于压缩模型与直接微调完整模型保持相似的精度。

实验

Results of Language Models

按(an)照(zhao)上文所述，Full ZS表示基础模型未(wei)微调在下游任务的性能，FT表示基础模型进行微调在下游任务的性能，表示模型Emulator ZS是压缩的仿真器的性能，OT Emulator是训练后的仿真器的性能，OT Plug-in是训练后的仿真器插入基础模型的性能。四(si)者的目标关系见上文。

Medium-sized models

论文首先评估参数量小于20亿个的中型语言模型的offsite-tuning，包括GPT-2-XL和OPT-1.3B。具体来说，GPT-2-XL有48层和16亿个参数，而OPT-1.3B有24层。上图是实验结果，可以证明offsite-tuning可以有效地适应中型语言模型（少于20亿个参数），同时保持高水平的性能，因为 plug-in的性能与全模型的微调性能相当，而仿真器的性能明显较低(di)（保证基础模型的所有权）。

Large models

接着，论文评估了具有超过60亿个参数的大型语言模型的offsite-tuning，包括32层的OPT-6.7B和30层的BLOOM-7.1B。由于计算资源有限(xian)，论文无法在这些(xie)模型上执行完整的模型微调或(huo)仿真器蒸馏。因此，论文比较了offsite-tuning的性能和zero-shot的性能，并直接使用layer-drop的方法得到仿真器。从上表可以看(kan)出中，论文发现 plug-in性能明显优于zero-shot性能，而仿真器性能和plug-in性能之间存在明显的差距(ju)。这些发现表明，offsite-tuning可以有效地适应大型语言模型，同时保护模型和数据所有者的隐私。

Results of Vision Models

论文进一步(bu)评估了两种最先进的视觉基础模型的offsite-tuning：CLIP和EVA。这两种模型都(dou)使用了具有10亿个参数的ViT-G骨干。如上表所示，论文发现offsite-tuning在保持高水平性能的同时有效地适应了视觉模型。 plug-in的性能与全模型的微调性能相当，而仿真器的性能僅(jin)仅略(lve)低。这可能是由于在这些数据集上使用大视觉模型和小视觉模型之间的差異(yi)并不显著，因此仿真器的性能并不显著低于插件的性能。作者预计，offsite-tuning将在更具挑战性的视觉任务上产生更重要的结果

消融(rong)实验

Position And Aumber Of Adaptor Layers

适配器层的数量和位(wei)置的消融研究

在具有相同数量的可训练层数的情(qing)況(kuang)下， 对语言模型的頂(ding)层和底(di)层同时进行微调比只微调顶层或底层要有效得多。

compression methods for the emulator

layer-drop方法在两个方面具有优越性：(1)在减少仿真器大小的同时，有效地保持了plug-in性能；(2)在插件性能和仿真器性能之间产生了差距，保护了模型所有者的隐私。

effect of emulator distillation

仿真器的蒸馏提高了offsite-tuning的plug-in性能，同时保持完整的模型隐私。上图分数是WikiText-2上的验证困惑(huo)度perplexities（困惑度越低越好）

Efficiency

微调加(jia)速和峰(feng)值内存节省

offsite-tuning的关鍵(jian)效率优勢(shi)是，它不仅可以减少可训练参数的数量，而且还可以减少在微调过程中需要放(fang)置在设備(bei)上的参数的总数。这将显著提高微调吞(tun)吐(tu)量和减少内存占(zhan)用空(kong)间。为了证明offsite-tuning的有效性，论文进行了实验，并将结果呈(cheng)现在上表中。结果表明，当offsite-tuning与LoRA结合时，论文实现了令(ling)人(ren)印(yin)象深刻的6.5倍的加速和5.6倍的内存使用减少。这使得offsite-tuning成为在资源約(yue)束(shu)设备上微调大型基础模型的一个有吸(xi)引力(li)的解决方案(an)。

总结

论文提出了offsite-tuning，一种可以保护隐私和有效的迁移学习框架，该框架可以使基础模型适应于下游任务，而不需要访问完整的模型参数。offsite-tuning对于数十亿参数的语言和视觉基础模型是有效的。offsite-tuning使用户能够有效地定制(zhi)基础模型，而无需擔(dan)心数据隐私和模型隐私。

注：韩松教(jiao)授(shou)畢(bi)业于清(qing)華(hua)大学電(dian)子系本科(ke)，斯(si)坦(tan)福(fu)大学电子系博(bo)士(shi)，師(shi)从 NVIDIA（英(ying)偉(wei)达）首席(xi)科学家(jia) William J. Dally 教授。现任麻(ma)省理工(gong)学院(yuan)（MIT）电氣(qi)工程和计算機(ji)科学系助理教授，其研究广泛涉(she)足(zu)深度学习和计算机体系结构，专注模型压缩領(ling)域(yu)。

参考资料(liao)：

[1] https://beta.openai.com/docs/guides/fine-tuning返回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：