最有创意的儿童食品广告语

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>訓(xun)練(lian)成(cheng)本(ben)不(bu)到(dao)1000元(yuan)，直(zhi)降(jiang)90%！NUS、清(qing)華(hua)發(fa)布(bu)VPGTrans：輕(qing)松(song)定(ding)制(zhi)類(lei)GPT-4多(duo)模(mo)態(tai)大(da)模型(xing)

新(xin)智(zhi)元報(bao)道(dao)

編(bian)輯(ji)：LRS 好(hao)困(kun)

【新智元導(dao)讀(du)】最(zui)近(jin)的(de)多模态（對(dui)話(hua)）大模型將(jiang)基(ji)於(yu)文(wen)本的ChatGPT的強(qiang)大能(neng)力(li)擴(kuo)展(zhan)到了(le)多模态輸(shu)入(ru)，實(shi)現(xian)强大的多模态語(yu)義(yi)理(li)解(jie)，比(bi)如(ru)GPT-4、BLIP-2、Flamingo等(deng)。但(dan)咱(zan)們(men)普(pu)通(tong)玩(wan)家(jia)训练壹(yi)個(ge)多模态GPT代(dai)價(jia)非(fei)常(chang)昂(ang)貴(gui)。來(lai)自(zi)于新加(jia)坡(po)國(guo)立(li)大學(xue)和(he)清华大学的研(yan)究(jiu)工(gong)作(zuo)提(ti)出(chu)一个VPGTrans框(kuang)架(jia)，幫(bang)助(zhu)小(xiao)夥(huo)伴(ban)们实现極(ji)低(di)成本训练一个高(gao)性(xing)能多模态大模型。

今(jin)年(nian)是(shi)AI技(ji)術(shu)爆(bao)发式(shi)发展的一年，以(yi)ChatGPT為(wei)代表(biao)的大语言(yan)模型（LLM）大火(huo)。

语言模型除(chu)了在(zai)自然(ran)语言領(ling)域(yu)顯(xian)示(shi)出巨(ju)大的潛(qian)力之(zhi)外(wai)，也(ye)開(kai)始(shi)逐(zhu)漸(jian)輻(fu)射(she)到其(qi)他(ta)模态，比如文生(sheng)圖(tu)模型Stable Diffusion的背(bei)後(hou)也需(xu)要(yao)语言模型。

從(cong)頭(tou)开始训练一个視(shi)覺(jiao)-语言模型（VL-LLM）往(wang)往需要消(xiao)耗(hao)大量(liang)的資(zi)源(yuan)，所(suo)以现有(you)的解決(jue)方(fang)案(an)都(dou)是把(ba)语言模型和视觉提示生成模型（Visual Prompt Generator, VPG）連(lian)接(jie)起(qi)来，但即(ji)便(bian)如此(ci)，繼(ji)續(xu)調(tiao)整(zheng)VPG仍(reng)然需要幾(ji)千(qian)个GPU小時(shi)和數(shu)百(bai)萬(wan)的训练数據(ju)。

最近，来自新加坡国立大学和清华大学的研究人(ren)員(yuan)提出了一个解决方案VPGTrans，将现有的VPG遷(qian)移(yi)到现有的VL-LLM模型中(zhong)，就(jiu)能以低成本的方式獲(huo)得(de)目(mu)標(biao)VL-LLM模型。

論(lun)文鏈(lian)接：https://arxiv.org/abs/2305.01278

代碼(ma)链接：https://github.com/VPGTrans/VPGTrans

多模态对话模型Demo：https://vpgtrans.github.io/

作者(zhe)：張(zhang)傲(ao)，費(fei)豪(hao)，姚(yao)遠(yuan)，吉(ji)煒(wei)，黎(li)力，劉(liu)知(zhi)远，Chua Tat-Seng

單(dan)位(wei)：新加坡国立大学，清华大学

文章(zhang)的主(zhu)要創(chuang)新點(dian)包(bao)括(kuo)：

1. 极低训练成本：

通過(guo)我(wo)们提出的VPGTrans方法(fa)，可(ke)以 快(kuai)速(su)（少(shao)于10%训练时間(jian)）将已(yi)有的多模态对话模型的视觉模塊(kuai)迁移到新的语言模型，且(qie)達(da)到类似(si)或(huo)更(geng)優(you)效(xiao)果(guo)。

比如，相(xiang)比于从头训练视觉模块，我们可以将BLIP-2 FlanT5-XXL的训练开銷(xiao) 从19000+人民(min)幣(bi)縮(suo)減(jian)到不到1000元：

图1：基于我们的VPGTrans方法的BLIP-2训练开销缩减对比

2. 多模态大模型定制：

通过我们的VPGTrans框架可以根(gen)据需求(qiu)为各(ge)種(zhong)新的大语言模型靈(ling)活(huo)添(tian)加视觉模块。比如我们在LLaMA-7B和Vicuna-7B基礎(chu)上(shang)制作了VL-LLaMA和VL-Vicuna。

3. 开源多模态对话模型：

我们开源了VL-Vicuna，类GPT-4多模态对话模型，可实现高質(zhi)量的多模态对话：

图2：VL-Vicuna的交(jiao)互(hu)实例(li)

一、動(dong)機(ji)介(jie)紹(shao)

1.1 背景(jing)

LLM在多模态理解领域掀(xian)起了一股(gu)从傳(chuan)統(tong)預(yu)训练视觉语言模型（VLM）到基于大语言模型的视觉语言模型（VL-LLM）的變(bian)革(ge)。

通过为LLM接入视觉模块，VL-LLM可以继承(cheng)已有LLM的知識(shi)，零(ling)樣(yang)本泛(fan)化(hua)能力，推(tui)理能力和規(gui)劃(hua)能力等。相關(guan)模型有BLIP-2[1]，Flamingo[2]，PALM-E等。

图3：常用(yong)的VL-LLM架構(gou)

现有的常用的VL-LLM基本采(cai)取(qu)图3所示的架构：在一个基座(zuo)LLM基础上训练一个视觉soft prompt生成模块（Visual Prompt Generator, VPG），以及(ji)一个進(jin)行(xing)維(wei)度(du)变換(huan)的線(xian)性層(ceng)（Projector）。

在參(can)数规模上， LLM一般(ban)占(zhan)主要部(bu)分(fen)（比如11B），VPG占次(ci)要部分（比如1.2B），Projector最小（4M）。

在训练过程(cheng)中， LLM参数一般不會(hui)被(bei)更新，或者僅(jin)仅更新非常少量的参数。可训练参数主要来自于VPG和projector。

1.2 动机

实際(ji)上，即便基座LLM的参数凍(dong)結(jie)不训，但由(you)于LLM的大参数量，训练一个VL-LLM的关鍵(jian)开销依(yi)然在于加載(zai)基座LLM。

因(yin)此训练一个VL-LLM依然無(wu)法避(bi)免(mian)极大的計(ji)算(suan)代价。比如，要得到BLIP-2（基座LLM为FlanT5-XXL）需要付(fu)出超(chao)过600个小时的A100训练时長(chang)。如果租(zu)用亞(ya)馬(ma)遜(xun)的A100-40G机器(qi)，大概(gai)需要将近2万元人民币的费用。

既(ji)然从零训练一个VPG代价如此昂贵，那(na)麽(me)我们开始思(si)考(kao) 能否(fou)把一个已有的VPG迁移到新的LLM上来節(jie)省(sheng)开销。

图4：VPG迁移: 跨(kua)LLM大小迁移和跨LLM类型迁移

如图4所示，我们主要探(tan)索(suo)了兩(liang)种类型的VPG的迁移:

（1）跨LLM大小迁移（TaS）：比如从OPT-2.7B到OPT-6.7B。

（2）跨LLM类型迁移（TaT）：比如从OPT到FlanT5。

其中TaS的意(yi)义在于：在LLM相关科(ke)研中，我们通常需要在小LLM上调参，再(zai)扩展到大LLM。有了TaS，我们可以在调参之后，把小LLM上已經(jing)训好的VPG直接迁移到大LLM上。

TaT的意义在于：不同(tong)功(gong)能种类的LLM层出不窮(qiong)，比如今天(tian)有了LLaMA，明(ming)天又(you)有了Alpaca和Vicuna。TaT可以讓(rang)我们利(li)用已有的VPG快速为新语言模型添加视觉感(gan)知能力。

1.3 貢(gong)獻(xian)

（1）提出高效的方法：

我们首(shou)先(xian)通过一系(xi)列(lie)的探究实驗(yan)，探究了影(ying)響(xiang)VPG迁移效率(lv)的关键因素(su)。根据探索实验发现，我们提出了一个两階(jie)段(duan)的高效迁移框架 VPGTrans。該(gai)框架可以大幅(fu)度缩减训练VL-LLM所需的计算开销和需要的训练数据。

比如，相比于从头训练，我们通过BLIP-2 OPT-2.7B到6.7B的VPG迁移，可以 仅用大約(yue)10%的数据和计算时间就达成各个数据集(ji) 相似或更好的效果（图1）。 训练花(hua)销从17901人民币到1673元。

（2）得到有趣(qu)的发现：

我们同时提供(gong)了TaS和TaT場(chang)景下(xia)一些(xie)有趣的发现，並(bing)嘗(chang)試(shi)給(gei)出解釋(shi):

a) TaS场景下，使(shi)用VPGTrans从小到大迁移不会影响最終(zhong)模型效果。

b) TaS场景下， 越(yue)小的语言模型上训练的VPG，迁移到大模型时效率越高，最终效果越好。

c) TaT场景下，越小的模型之间迁移的gap越大。在我们验證(zheng)实验中，OPT350M和FlanT5-base使用VPGTrans互相迁移几乎(hu)和从头训练一样慢(man)。

（3）开源：

我们使用VPGTrans得到了两个新的VL-LLMs： VL-LLaMA和 VL-Vicuna，并开源在了社(she)區(qu)上。其中VL-Vicuna实现了类GPT4的高质量的多模态对话。

二(er)、高效率的VPG迁移方案：VPGTrans

首先我们进行一系列的探索验证实验，分析(xi)如何(he)最大化对于VPG的迁移效率。接著(zhu)(zhe)我们基于這(zhe)些重(zhong)要觀(guan)察(cha)提出一个解决方案。

2.1 探究实验

我们選(xuan)取BLIP-2架构作为我们的基础模型，预训练语料(liao)采用COCO和SBU，總(zong)共(gong)1.4M图文对。

下遊(you)任(ren)務(wu)采用COCO Caption, NoCaps, VQAv2, GQA和OK-VQA的zero-shot設(she)定进行評(ping)測(ce)(对caption任务并非嚴(yan)格(ge)zero-shot)。下面(mian)是我们的关键发现:

（1）直接继承一个训练好的VPG可以加速收(shou)斂(lian)，但效果有限(xian)：

我们发现，直接迁移一个LLM上训练好的VPG到大LLM可以加速模型收敛，但加速效果有限，且收敛后模型效果 相比于从头训练VPG会掉(diao)点（图5的VQAv2、GQA藍(lan)线最高点均(jun)低于橘(ju)线）。

我们猜(cai)测，这个掉点是由于隨(sui)机初(chu)始化的projector会在训练起始阶段損(sun)傷(shang)VPG中已有的视觉感知能力。

图5：VPG inherit (蓝线): 直接继承训练好的VPG。train from scratch (橘线):从头训练VPG。only linear (綠(lv)线):只(zhi)训练linear projector不训练VPG。

（2）先warm-up训练projector可以防(fang)止(zhi)掉点，且进一步(bu)加速收敛：

于是，我们固(gu)定住(zhu)VPG和LLM，先warm-up训练projector 3个epoch，再解冻VPG进行下一步训练。

我们发现，这样不仅仅可以避免掉点情(qing)況(kuang)，還(hai)能夠(gou)进一步加速VPG收敛（图6）。

但值(zhi)得强调的是，由于训练的主要开销在LLM（参数巨多），仅仅训练projector的开销不会比同时训练VPG和projector的开销小太(tai)多。

所以，我们开始探究加速projector warm-up的关键技术。

图6：先warm-up训练projector可以防止掉点+加速收敛

（3）詞(ci)向(xiang)量轉(zhuan)化器初始化可以加速projector warm-up：

首先，VPG是通过把图像(xiang)转化为LLM可以理解的soft prompt来產(chan)生效果的。而(er)soft prompt的使用方式和词向量其实是非常相似的，都是直接输入语言模型来提示模型产生对應(ying)內(nei)容(rong)。

所以，我们使用词向量来作为soft prompt的一个代理，训练了一个

到

的词向量转化器（一个线性层）。

然后，我们将词向量转化器和

上的projector融(rong)合(he)作为projector的初始化。

通过这个初始化，我们可以将projector的warm-up训练由 3个epoch减为2个epoch。

（4）projector可以在超大学習(xi)率下快速收敛：

我们进一步实验发现，projector由于其参数量較(jiao)少，可以使用5倍(bei)的正(zheng)常学习率进行训练而不崩(beng)潰(kui)。

通过5倍学习率的训练，projector warm-up可以 进一步被缩短(duan)到１个epoch。

（5）一个附(fu)加发现：

雖(sui)然projector warm-up很(hen)重要，但仅训练projector是不够的。尤(you)其在caption任务上面，仅仅训练projector的效果要比同时训练VPG的效果差(cha)一截(jie)（图5绿线在COCO Caption和NoCaps均远低于蓝线）。

这也就意味(wei)着， 仅仅训练projector会导致(zhi)欠(qian)擬(ni)合，也就是 无法充(chong)分对齊(qi)到训练数据。

2.2 我们所提出的方法

图7：VPGTrans框架: (1) 一阶段:projector的warm-up (2) 二阶段: 整體(ti)微(wei)调

如图7所示，我们的方法共分为两个阶段：

（1）第(di)一阶段：我们首先使用词向量转化器和原(yuan)有projector进行融合作为新projector的初始化，然后用5倍学习率训练新projector一个epoch。

（2）第二阶段：直接正常训练VPG和projector。

三(san)、实验结果

3.1 加速比

表1：我们的VPGTrans的相比于从头训练在各个数据集的加速比

如表1所示，我们测试了不同迁移类型下，VPGTrans在不同数据集上的加速比。

VPGTrans在某(mou)指(zhi)定数据集A上的加速比是通过从头训练达到A上最佳(jia)效果a的輪(lun)数除以VPGTrans在A上效果超过a的最小训练轮数得到。

比如，从头在OPT-2.7B上训练VPG，在COCO caption达到最佳效果需要10个epoch，但从OPT-125M迁移VPG到OPT-2.7B，仅需1个epoch就能达到该最佳效果。則(ze)加速比为10/1=10倍。

我们可以看(kan)到， 无论是在TaS还是在TaT场景下，我们的VPGTrans都可以实现穩(wen)定的加速。

3.2 有趣的发现

我们选取了一个比较有趣的发现进行了說(shuo)明，其他更多更有意思的发现請(qing)参照(zhao)我们的论文。

TaS场景下，越小的语言模型上训练的VPG，迁移起来效率越高，最后模型效果越好。参考表1，我们可以发现OPT-1.3B到OPT-2.7B的加速比要远小于OPT-125M、OPT-350M到OPT-2.7b的加速比。

我们尝试提供了一个解释： 一般越大的语言模型，由于其文本空(kong)间的维度更高， 会更容易(yi)损害(hai)VPG（VPG一般都是类似于CLIP的预训练模型） 本身(shen)的视觉感知能力。我们通过类似于linear probing的方式进行了验证：

图8：仅训练linear projector层的跨LLM大小迁移 (模拟linear probing)

如图8所示，我们进行了OPT-125M，350M，1.3B，2.7B之间的跨LLM大小的迁移。

在实验中， 为了公(gong)平(ping)对比不同模型大小下训练过的VPG的视觉感知能力，我们固定住VPG的参数仅仅训练linear projector层。 我们选取了COCO Caption上的SPICE指标作为视觉感知能力的衡(heng)量手(shou)段。

不難(nan)发现，对于每(mei)一个给定的

，几乎都符(fu)合越小，最终SPICE越高的一个现象(xiang)。

3.3 大规模实验

前(qian)文实验主要是在小规模场景下验证猜想(xiang)。为了证明我们的方法的有效性，我们模拟BLIP-2的预训练过程进行了大规模实验：

表2：真(zhen)实场景下的大规模实验结果

如表2所示，我们的VPGTrans在大规模场景下依然有效。通过OPT-2.7B到OPT-6.7B的迁移，我们仅用10.8%的数据和不到10%的训练时长达到了相似或更优的效果。

尤其是，我们的方法在BLIP-2以FlanT5-XXL为基座的VL-LLM实现了 4.7%的训练成本控(kong)制。

四(si)、定制您(nin)的VL-LLMs

我们的VPGTrans可以快速为任意新的LLMs添加视觉感知模块，从而得到一个全(quan)新的高质量VL-LLM。在本工作，我们額(e)外训练了一个VL-LLaMA和一个VL-Vicuna。其中VL-LLaMA的效果如下:

表3：VL-LLaMA的效果展示

同时，我们的VL-Vicuna可以进行类GPT-4的多模态对话。我们和MiniGPT-4进行了簡(jian)单的比较:

五(wu)、总结

在这項(xiang)工作中，我们对VPG在LLM之间的可迁移性問(wen)題(ti)进行了全面调查(zha)。我们首先探討(tao)了最大化迁移效率的关键因素。

基于关键观察，我们提出了一种新穎(ying)的两阶段迁移框架，即VPGTrans。它(ta)可以在显著降低训练成本的同时，实现相當(dang)或更好的性能。

通过VPGTrans，我们实现了从BLIP-2 OPT 2.7B到BLIP-2 OPT 6.7B的VPG迁移。相较于从零开始连接VPG到OPT 6.7B，VPGTrans仅需10.7%训练数据和不到10%的训练时长。

此外，我们展示并讨论了一系列有趣发现及其背后的可能原因。最后，我们通过训练VL-LLaMA和LL-Vicuna，展示了我们的VPGTrans在定制新的VL-LLM方面的实际价值。

参考资料：

https://arxiv.org/abs/2305.01278返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任编辑：