燃爆跨年夜！湖南卫视2014跨年演唱会

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>順(shun)手(shou)訓(xun)了(le)壹(yi)個(ge)史(shi)上(shang)最(zui)大(da)ViT？Google升(sheng)級(ji)視(shi)覺(jiao)語(yu)言(yan)模(mo)型(xing)PaLI：支(zhi)持(chi)100+種(zhong)语言

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】壕(hao)無(wu)人(ren)性(xing)！最近(jin)Google又(you)利(li)用(yong)鈔(chao)能(neng)力(li)，不(bu)僅(jin)將(jiang)语言模型PaLM升级為(wei)视觉语言模型，還(hai)训了一个史上最大的(de)ViT模型！ ｜2022 IEEE北(bei)京(jing)國(guo)際(ji)女(nv)工(gong)程(cheng)師(shi)領(ling)导力峰(feng)會(hui)重(zhong)磅(bang)來(lai)襲(xi)，點(dian)擊(ji)預(yu)約(yue)????

近幾(ji)年(nian)自(zi)然(ran)语言處(chu)理(li)的進(jin)展(zhan)很(hen)大程度(du)上都(dou)来自於(yu)大規(gui)模语言模型，每(mei)次(ci)發(fa)布(bu)的新模型都将參(can)數(shu)量(liang)、训練(lian)数據(ju)量推(tui)向(xiang)新高(gao)，同(tong)時(shi)也(ye)会對(dui)現(xian)有(you)基(ji)準(zhun)排(pai)行(xing)进行一次屠(tu)榜(bang)！

比(bi)如(ru)今(jin)年4月(yue)，Google发布5400億(yi)参数的语言模型PaLM（Pathways Language Model）在(zai)语言和(he)推理類(lei)的一系(xi)列(lie)測(ce)評(ping)中(zhong)成(cheng)功(gong)超(chao)越(yue)人类，尤(you)其(qi)是(shi)在few-shot小(xiao)樣(yang)本(ben)學(xue)習(xi)場(chang)景(jing)下(xia)的優(you)異(yi)性能，也讓(rang)PaLM被(bei)認(ren)为是下一代(dai)语言模型的发展方(fang)向。

同理，视觉语言模型其實(shi)也是大力出(chu)奇(qi)跡(ji)，可(ke)以(yi)通(tong)過(guo)提(ti)升模型的规模来提升性能。

當(dang)然了，如果(guo)只(zhi)是多(duo)任(ren)務(wu)的视觉语言模型，顯(xian)然还不是很通用，还得(de)支持多种语言的輸(shu)入(ru)输出才(cai)行。

最近Google就(jiu)将PaLM擴(kuo)展升级成PALI（Pathways Language and Image model），兼(jian)具(ju)多语言和圖(tu)像(xiang)理解(jie)的能力，同时支持100+种语言来執(zhi)行各(ge)种橫(heng)跨(kua)视觉、语言和多模態(tai)图像和语言應(ying)用，如视觉問(wen)題(ti)回(hui)答(da)、图像說(shuo)明(ming)（image caption）、物(wu)體(ti)檢(jian)测、图像分(fen)类、OCR、文(wen)本推理等(deng)。

論(lun)文鏈(lian)接(jie)：https://arxiv.org/abs/2209.06794

模型的训练使(shi)用的是一个公(gong)開(kai)的图像集(ji)合(he)，其中包(bao)括(kuo)自動(dong)爬(pa)取(qu)的109种语言的標(biao)註(zhu)，文中也稱(cheng)之(zhi)为WebLI数据集。

在WebLI上预训练的PaLI模型在多个图像和语言基准上取得了最先(xian)进的性能，如COCO-Captions、TextCaps、VQAv2、OK-VQA、TextVQA等等，也超越了先前(qian)模型的多语言视觉描(miao)述(shu)（multilingual visual captioning）和视觉问答的基准。

模型架(jia)構(gou)

PALI的目(mu)标之一是研(yan)究(jiu)语言和视觉模型在性能和规模上的聯(lian)系是否(fou)相(xiang)同，特(te)別(bie)是语言-图像模型的可扩展性（scalability）。

所(suo)以模型的架构設(she)計(ji)上就很簡(jian)單(dan)，主(zhu)要(yao)是为了实驗(yan)方便(bian)，尤其是可重復(fu)使用且(qie)可扩展。

模型由(you)一个处理输入文本的Transformer编碼(ma)器(qi)和一个生(sheng)成输出文本的自回歸(gui)Transformer解码器組(zu)成。

在处理图像时，Transformer编码器的输入还包括代表(biao)由ViT处理的图像的视觉詞(ci)（visual words）。

PaLI模型的一个關(guan)鍵(jian)设计是重用，研究人員(yuan)用之前训练过的单模态视觉和语言模型（如mT5-XXL和大型ViTs）的權(quan)重作(zuo)为模型的种子(zi)，這(zhe)种重用不仅使单模态训练的能力得到(dao)遷(qian)移(yi)，而(er)且还能節(jie)省(sheng)计算(suan)成本。

模型的视觉组件(jian)使用的是迄(qi)今为止(zhi)最大的ViT架构ViT-e，它(ta)與(yu)18亿参数的ViT-G模型具有相同的結(jie)构，並(bing)使用相同的训练参数，區(qu)别就是扩展为了40亿参数。

雖(sui)然在视觉领域(yu)和语言领域都对縮(suo)放(fang)规律(lv)进行了研究，但(dan)在视觉和语言的组合模型中对缩放行为的探(tan)討(tao)較(jiao)少(shao)，扩大视觉骨(gu)幹(gan)模型的规模可能会导致(zhi)在分类任务中的收(shou)益(yi)飽(bao)和。

研究人员也进一步(bu)證(zheng)实了这一点，可以觀(guan)察(cha)到 ViT-e在ImageNet上只比ViT-G好(hao)一点，但ViT-e在PaLI的视觉语言任务上有很大的改(gai)进。例(li)如，ViT-e在COCO字(zi)幕(mu)任务上比ViT-G多出近3个CIDEr点。任务上比ViT-G多出3分。这也暗(an)示(shi)了未(wei)来在视觉语言任务中使用更(geng)大的ViT骨架模型的空(kong)間(jian)。

研究人员采(cai)用mT5骨干作为语言建(jian)模组件，使用预训练的mT5-Large（10亿参数）和mT5-XXL (130亿参数)来初(chu)始(shi)化(hua)PaLI的语言编码器-解码器，然後(hou)在許(xu)多语言任务中进行繼(ji)續(xu)混(hun)合训练，包括純(chun)语言理解任务，这也有助(zhu)于避(bi)免(mian)災(zai)難(nan)性的遺(yi)忘(wang)mT5的语言理解和生成能力。

最后得到了三(san)个不同尺(chi)寸(cun)的PALI模型。

109种语言的数据集

深(shen)度学习相关的扩展研究表明，模型越大，所需(xu)的训练数据集也越大。

所以为了全(quan)面(mian)研究和釋(shi)放语言-图像预训练模型的潛(qian)力，研究人员從(cong)互(hu)联網(wang)上爬取了大量的图像和文本数据，构建了一个全新的数据集WebLI，其中包括109种语言的120亿alt-texts和100亿張(zhang)图片(pian)。

使用near-duplication对68个常(chang)見(jian)的视觉和视觉语言数据集的训练、验证和测試(shi)部(bu)分的图像进行了去(qu)重处理，以避免下遊(you)评估(gu)任务的数据泄(xie)露(lu)。

为了进一步提高数据質(zhi)量，研究人员还会根(gen)据「图像和alt-text」的跨模态相似(si)度进行评分，并調(tiao)整(zheng)閾(yu)值(zhi)，最后只保(bao)留(liu)10%的图像，總(zong)共(gong)有10亿张图像用于训练PaLI

训练大模型

由于视觉-语言任务是多模态，所以需要模型具有多种语義(yi)处理能力，而且会有不同的目标。比如有些(xie)任务需要对物体进行局(ju)部定(ding)位(wei)以准確(que)解決(jue)任务，而其他(ta)一些任务可能需要更多的全局语义信(xin)息(xi)。

同样地(di)，有的语言任务可能需要長(chang)的答案(an)，而有些則(ze)需要緊(jin)湊(cou)的答案。

为了解决所有这些不一致的目标，研究人员利用WebLI预训练数据的豐(feng)富(fu)性，引(yin)入预训练任务的混合（Pretraining Task Mixture），为各种下游应用准備(bei)模型。

为了让模型更通用以解决多种任务，作者(zhe)将所有的任务归入一个单一的通用API（输入：图像+文本；输出：文本），使多个图像和语言任务之间能夠(gou)进行知(zhi)識(shi)共享(xiang)，这也是与预训练设置(zhi)的共享。

用于预训练的目标作为加(jia)权的混合被投(tou)影(ying)到同一个API中，目的是既(ji)保持重复使用的模型组件的能力，又能训练模型执行新的任务。

模型使用开源(yuan)的T5X和Flaxformer框(kuang)架在JAX中用Flax进行训练，视觉部分的ViT-e使用开源的BigVision框架，将语言部分的词向量与视觉部分生成的patch向量级联起(qi)来，共同作为多模态编码器-解码器的输入，编码器使用mT5-XXL预训练初始化。在PaLI的训练过程中，视觉组件的权重被凍(dong)结，只更新多模态编码器-解码器的权重。

在实验部分，研究人员在常见的视觉语言基准上对PaLI进行了比较，且PaLI模型在这些任务上取得了最先进的结果，甚(shen)至(zhi)超过了以往(wang)文獻(xian)中提出的超大型的模型。

比如170亿参数的PALI在一些VQA和图像标题任务上的表现优于800亿参数的Flamingo模型。

并且PALI在单语言或(huo)单视觉的任务上也保持了良(liang)好的表现，虽然这并非(fei)是PALI主要的训练目标。

文中还研究了图像和语言模型组件在模型扩展方面是如何(he)相互作用的，以及(ji)模型在哪(na)裏(li)產(chan)生最大的收益。

最后得出的结论是，对这兩(liang)个组件进行联合扩展（缩放）会产生最好的性能，具体来说，对需要相对较少参数的视觉组件进行缩放是最关键的，同时缩放对于提高多语言任务的性能也很重要。

在35种语言的基准Crossmodal-3600上评估了PaLI后可以发现多语言起标题任务从PaLI模型的扩展中受(shou)益更多。

为了避免在大型语言和图像模型中产生或加強(qiang)不公平(ping)的偏(pian)见，需要对所使用的数据和模型如何使用这些数据保持透(tou)明，以及测试模型的公平性并进行負(fu)責(ze)任的数据分析(xi)，所以文中同时提供(gong)了一个Data Card和Model Card

参考(kao)資(zi)料(liao)：

https://ai.googleblog.com/2022/09/pali-scaling-language-image-learning-in.html

2022 IEEE北京国际女工程师领导力峰会，9月23日(ri)破(po)浪(lang)而来！

「她(ta)力量」，共話(hua)元宇(yu)宙(zhou)与芯(xin)片！

歡(huan)迎(ying)掃(sao)描下方海(hai)报预约直(zhi)播(bo)，一起助「她力量」乘(cheng)風(feng)而行、向陽(yang)生长！返(fan)回搜(sou)狐(hu)，查(zha)看(kan)更多

责任编辑：