广告过滤大师不能用？解密广告弹窗幕后真相！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>AIGC大(da)壹(yi)統(tong)模(mo)型(xing)來(lai)了(le)！CV界(jie)泰(tai)鬥(dou)黃(huang)煦(xu)濤(tao)創(chuang)立(li)團(tuan)隊(dui)提(ti)出(chu)「全(quan)能(neng)Diffusion」

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：好(hao)困(kun) David

【新智元導(dao)讀(du)】在(zai)各(ge)種(zhong)Diffusion「AI大畫(hua)家(jia)」中(zhong)學(xue)習(xi)一番(fan)之(zhi)後(hou)，這(zhe)款(kuan)全能型Diffusion要(yao)完(wan)成(cheng)AIGC界的(de)「大一统」！

Diffusion模型的最(zui)新進(jin)展(zhan)在許(xu)多(duo)生(sheng)成任(ren)務(wu)中樹(shu)立了一個(ge)令(ling)人(ren)印(yin)象(xiang)深(shen)刻(ke)的裏(li)程(cheng)碑(bei)。諸(zhu)如(ru)DALL·E 2、Imagen和(he)Stable Diffusion（SD）等(deng)引(yin)人矚(zhu)目(mu)的工(gong)作(zuo)，引起(qi)了学術(shu)界和工業(ye)界的極(ji)大興(xing)趣(qu)。

不(bu)過(guo)，雖(sui)然(ran)这些(xie)模型表(biao)現(xian)驚(jing)艷(yan)，但(dan)基(ji)本(ben)都(dou)是(shi)專(zhuan)一於(yu)某(mou)一類(lei)任务，比(bi)如由(you)給(gei)定(ding)文(wen)本生成圖(tu)像(xiang)，而(er)對(dui)于不同(tong)类型的任务，則(ze)往(wang)往需(xu)要专門(men)單(dan)獨(du)訓(xun)練(lian)，或(huo)重(zhong)新構(gou)建(jian)新模型。

那(na)麽(me)能不能在前(qian)人基礎(chu)上(shang)搞(gao)一个「全能型」的Diffusion，實(shi)现AIGC模型的大一统呢(ne)？有(you)人就(jiu)在努(nu)力(li)沿(yan)著(zhe)这个方(fang)向(xiang)进行(xing)探(tan)索(suo)，並(bing)已(yi)經(jing)取(qu)得(de)了进展。

这个来自(zi)伊(yi)利(li)諾(nuo)伊大学厄(e)巴(ba)納(na)-香(xiang)檳(bin)分(fen)校(xiao)、得克(ke)薩(sa)斯(si)大学奧(ao)斯汀(ting)分校的聯(lian)合(he)团队，試(shi)图將(jiang)现有的单流(liu)Diffusion擴(kuo)展為(wei)多流網(wang)絡(luo)，稱(cheng)为Versatile Diffusion（VD），这是第(di)一个统一的多流多模態(tai)Diffusion框(kuang)架(jia)，是邁(mai)向通(tong)用(yong)生成性(xing)人工智能的一步(bu)。

論(lun)文地(di)址(zhi)：https://arxiv.org/abs/2211.08332

Versatile Diffusion除(chu)了普(pu)通的文字(zi)生成图像功(gong)能之外(wai)，還(hai)可(ke)以(yi)輸(shu)入(ru)图像生成类似(si)图像，输入图像生成文字，输入文字生成相(xiang)似文字，图片(pian)語(yu)義(yi)解(jie)耦(ou)编辑，输入图像及(ji)文字生成視(shi)頻(pin)，根(gen)據(ju)隱(yin)空(kong)間(jian)编辑图像內(nei)容(rong)等等。

未(wei)来的版(ban)本还将支(zhi)持(chi)更(geng)多的模式(shi)，如语音(yin)、音樂(le)、视频和3D。

据论文介(jie)紹(shao)，现已證(zheng)明(ming)VD及其(qi)基础框架具(ju)有以下(xia)優(you)勢(shi)：

a) 可以以具有競(jing)爭(zheng)力的高(gao)質(zhi)量(liang)處(chu)理(li)所(suo)有子(zi)任务。

b) 支持新的扩展和應(ying)用，如图形(xing)風(feng)格(ge)和语义的分離(li)、图像-文本雙(shuang)引导生成等。

c) 通过这些实驗(yan)和应用，为生成的输出提供(gong)了更豐(feng)富(fu)的语义洞(dong)察(cha)力。

在训练數(shu)据集(ji)方面(mian)，VD使(shi)用帶(dai)有自定义数据过濾(lv)器(qi)的Laion2B-en作为主(zhu)要数据集。

首(shou)次(ci)探索

VD的一个令人兴奮(fen)的發(fa)现是，它(ta)可以從(cong)语义中增(zeng)強(qiang)或減(jian)少(shao)图像风格，而無(wu)需进一步監(jian)督(du)。

这樣(yang)的现象激(ji)发作者(zhe)去(qu)探索一个全新的領(ling)域(yu)，其中，风格和语义之间的分离可以发生在具有任意(yi)风格和任意内容的图像上。

作者表示(shi)，他(ta)們(men)是第一个探索：a）在沒(mei)有领域規(gui)範(fan)的情(qing)況(kuang)下，对自然图像的语义和风格进行解读；b）扩散(san)模型潛(qian)在空间上的语义和风格分解的团队。

在下图中，作者首先(xian)生成输入图像的變(bian)體(ti)，然后以语义（左(zuo)邊(bian)）或风格（右(you)边）为重點(dian)对其进行操(cao)作。

由于VD同時(shi)支持图像到(dao)文本和文本到图像，因(yin)此(ci)作者团队第一次嘗(chang)试了通过以下步驟(zhou)从文本提示的角(jiao)度(du)编辑图像：a）将图像轉(zhuan)換(huan)成文本，b）编辑文本，c）将文本转换回(hui)图像。

在实验中作者从图像中刪(shan)除了描(miao)述(shu)的内容，然后用这种图像-文本-图像（I2T2I）范式添(tian)加(jia)新的内容。與(yu)繪(hui)画或其他需要物(wu)体位(wei)置(zhi)作为输入的图像编辑方法(fa)不同，VD的I2T2I不需要掩(yan)碼(ma)，因为它可以按(an)照(zhao)指(zhi)令自動(dong)定位和替(ti)换物体。

不过，I2T2I的输出图像与输入图像的像素(su)不一致(zhi)，这是由于图像到文本的语义提煉(lian)和文本到图像的内容创建造(zao)成的。

在下图的展示中，输入的图像首先被(bei)翻(fan)譯(yi)成prompt，然后用减法（紅(hong)框）和加法（綠(lv)框）对prompt进行编辑。最后，编辑后的prompt被翻译成图像。

此外，他们也(ye)是第一个探索基于给定的文字去生成相似文字的团队。

网络框架

具体来說(shuo)，文中提出的VD框架是一个多流网络，有各种类型的数据作为输入和背(bei)景(jing)。

VD多流多模态diffusion框架繼(ji)承(cheng)了LDM/SD的优点，具有可解釋(shi)的潜在空间、模态化(hua)結(jie)构和較(jiao)低(di)的計(ji)算(suan)成本。

VD可以联合训练多个流，每(mei)个流代(dai)表一个跨(kua)模式的任务。其核(he)心(xin)設(she)计是diffuser网络内的分組(zu)、共(gong)享(xiang)和交(jiao)换協(xie)議(yi)，使框架適(shi)应所有支持的任务和其他任务。

diffuser分为三(san)组：全局(ju)層(ceng)、数据层和语境(jing)层。全局层是时间嵌(qian)入层，数据层是剩(sheng)余(yu)塊(kuai)，而语境层是交叉(cha)關(guan)註(zhu)。

这种分组与层的功能相对应。當(dang)处理多个任务时，全局层在所有任务中共享。数据层和语境层包(bao)含(han)多个数据流。每个数据流都可以根据当前的数据和上下文类型进行共享或交换。

比如，当处理文本-图像請(qing)求(qiu)时，diffuser使用图像数据层与文本语境层。当处理图像变異(yi)任务时，则使用图像数据层与图像语境层。

单个VD流程包含一个VAE、一个diffuser和一个语境编码器，在一个数据类型（如图像）和一个语境类型（如文本）下处理一个任务（如文本转图像）。

Versatile Diffusion的多流结构如下图所示：

研(yan)究(jiu)人員(yuan)基于Versatile Diffusion，进一步提出了一个通用的多流多模态框架，其中包括(kuo)VAE、上下文编码器和包含三层（即(ji)全局、数据和语境层）的diffuser。

Diffuser：

VD使用已被廣(guang)泛(fan)采(cai)用的交叉关注的UNet作为diffuser网络的主要架构，将层分为全局层、数据层和语境层。其中数据层和语境层有兩(liang)个数据流来支持图像和文本。

对于图像数据流，遵(zun)循(xun)LDM并使用殘(can)差(cha)块（ResBlock），其空间維(wei)度逐(zhu)漸(jian)减少，通道数逐渐增加。

对于文本数据流，利用新的全連(lian)接(jie)残差块（FCResBlock），将768维的文本潜伏(fu)向量扩展为320*4的隐藏(zang)特(te)征(zheng)，并遵循类似的通道增加范式，再(zai)利用GroupNorms、SiLU和跳(tiao)过连接，就像普通的ResBlock一样。

如上图所示，FCResBlock包含两组全连接层（FC）、分组歸(gui)一化（GN）和sigmoid線(xian)性单元（SiLU）。x是输入文本潜伏代码，t是输入时间嵌入，hi是中间特征。

对于语境组，图像和语境流都采用交叉注意力层，其中内容嵌入通过投(tou)影(ying)层、点積(ji)和sigmoids来操作数据特征。

变分自编码器（VAE）：

VD采用此前的潜在扩散模型（Latent Diffusion Model，LDM）的自编码器-KL作为图像数据VAE，采用Optimus作为文本数据VAE。Optimus由BERT文本编码器和GPT2文本解码器组成，可以将句(ju)子双向转化为768维正(zheng)态分布(bu)的潜在向量。

同时，Optimus还以其可重构和可解释的文本潜空间顯(xian)示出令人滿(man)意的VAE特性。因此選(xuan)擇(ze)Optimus作为文本VAE，因为它非(fei)常(chang)符(fu)合多流多模态框架的前提條(tiao)件(jian)。

语境编码器（Context Encoder）：

VD使用CLIP文本和图像编码器作为上下文编码器。与只(zhi)使用原(yuan)始(shi)文本嵌入作为语境输入的LDM和SD不同，VD使用归一化和投影嵌入，使文本和图像的CLIP对比損(sun)失(shi)最小(xiao)化。

实验表明，上下文类型之间更接近(jin)的嵌入空间有助(zhu)于模型快(kuai)速(su)收(shou)斂(lian)，表现更好。类似的结论也可以在DALL·E 2中实现，DALL·E 2用額(e)外的投影层来微(wei)調(tiao)文本到图像的模型，以最小化文本和图像嵌入之间的差异，用于图像变化。

性能表现

作者将早(zao)期(qi)的单任务模型作为基线模型，并将VD的结果(guo)与这些基线进行比较。其中，SDv1.4作为文本到图像的基线模型，SD-variation用于图像-变体，而BLIP用于图像-文本。

同时，作者还对不同的VD模型进行了定性比较，其中VDDC和VD-of?cial用于文本到图像，所有三个模型用于图像变体。

其中SD和VD的图像样本是用受(shou)控(kong)的隨(sui)機(ji)种子生成的，以便(bian)更好地檢(jian)查(zha)质量。

文本到图像的性能

虽然DALLE 2和Imagen在这些任务上也取得了SOTA，但由于没有公(gong)開(kai)的代码或训练細(xi)節(jie)，因此作者跳过了对它们的比较。

结果显示，多流程结构和多任务训练可以幫(bang)助VD捕(bu)獲(huo)上下文语义并更精(jing)確(que)地生成输出，并出色(se)地完成了所有的子任务。

图像-变体的性能

此外，由VD生成的图像標(biao)注还包含了一些创造性的詞(ci)语。相比起来，BLIP的生成就很(hen)短(duan)，缺(que)乏(fa)对细节的描述。

图像到文本的性能

效(xiao)果展示

文生图

图像变体

以语义为重点的图像变体

双引导

總(zong)结

作者介绍了Versatile Diffusion（VD），一个多流的多模态diffusion网络，在一个统一的模型中解決(jue)了文本、图像和变化。在VD的基础上，作者进一步介绍了一个通用的多流多模态框架，其中可以涉(she)及新的任务和领域。

通过实验，作者发现VD在所有支持的任务上都能產(chan)生高质量的输出，其中VD的文本到图像和图像到变体的结果能更好地捕捉(zhuo)上下文中的语义，VD的图像到文本的结果具有创造性和说明性。

鑒(jian)于VD的多流多模态屬(shu)性，作者引入了新穎(ying)的扩展和应用，可能會(hui)使从事(shi)这項(xiang)技(ji)术的下遊(you)用戶(hu)进一步受益(yi)。

团队介绍

伊利诺伊大学厄巴纳-香槟分校的IFP团队是由黄煦涛教(jiao)授(shou)在80年(nian)代创立的，起初(chu)是貝(bei)克曼(man)高級(ji)科(ke)学和技术研究所的图像形成和处理小组。

多年来，IFP一直(zhi)致力于图像以外的研究和创新，包括图像和视频编码、多模态人机交互(hu)、多媒(mei)体注释和搜(sou)索、计算机视覺(jiao)和模式識(shi)別(bie)、机器学习、大数据、深度学习和高性能计算。

目前IFP的研究方向是通过协同结合大数据、深度学习和高性能计算来解决多模态信(xin)息(xi)处理的問(wen)題(ti)。

此外，IFP在人工智能领域的頂(ding)级会议上获得了多篇(pian)最佳(jia)论文，并在许多國(guo)際(ji)竞賽(sai)中获勝(sheng)，包括首屆(jie)NIST TrecVID、首届ImageNet挑(tiao)戰(zhan)赛和首届人工智能城(cheng)市(shi)挑战赛。

有趣的是，自黄教授1960年代开始在麻(ma)省(sheng)理工学院(yuan)任教以来，IFP小组的「成员」甚(shen)至(zhi)包括朋(peng)友(you)、学生、学生的学生、学生的学生，甚至是学生的学生的学生。

參(can)考(kao)資(zi)料(liao)：

https://arxiv.org/abs/2211.08332

https://github.com/SHI-Labs/Versatile-Diffusion

特别鳴(ming)謝(xie)「Simon的白(bai)日(ri)夢(meng)」：

https://weibo.com/1948301550/Mh9jE9iV8返(fan)回搜狐(hu)，查看(kan)更多

責(ze)任编辑：