图书馆标语广告大全

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>寫(xie)好(hao)劇(ju)本(ben)直(zhi)接(jie)出(chu)片(pian)！Google發(fa)布(bu)首(shou)個(ge)「講(jiang)故(gu)事(shi)」的(de)視(shi)頻(pin)生(sheng)成(cheng)模(mo)型(xing)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】剛(gang)做(zuo)完(wan)畫(hua)家(jia)，普(pu)通(tong)人(ren)又(you)能(neng)當(dang)导演(yan)了(le)？

基(ji)於(yu)文(wen)本的圖(tu)像(xiang)生成模型效(xiao)果(guo)驚(jing)艷(yan)，可(ke)以(yi)說(shuo)是(shi)時(shi)下(xia)討(tao)論(lun)最(zui)火(huo)熱(re)的AI研(yan)究(jiu)領(ling)域(yu)了，內(nei)行(xing)外(wai)行都(dou)能看(kan)个热鬧(nao)。

那(na)要(yao)是讓(rang)照(zhao)片動(dong)起(qi)來(lai)，效果是不(bu)是更(geng)賽(sai)博(bo)朋(peng)克(ke)了？

最近(jin)Google投(tou)稿(gao)ICLR 2023的壹(yi)篇(pian)论文在(zai)生成模型界(jie)又掀(xian)起波(bo)瀾(lan)，除(chu)了让照片动起来，文中(zhong)提(ti)出的Phenaki模型還(hai)可以在文本描(miao)述(shu)中添(tian)加(jia)剧情(qing)，让视频内容(rong)更豐(feng)富(fu)。

论文鏈(lian)接：https://openreview.net/forum?id=vOEXS39nOF

比(bi)如(ru)輸(shu)入(ru)文本：

A photorealistic teddy bear is swimming in the ocean at San Francisco.

一只(zhi)逼(bi)真(zhen)的泰(tai)迪(di)熊(xiong)在舊(jiu)金(jin)山(shan)的大(da)海(hai)裏(li)遊(you)泳(yong)。

The teddy bear goes under water.

泰迪熊進(jin)入水(shui)中。

The teddy bear keeps swimming under the water with colorful fishes.

泰迪熊在水中不斷(duan)地(di)游动，旁(pang)邊(bian)有(you)五(wu)顏(yan)六(liu)色(se)的魚(yu)

A panda bear is swimming under water.

一只大熊貓(mao)在水底(di)游泳

如果说前(qian)面(mian)还算(suan)合(he)理(li)，看到(dao)最後(hou)泰迪熊變(bian)身(shen)大熊猫，實(shi)在繃(beng)不住(zhu)了。

這(zhe)反(fan)轉(zhuan)放(fang)短(duan)视频平(ping)臺(tai)上(shang)不得(de)幾(ji)百(bai)萬(wan)點(dian)贊(zan)，豆(dou)瓣(ban)評(ping)分(fen)都得9.9，扣(kou)0.1分怕(pa)妳(ni)驕(jiao)傲(ao)。

再(zai)来一个例(li)子(zi)，依(yi)然(ran)能完美(mei)还原(yuan)剧本。

Side view of an astronaut is walking through a puddle on mars

宇(yu)航(hang)員(yuan)在火星(xing)上走(zou)過(guo)水坑(keng)的側(ce)影(ying)

The astronaut is dancing on mars

宇航员在火星上跳(tiao)舞(wu)

The astronaut walks his dog on mars

宇航员在火星上帶(dai)著(zhe)他(ta)的狗(gou)散(san)步(bu)

The astronaut and his dog watch fireworks

宇航员和(he)他的狗觀(guan)看煙(yan)花(hua)

一人一狗，外太(tai)空(kong)，看的有点感(gan)动怎(zen)麽(me)回(hui)事。

相(xiang)比文本引(yin)导的图像生成模型来说，生成视频的計(ji)算成本更高(gao)，高質(zhi)量(liang)的文本-视频訓(xun)練(lian)數(shu)據(ju)也(ye)要少(shao)的多(duo)，並(bing)且(qie)输入的视频長(chang)度(du)參(can)差(cha)不齊(qi)等(deng)問(wen)題(ti)，從(cong)文本中直接生成视频更困(kun)難(nan)。

為(wei)了解(jie)決(jue)这些(xie)问题，Phenaki引入了一个學(xue)習(xi)视频表(biao)示(shi)的新模型，將(jiang)视频壓(ya)縮(suo)后用(yong)離(li)散tokens进行表征(zheng)，tokenizer在时間(jian)維(wei)度上使(shi)用因(yin)果註(zhu)意(yi)力(li)（causal attention）来處(chu)理不同(tong)长度的视频，然后使用一个預(yu)训练的雙(shuang)向(xiang)掩(yan)碼(ma)Transformer模型對(dui)文本进行编码直接生成视频。

为了解决数据问题，研究人员提出一種(zhong)聯(lian)合训练方(fang)法(fa)，使用大量的文本-图像語(yu)料(liao)以及(ji)少量的文本-视频语料实現(xian)更好的泛(fan)化(hua)性(xing)能。

與(yu)之(zhi)前的视频生成方法相比，Phenaki支(zhi)持(chi)任(ren)意领域的文本故事，剧情可以隨(sui)时间变化且能夠(gou)生成任意长度的视频。

这也是第(di)一次(ci)有论文研究从时间可变的文本提示中生成视频，并且文中提出的视频编码器(qi)/解码器在空间和时间上的质量均(jun)優(you)于其(qi)他模型。

从文本到视频

从本质上讲，雖(sui)然视频就(jiu)是一个图像序(xu)列(lie)，但(dan)生成一个长且連(lian)貫(guan)的视频卻(que)并不容易(yi)。

图像领域不缺(que)训练数据，比如LAION-5B, FFT4B等数据集(ji)都包(bao)括(kuo)数十(shi)億(yi)的文本-图像数据对，而(er)文本-视频数据集如WebVid則(ze)只有大約(yue)一千(qian)万个视频，遠(yuan)远不够支撐(cheng)開(kai)放领域的视频生成。

从计算力上来看，训练和推(tui)理图像生成模型已(yi)經(jing)快(kuai)把(ba)GPU的性能榨(zha)幹(gan)了，是否(fou)能擠(ji)出计算空间留(liu)給(gei)视频生成解码器也是一个要解决的问题。

文本引导的视频生成任務(wu)还有一个难点，一小(xiao)段(duan)文本对于图片生成来说可能足(zu)够描述細(xi)節(jie)，但对于一个长视频来说远远不够，并且视频包括上下文，即(ji)下一个片段的生成需(xu)要以当前片段作(zuo)为條(tiao)件(jian)，随着时间的推移(yi)，故事逐(zhu)漸(jian)展(zhan)开。

理想(xiang)情況(kuang)下，视频生成模型必(bi)須(xu)能够生成任意长度的视频，同时有能力将某(mou)一时刻(ke)的生成幀(zhen)以当前时刻的文本提示作为条件，这些文本提示會(hui)随时间步变化。

这种能力可以将视频与会动的图像明(ming)確(que)區(qu)分开来，并为藝(yi)術(shu)、設(she)计和内容創(chuang)作等现实世(shi)界创造(zao)性應(ying)用开辟(pi)道路(lu)。

在此(ci)之前，基于故事的有条件视频生成（story based conditional video generation）是一塊(kuai)从未(wei)被(bei)探(tan)索(suo)过的领域，这就是第一篇朝(chao)該(gai)目(mu)標(biao)邁(mai)出的论文。

想要用傳(chuan)統(tong)的深(shen)度学习方法，即直接从数据中学习视频生成是不可能的，因为沒(mei)有基于故事的数据集可以学习。

为了实现这一目标，研究人员为Phenaki模型设计了兩(liang)个組(zu)件，一个编码器-解码器模型用来把视频压缩成离散的embeddings，以及一个Transformer模型，把文本embeddings翻(fan)譯(yi)成视频tokens，其中文本向量由(you)预训练模型T5X进行编码。

1、编码器-解码器视频模型：C-VIVIT

这个模块要解决的主(zhu)要问题是如何(he)獲(huo)得视频的压缩表征，之前關(guan)于文本转视频的工(gong)作要么对每(mei)帧图像进行编码，但对视频长度有限(xian)制(zhi)；要么使用固(gu)定(ding)长度的视频编码器，無(wu)法生成可变长度的视频。

C-ViViT是ViViT的因果变體(ti)，專(zhuan)門(men)为视频生成任务調(tiao)整(zheng)了模型架(jia)構(gou)，可以在时间和空间维度上压缩视频，同时在时间维度上保(bao)持自(zi)回歸(gui)，从而允(yun)許(xu)自回归地生成任意长度的视频。

首先(xian)在空间和时间Transformer中刪(shan)除[CLS]标記(ji)，然后对所(suo)有由空间编码器计算的空间token使用时间Transfomrer，与ViViT中对[CLS]标记的單(dan)一时间Transformer的運(yun)行不同。

最重(zhong)要的是，ViViT编码器需要一个固定长度的视频输入，因为它(ta)在时间上采(cai)用的是all-to-all注意力。将其替(ti)換(huan)为因果注意力之后，C-ViViT编码器就会变成自回归，并允许输入帧的数量可变。

2、使用双向Transformers从文本中生成视频

可以把文本到视频的任务看作是sequence-to-sequence的问题，以预測(ce)输入的文本向量对应的视频tokens

大部(bu)分的seq-to-seq模型都使用自回归Transformer，根(gen)据编码的文本特(te)征按(an)照順(shun)序预测图像或(huo)视频tokens，即采樣(yang)时间与序列长度成線(xian)性关系(xi)，对于长视频的生成来说是不可接受(shou)的。

Phenaki采用掩码双向Transformer，通过一个小且固定的采样步驟(zhou)来減(jian)少采样时间，而无需考(kao)慮(lv)不同的视频序列长度，双向Transfomrer可以同时预测不同的视频tokens

在每个训练步骤，首先从0到1中随機(ji)選(xuan)擇(ze)一个掩码比率(lv)，并根据视频长度随机地用特殊(shu)标记[MASK]替换一部分token

然后根据给定的文本向量和未掩码的视频tokens，通过最小化掩码token的交(jiao)叉(cha)熵(shang)損(sun)失(shi)来学习模型参数。

在推理过程(cheng)中，首先将所有的视频tokens标记为特殊詞(ci)[MASK]，然后在每个推理步骤中，根据文本向量和未掩码的（要预测的）视频tokens，平行地预测所有被掩码（未知(zhi)）的视频token

在每个采样步骤中，选择一个预测token的比例，其余(yu)的tokens在下一步中将被重新掩码和重新预测。

对于长视频的推理和自回归生成，使用事前训练（classifier-free）的引导来控(kong)制生成和文本条件之间的一致(zhi)性。

一旦(dan)生成了第一个视频，就可以通过使用C-ViViT对最后一个视频中的最后K个生成的帧进行编码，自动遞(di)归地推理出其他帧。

用C-ViViT编码器计算出的token初(chu)始(shi)化MaskGIT，并繼(ji)續(xu)生成以文本输入为条件的剩(sheng)余视频标记。

在视频推理过程中，文本条件可以是相同的，也可以是不同的，这也使得该模型能够在之前和当前文本条件的视覺(jiao)内容之间动態(tai)地创建(jian)视觉过渡(du)，有效地生成一个由输入文本描述的视觉故事。

最終(zhong)，研究人员在1500万8FPS的文本-视频对，5000万个文本-图像对，以及4亿混(hun)合语料庫(ku)LAION-400M上进行训练，最终Phenaki模型参数量为18亿。

batch size为512的情况下训练了100万步，用时不到5天(tian)，其中80%的训练数据来自视频数据集。

在视觉的定性评價(jia)上，可以看到模型对视频中的人物(wu)和背(bei)景(jing)动态的控制程度都很(hen)高，并且外观和视频的風(feng)格(ge)也可以通过文本提示来调整（例如，普通视频、卡(ka)通或鉛(qian)筆(bi)画）

在定量比較(jiao)上，Phenaki在zero-shot设置(zhi)下实现了和其他模型相当的生成质量。

在考虑训练数据的影響(xiang)时，可以发现在只用视频训练的模型和用更多的图像数据训练的模型之间存(cun)在着性能上的權(quan)衡(heng)。

参考資(zi)料：

https://phenaki.video/返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：