新冠疫苗生产临时性应急标准出台

cankaodeshangchengleimugengjiadexiangxiyouzhi，suishicankaogengduodehuodonghaohaodejinxingshiyong。pigaizhidaogongneng，xueshengkeyizhenduibutongdewenti，dianjiduiyingdeweishipinjinxingzixue。laoshaojieyiyifenzhongshangshouzhijiecongdatiedifanghuodeyongyoujipinbaojiandejihui，shenbiandegeiliwuqidoukeyicongchengshilimianxunzhaodao；jingxihuamiansheji，jingmeijiaosesheji，monizhenshimeishijiejiejing，hongyangzhonghuachuantongmeishi！1句(ju)話(hua)生(sheng)成(cheng)視(shi)頻(pin)AI爆(bao)火(huo)！Meta最(zui)新(xin)SOTA模(mo)型(xing)讓(rang)網(wang)友(you)大(da)受(shou)震(zhen)撼(han)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】Meta新模型Make-A-Video，可(ke)以(yi)從(cong)文(wen)本(ben)壹(yi)鍵(jian)生成视频了(le)！AI的(de)進(jin)展(zhan)太(tai)神(shen)了……

給(gei)妳(ni)一段(duan)话，让你做(zuo)個(ge)视频，你能(neng)行(xing)嗎(ma)？

Meta表(biao)示(shi)，我(wo)可以啊(a)。

你沒(mei)聽(ting)錯(cuo)：使(shi)用(yong)AI，你也(ye)可以變(bian)成電(dian)影(ying)人(ren)了！

近(jin)日(ri)，Meta推(tui)出(chu)了新的AI模型，名(ming)字(zi)起(qi)得(de)也是(shi)非(fei)常(chang)直(zhi)接(jie)：做个视频（Make-A-Video）。

這(zhe)个模型強(qiang)大到(dao)什(shen)麽(me)程(cheng)度(du)？

一句话，就(jiu)能實(shi)現(xian)「三(san)馬(ma)奔(ben)騰(teng)」的場(chang)景(jing)。

就連(lian)LeCun都(dou)說(shuo)，該(gai)來(lai)的總(zong)是會(hui)来的。

视覺(jiao)效(xiao)果(guo)超(chao)炫(xuan)

话不(bu)多(duo)说，咱(zan)們(men)直接看(kan)效果。

倆(liang)袋(dai)鼠(shu)在(zai)廚(chu)房(fang)忙(mang)著(zhe)做飯(fan)（做出来能不能吃(chi)另(ling)说）

近景：畫(hua)師(shi)在画布(bu)上(shang)作(zuo)画

大雨(yu)中(zhong)漫(man)步(bu)的二(er)人世(shi)界(jie)（步伐(fa)整(zheng)齊(qi)劃(hua)一）

马在喝(he)水(shui)

芭(ba)蕾(lei)舞(wu)女(nv)孩(hai)在摩(mo)天(tian)大樓(lou)跳(tiao)舞

美(mei)麗(li)的夏(xia)日熱(re)帶(dai)海(hai)灘(tan)上，一只(zhi)金(jin)毛(mao)在吃冰(bing)激(ji)淩(ling)（爪(zhao)子(zi)已(yi)进化(hua)）

貓(mao)主(zhu)子拿(na)着遙(yao)控(kong)器(qi)在看电视（爪子已进化）

一只泰(tai)迪(di)熊(xiong)给自(zi)己(ji)画自画像(xiang)

意(yi)料(liao)之(zhi)外(wai)但(dan)情(qing)理(li)之中的是，狗(gou)拿冰淇(qi)淋(lin)、猫拿遥控器以及(ji)泰迪熊画画的「手(shou)」，果然(ran)都「进化」得和(he)人一樣(yang)啊！（戰(zhan)術(shu)後(hou)仰(yang)）

當(dang)然，Make-A-Video除(chu)了可以把(ba)文本变成视频之外，也可以把靜(jing)態(tai)圖(tu)变成Gif。

輸(shu)入(ru)：

输出：

输入：

输出：（亮(liang)的似(si)乎(hu)有(you)點(dian)不是地(di)方(fang)）

2張(zhang)静图变GIF，输入隕(yun)石(shi)图

输出：

以及，把视频，变成视频？

输入：

输出：

输入：

输出：

技(ji)术原(yuan)理

今(jin)天，Meta放(fang)出了自己的最新研(yan)究(jiu)MAKE-A-VIDEO: TEXT-TO-VIDEO GENERATION WITHOUT TEXT-VIDEO DATA。

論(lun)文地址(zhi)：https://makeavideo.studio/Make-A-Video.pdf

在这个模型出现之前(qian)，我们已經(jing)有了Stable Diffusion。

聰(cong)明(ming)的科(ke)學(xue)家(jia)已经让AI用一句话生成图像了，下(xia)一步他(ta)们会做什么呢(ne)？

很(hen)顯(xian)然，是生成视频。

一只穿(chuan)着紅(hong)色(se)鬥(dou)篷(peng)的超級(ji)英(ying)雄(xiong)狗在天空(kong)中飛(fei)翔(xiang)

比(bi)起生成图像来，生成视频可難(nan)多了。我们不僅(jin)需(xu)要(yao)生成相(xiang)同(tong)主題(ti)和场景的多个幀(zhen)，還(hai)必(bi)須(xu)让它(ta)们及時(shi)、连貫(guan)。

这就增(zeng)加(jia)了图像生成任(ren)務(wu)的復(fu)雜(za)性(xing)——我们不可能就簡(jian)單(dan)地使用DALLE生成60张图像，然后把它们拼(pin)成一个视频。它的效果会很差(cha)，很不真(zhen)实。

因(yin)此(ci)，我们需要一个能夠(gou)以更(geng)强大的方式(shi)理解(jie)世界的模型，並(bing)且(qie)让它按(an)照(zhao)这種(zhong)理解水平(ping)来生成一系(xi)列(lie)连贯的图像。只有这样，这些(xie)图像才(cai)可以天衣(yi)無(wu)縫(feng)地融(rong)合(he)在一起。

也就是说，我们的訴(su)求(qiu)是模擬(ni)一个世界，然后再(zai)模拟它的記(ji)錄(lu)。该怎(zen)么做到呢？

按照以前的思(si)路(lu)，研究人員(yuan)会用大量(liang)的文本-视频對(dui)来訓(xun)練(lian)模型，但在现在的这种情況(kuang)下，这种處(chu)理方法(fa)并不现实。因為(wei)这些數(shu)據(ju)很难獲(huo)得，并且训练成本非常昂(ang)貴(gui)。

因此，研究人员開(kai)了腦(nao)洞(dong)，采(cai)用了一种全(quan)新的方式。

他们選(xuan)擇(ze)开發(fa)一个文本到图像的模型，然后把它應(ying)用於(yu)视频。

巧(qiao)了，前段时間(jian)，Meta就曾(zeng)开发過(guo)这么一个从文本到图像的模型Make-A-Scene。

Make-A-Scene的方法概(gai)述(shu)

这个模型產(chan)生的契(qi)機(ji)是，Meta希(xi)望(wang)推動(dong)創(chuang)意表達(da)，將(jiang)这种文本到图像的趨(qu)勢(shi)與(yu)以前的草(cao)图到图像模型相結(jie)合，从而(er)产生文本和以草图为條(tiao)件(jian)的图像生成之间的奇(qi)妙(miao)融合。

这意味(wei)着我们可以快(kuai)速(su)勾(gou)勒(le)出一只猫，寫(xie)出自己想(xiang)要什么样的图像。遵(zun)循(xun)草图和文本的指(zhi)导，这个模型会在幾(ji)秒(miao)鐘(zhong)內(nei)，生成我们想要的完(wan)美插(cha)图。

你可以把这种多模态生成AI方法看作是一个对生成有更多控制(zhi)的Dall-E模型，因为它还可以将快速草图作为输入。

之所(suo)以稱(cheng)它为多模态，是因为它可以将多种模态作为输入，比如(ru)文本和图像。相比之下，Dall-E只能从文本生成图像。

为了生成视频，就需要加入时间的維(wei)度，因此研究人员在Make-A-Scene模型中添(tian)加了时空管(guan)道。

加入时间维度后，这个模型就不是只生成一张图片(pian)，而是生成16张低(di)分(fen)辨(bian)率(lv)的图片，以创建(jian)一个连贯的短(duan)视频。

这个方法其(qi)实与文本到图像模型類(lei)似，但不同之处在于：在常規(gui)的二维卷(juan)積(ji)的基(ji)礎(chu)上，它增加一维卷积。

只是简单地增加了一维卷积，研究人员就能保(bao)持(chi)預(yu)先(xian)训练的二维卷积不变的同时，增加一个时间维度。然后，研究人员就可以从頭(tou)开始(shi)训练，重(zhong)新使用Make-A-Scene图像模型的大部分代(dai)碼(ma)和參(can)数。

在文本到图像方法中使用常规二维卷积模塊(kuai)之后，增加一维卷积模块

同时，研究人员还想用文本输入来指导这个模型，这将与使用CLIP嵌(qian)入的图像模型非常相似。

在这种情况下，研究人员是在将文本特(te)征(zheng)与图像特征混(hun)合时，增加空间维度，方法同上：保留(liu)Make-A-Scene模型中的註(zhu)意力(li)模块，并为时间增加一个一维注意力模块——复制粘(zhan)貼(tie)图像生成器模型，为多一个维度重复生成模块，来获得16个初(chu)始帧。

在文本到图像方法中使用常规的二维注意力模块之后，增加一维注意力模块

但是只靠(kao)这16个初始帧，还不能生成视频。

研究人员需要从这16个主帧中，制作一个高(gao)清(qing)晰(xi)度的视频。他们采用的方法是：訪(fang)問(wen)之前和未(wei)来的帧，并同时在时间和空间维度上对它们进行叠(die)代插值(zhi)。

就这样，他们在这16个初始帧之间，根(gen)据前后的帧生成了新的、更大的帧，这样就使運(yun)动变得连贯，整體(ti)视频变得流(liu)暢(chang)了。

这是通(tong)过一个帧插值网絡(luo)完成的，它可以采取(qu)已有的图像来填(tian)補(bu)空白(bai)，生成中间的信(xin)息(xi)。在空间维度上，它会做同样的事(shi)情：放大图像，填补像素(su)的空白，使图像更加高清。

总而言(yan)之，为了生成视频，研究人员微(wei)調(tiao)了一个文本到图像的模型。他们采用了一个已经训练好(hao)的强大模型，对它进行调整和训练，让它適(shi)应视频。

因为添加了空间和时间模块，只要简单地让模型适应这些新数据就可以了，而不必重新训练它，这就節(jie)省(sheng)了大量的成本。

这种重新训练使用的是未標(biao)记的视频，只需要教(jiao)模型理解视频和视频帧的一致(zhi)性就可以了，这就可以更简单地建立(li)数据集(ji)。

最后，研究人员再次(ci)使用了图像優(you)化模型，提(ti)高了空间分辨率，并使用了帧插值組(zu)件增加了更多的帧，使视频变得流畅。

当然，目(mu)前Make-A-Video的结果还存(cun)在缺(que)点，就如同文本到图像的模型一样。但我们都知(zhi)道，AI領(ling)域(yu)的进展是多么神速。

如果你想进一步了解，可以参考(kao)鏈(lian)接中Meta AI的论文。社(she)區(qu)也正(zheng)在开发一个PyTorch的实现，如果你想自己实现它，請(qing)繼(ji)續(xu)關(guan)注。

作者(zhe)介(jie)紹(shao)

这篇(pian)论文中有多位(wei)華(hua)人研究人员参与：殷(yin)希、安(an)捷(jie)、张宋(song)揚(yang)、Qiyuan Hu。

殷希，FAIR研究科学家。此前曾供(gong)職(zhi)微軟(ruan)，任Microsoft Cloud and AI 的高级应用科学家。在密(mi)歇(xie)根州(zhou)立大学計(ji)算(suan)机科学与工(gong)程系获博(bo)士(shi)学位，2013年(nian)畢(bi)業(ye)于武(wu)漢(han)大学电氣(qi)工程專(zhuan)业，获学士学位。主要研究领域为多模态理解、大规模目标檢(jian)測(ce)、人臉(lian)推理等(deng)。

安捷，羅(luo)切(qie)斯(si)特大学计算机科学系博士生。师从罗傑(jie)波(bo)教授(shou)。此前于 2016 年和 2019 年在北(bei)京(jing)大学获得学士和碩(shuo)士学位。研究興(xing)趣(qu)包(bao)括(kuo)计算机视觉、深(shen)度生成模型和AI+藝(yi)术。作为实習(xi)生参与了Make-A-Video研究。

Qiyuan Hu，时任FAIR的AI Resident，从事提高人类创造(zao)力的多模态生成模型的研究。她(ta)在芝(zhi)加哥(ge)大学获得醫(yi)学物(wu)理学博士学位，曾从事AI輔(fu)助(zhu)的医学图像分析(xi)工作。现已供职Tempus Labs，任机器学习科学家。

网友大受震撼

前段时间，谷(gu)歌(ge)等大廠(chang)紛(fen)纷放出自家的文本到图像模型，如Parti，等等。

有人甚(shen)至(zhi)認(ren)为文本到视频生成模型还有一段时间才能到来。

没想到，Meta这次投(tou)了一顆(ke)重磅(bang)炸(zha)彈(dan)。

其实，同在今天，还有一个文本到视频生成模型Phenaki，目前已提交(jiao)到ICLR 2023，由(you)于还处于盲(mang)審(shen)階(jie)段，作者机構(gou)还是未知。

网友称，从DALLE到Stable Diffuson再到Make-A-Video，一切来得太快。

参考資(zi)料：

https://makeavideo.studio/

https://makeavideo.studio/Make-A-Video.pdf

https://www.louisbouchard.ai/make-a-video/返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：