cetv1在线观看直播回放

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>DeepFake從(cong)未(wei)如(ru)此(ci)真(zhen)實(shi)！英(ying)偉(wei)達(da)最(zui)新(xin)提(ti)出(chu)的(de)「隱(yin)式(shi)扭(niu)曲(qu)」到(dao)底(di)有(you)多(duo)強(qiang)？

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】咱(zan)們(men)多了(le)個(ge)新玩(wan)具(ju)，騙(pian)子(zi)也(ye)多了个新工(gong)具？

近(jin)年(nian)來(lai)，計(ji)算(suan)機(ji)視(shi)覺(jiao)領(ling)域(yu)的生(sheng)成(cheng)技(ji)術(shu)越(yue)来越强，相(xiang)應(ying)「偽(wei)造(zao)」技术也越来越成熟(shu)，从DeepFake換(huan)臉(lian)到動(dong)作(zuo)模(mo)擬(ni)，讓(rang)人(ren)難(nan)辨(bian)真假(jia)。

最近英伟达又(you)整(zheng)了个大(da)的，在(zai)NeurIPS 2022會(hui)議(yi)上(shang)發(fa)表(biao)了壹(yi)个新的隐式扭曲（Implicit Warping）框(kuang)架(jia)，使(shi)用(yong)一組(zu)源(yuan)圖(tu)像(xiang)和(he)驅(qu)动视頻(pin)的運(yun)动来制(zhi)作目(mu)標(biao)动畫(hua)。

論(lun)文(wen)鏈(lian)接(jie)：https://arxiv.org/pdf/2210.01794.pdf

从效(xiao)果(guo)上来看(kan)，就(jiu)是(shi)生成的图像更(geng)逼(bi)真了，人物(wu)在视频裏(li)动，背(bei)景(jing)也不(bu)会发生變(bian)化(hua)。

輸(shu)入(ru)的多張(zhang)源图片(pian)通(tong)常(chang)都(dou)会提供(gong)不同(tong)的外(wai)觀(guan)信(xin)息(xi)，減(jian)少(shao)了生成器(qi)「幻(huan)想(xiang)」的空(kong)間(jian)，比(bi)如下(xia)面(mian)這(zhe)兩(liang)张作為(wei)模型(xing)输入。

可(ke)以(yi)发現(xian)，和其(qi)他(ta)模型相比，隐式扭曲不会產(chan)生類(lei)似(si)美(mei)顏(yan)效果的「空间扭曲」之(zhi)术。

（从左(zuo)到右(you)）驱动视频、FOMM、fv2v、隐式扭曲

因(yin)为人物遮(zhe)擋(dang)的關(guan)系(xi)，多张源图像還(hai)可以提供更完(wan)善(shan)的背景。

从下面的视频中(zhong)可以看到，如果只(zhi)有左面的一张图片，背景後(hou)面的是「BD」还是「ED」很(hen)难猜(cai)測(ce)出来，就会导致(zhi)背景的失(shi)真，而(er)两张图片就会生成更穩(wen)定(ding)的图像。

（从左到右）驱动视频、單(dan)源图像、FOMM、隐式扭曲

在對(dui)比其他模型時(shi)，只有一张源图像的效果也要(yao)更好(hao)。

神(shen)奇(qi)的隐式扭曲

學(xue)术界(jie)对於(yu)视频模仿(fang)最早(zao)可以追(zhui)溯(su)到2005年，很多項(xiang)目面部(bu)再(zai)现的实时表情(qing)傳(chuan)输、Face2Face、合(he)成奧(ao)巴(ba)馬(ma)、Recycle-GAN、ReenactGAN、动態(tai)神經(jing)輻(fu)射(she)場(chang)等(deng)等多樣(yang)化地(di)利(li)用當(dang)时有限(xian)的幾(ji)種(zhong)技术，如生成对抗(kang)網(wang)絡(luo)(GAN) 、神经辐射场(NeRF)和自(zi)编碼(ma)器。

並(bing)不是所(suo)有方(fang)法(fa)都在嘗(chang)試(shi)从单一幀(zhen)图像中生成视频，也有一些(xie)研(yan)究(jiu)对视频中的每(mei)一帧進(jin)行(xing)復(fu)雜(za)的计算，这实際(ji)上也正(zheng)是Deepfake所走(zou)的模仿路(lu)線(xian)。

但(dan)由(you)于DeepFake模型獲(huo)取(qu)的信息較(jiao)少，这种方法需(xu)要对每个视频片段(duan)进行訓(xun)練(lian)，相比DeepFaceLab或(huo)FaceSwap的開(kai)源方法相比性(xing)能(neng)有所下降(jiang)，这两个模型能夠(gou)將(jiang)一个身(shen)份(fen)强加(jia)到任(ren)意(yi)數(shu)量(liang)的视频片段中。

2019年发布(bu)的FOMM模型让人物隨(sui)著(zhe)视频动起(qi)来，給(gei)视频模仿任務(wu)再次(ci)註(zhu)入了一針(zhen)强心(xin)劑(ji)。

随后其他研究人員(yuan)试图从单一的面孔(kong)图像或者(zhe)全(quan)身表现中获得(de)多个姿(zi)勢(shi)和表情；但是这种方法通常只適(shi)用于那(na)些相对沒(mei)有表情和不能动的主(zhu)體(ti)，例(li)如相对靜(jing)止(zhi)的「說(shuo)話(hua)的頭(tou)」，因为在面部表情或者姿势中没有网络必(bi)須(xu)解(jie)釋(shi)的「行为突(tu)然(ran)变化」。

雖(sui)然其中一些技术和方法在深(shen)度(du)伪造技术和潛(qian)在的擴(kuo)散(san)图像合成方法大火(huo)之前(qian)获得了公(gong)眾(zhong)的关注，但适用範(fan)圍(wei)有限，多功(gong)能性受(shou)到質(zhi)疑(yi)。

而英伟达此次着重(zhong)處(chu)理(li)的隐式扭曲，則(ze)是在多帧之间甚(shen)至(zhi)只有两帧之间获取信息，而非(fei)从一帧中获得所有必要的姿势信息，这种設(she)置(zhi)在其他的競(jing)爭(zheng)模型中都不存(cun)在，或者处理得非常糟(zao)糕(gao)。

比如迪(di)士(shi)尼(ni)的工作流(liu)程(cheng)就是由高(gao)級(ji)动画師(shi)繪(hui)制主框架和关鍵(jian)帧，其他初(chu)级动画师負(fu)責(ze)绘制中间帧。

通過(guo)对以前版(ban)本(ben)的测试，英伟达的研究人员发现，以前方法的結(jie)果质量会随着額(e)外的「关键帧」而惡(e)化，而新方法與(yu)动画制作的邏(luo)辑一致，随着关键帧数量的增(zeng)加，性能也会以线性的方式提高。

如果clip的中间发生了一些突然的轉(zhuan)变，比如一个事(shi)件(jian)或者表情在起始(shi)帧或者结束(shu)帧中都没有表现出来，隐式扭曲可以在这中间點(dian)添(tian)加一帧，额外的信息会反(fan)饋(kui)到整个clip的注意机制中。

模型结構(gou)

先(xian)前的方法，如 FOMM，Monkey-Net 和face-vid2vid等使用顯(xian)式扭曲绘制一个时间序(xu)列(lie)，从源人脸和控(kong)制运动中提取的信息必须适应且(qie)符(fu)合这个时间序列。

在这种模型设计下，关键点的最終(zhong)映(ying)射是相当嚴(yan)格(ge)的。

相比之下，隐式扭曲使用一个跨(kua)模态注意層(ceng)，其工作流中包(bao)含(han)更少的預(yu)定義(yi)bootstrapping，可以适应来自多个框架的输入。

工作流也不需要在每个关键点的基(ji)礎(chu)上进行扭曲，系統(tong)可以从一系列图像中選(xuan)擇(ze)最合适的特(te)性。

隐式扭曲也复用了一些FOMM框架中的关键点预测组件，最终用一个簡(jian)单的U-net对派(pai)生的空间驱动关键点表示(shi)进行编码。另(ling)外一个单獨(du)的U-net则用来与衍(yan)生的空间表示一起对源图像进行编码，两个网络都可以在64px (256px 平(ping)方输出)到384x384px 的分(fen)辨率(lv)范围內(nei)运行。

因为这种机制不能自动解释任何(he)给定视频中姿势和运动的所有可能变化，所以额外的关键帧是很必要的，可以臨(lin)时添加。如果没有这种幹(gan)预能力(li)，与目标运动点相似度不足(zu)的key将自动uprate，从而导致输出质量的下降。

研究人员对此的解释是，虽然它(ta)是一组给定的关键帧中与query最相似的key，但可能不足以产生一个好的输出。

例如，假设源图像有一张嘴(zui)唇(chun)閉(bi)合的脸，而驱动图像有一张嘴唇张开、牙(ya)齒(chi)暴(bao)露(lu)的脸。在这种情況(kuang)下，源图像中没有适合驱动图像嘴部區(qu)域的key(和value)。

該(gai)方法通过学習(xi)额外的与图像無(wu)关的key-value pairs来克(ke)服(fu)这个問(wen)題(ti)，可以应对源图像中缺(que)少信息的情况。

盡(jin)管(guan)目前的实现速(su)度相当快(kuai)，在512x512px 的图像上大約(yue)10 FPS，研究人员認(ren)为，在未来的版本中，pipeline可以通过一个因子化的 I-D 注意力层或空间降低(di)注意力(SRA)层(即(ji)金(jin)字(zi)塔(ta)视觉Transformer)来優(you)化。

由于隐式扭曲使用的是全局(ju)注意力而不是局部注意力，因此它可以预测之前模型无法预测的因素(su)。

实驗(yan)结果

研究人员在 VoxCeleb2数據(ju)集(ji)，更具挑(tiao)戰(zhan)性的 TED Talk 数据集和 TalkingHead-1KH 数据集上测试了该系统，比较了256x256px 和完整的512x512px 分辨率之间的基线，使用的指(zhi)标包括(kuo)FID、基于 AlexNet的LPIPS和峰(feng)值(zhi)信噪(zao)比(pSNR)。

用于测试的对比框架包括FOMM和face-vid2vid，以及(ji)AA-PCA，由于以前的方法很少或根(gen)本没有能力使用多个关键帧，这也是隐式扭曲的主要創(chuang)新，研究人员还设计了相似测试方法。

隐式扭曲在大多数指标上表现优于大多数对比方法。

在多关键帧重建(jian)测试中，研究人员使用最多180帧序列，并选择间隙(xi)帧，隐式扭曲这次获得了全面勝(sheng)利。

随着源图像数量的增加，该方法可以获得更好的重建结果，所有指标的得分都有所提高。

而随着源图像数量的增加，先前工作的重建效果变差(cha)，与预期(qi)相反。

通过AMT的工作人员进行定性研究后，也认为隐式变形(xing)的生成结果强于其他方法。

如果能够使用这种框架，用戶(hu)将能够制作出更連(lian)貫(guan)、更長(chang)的视频模拟和全身深度假视频，所有这些都能够展(zhan)现出比该系统已(yi)经试验过的任何框架都要大得多的运动范围。

不过更逼真的图像合成研究也帶(dai)来了擔(dan)憂(you)，因为这些技术可以輕(qing)易(yi)地用于伪造，论文中也有标準(zhun)的免(mian)责聲(sheng)明(ming)。

如果我(wo)们的方法被(bei)用来制造DeepFake产品(pin)，就有可能产生负面影(ying)響(xiang)。恶意語(yu)音(yin)合成透(tou)过跨身份转移(yi)及传送(song)虛(xu)假資(zi)料(liao)，制作人物的虚假影像，导致身份被盜(dao)用或传播(bo)虚假新聞(wen)。但在受控设置中，同样的技术也可以用于娛(yu)樂(le)目的。

论文还指出了该系统在神经视频重建方面的潜力，比如谷(gu)歌(ge)的Project Starline，在这个框架中，重建工作主要集中在客(ke)户端(duan)，利用来自另一端的人的稀(xi)疏(shu)运动信息。

这个方案(an)越来越引(yin)起研究界的興(xing)趣(qu)，并且也有公司(si)打(da)算通过发送純(chun)运动数据或者稀疏间隔(ge)的关键帧来实现低带寬(kuan)的電(dian)话会议，这些关键帧将在到达目标客户端时被解释和插(cha)入到完整的高清(qing)视频中。

參(can)考(kao)资料：

https://metaphysic.ai/nvidias-implicit-warping-is-a-potentially-powerful-deepfake-technique/返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

责任编辑：