告别尺寸烦恼，快速了解广告发光字规格

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>化(hua)妝(zhuang)師(shi)即(ji)將(jiang)下(xia)崗(gang)？迪(di)士(shi)尼(ni)發(fa)布(bu)首(shou)個(ge)可(ke)實(shi)用(yong)的(de)re-age模(mo)型(xing)FRAN，覆(fu)蓋(gai)18-85歲(sui)人(ren)臉(lian)變(bian)化

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】迪士尼发布首个可用於(yu)真(zhen)实場(chang)景(jing)的、全(quan)自(zi)動(dong)化的re-age模型FRAN，圖(tu)像(xiang)变化完(wan)全可控(kong)！

看(kan)過(guo)《本(ben)傑(jie)明(ming)·巴(ba)頓(dun)奇(qi)事(shi)》的小(xiao)夥(huo)伴(ban)壹(yi)定(ding)會(hui)對(dui)皮(pi)特(te)在(zai)劇(ju)中(zhong)同(tong)時(shi)飾(shi)演(yan)老(lao)年(nian)、中年和(he)青(qing)年巴顿感(gan)到(dao)印(yin)象(xiang)深(shen)刻(ke)，該(gai)影(ying)片(pian)還(hai)在2009年斬(zhan)獲(huo)了(le)最(zui)佳(jia)化妆等(deng)三(san)項(xiang)奧(ao)斯(si)卡(ka)大(da)獎(jiang)。

十(shi)幾(ji)年後(hou)的今(jin)天(tian)，雖(sui)然(ran)當(dang)下計(ji)算(suan)機(ji)視(shi)覺(jiao)模型可以(yi)对人脸的年齡(ling)進(jin)行(xing)生(sheng)成(cheng)、風(feng)格(ge)遷(qian)移(yi)等，但(dan)這(zhe)也(ye)只(zhi)是(shi)看起(qi)來(lai)炫(xuan)酷(ku)，在实際(ji)應(ying)用中卻(que)几乎(hu)零(ling)作(zuo)用，現(xian)有(you)的技(ji)術(shu)通(tong)常(chang)存(cun)在著(zhe)面(mian)部(bu)特征(zheng)丟(diu)失(shi)、分(fen)辨(bian)率(lv)低(di)和在后續(xu)视頻(pin)幀(zhen)中結(jie)果(guo)不(bu)穩(wen)定的問(wen)題(ti)，往(wang)往需(xu)要(yao)人工(gong)二(er)次(ci)编辑。

最近(jin)迪士尼发布了第(di)一个可实用的、完全自动化的、可用于生產(chan)使(shi)用的视频图像中re-age人脸的方(fang)法(fa)FRAN(Face Re-Aging Network)，正(zheng)式(shi)宣(xuan)告(gao)電(dian)影中靠(kao)化妆师改(gai)变演員(yuan)年龄视觉效(xiao)果的技术落(luo)幕(mu)。

論(lun)文(wen)鏈(lian)接(jie)：https://studios.disneyresearch.com/2022/11/30/production-ready-face-re-aging-for-visual-effects/

论文中的第一个關(guan)鍵(jian)思(si)路(lu)是解(jie)決(jue)收(shou)集(ji)訓(xun)練(lian)數(shu)據(ju)的问题，以便(bian)在較(jiao)長(chang)的时間(jian)跨(kua)度(du)下讓(rang)模型學(xue)習(xi)到如(ru)何(he)re-age人脸。

但对于真实场景中存在的大量(liang)人物(wu)来說(shuo)，这是一项几乎不可能(neng)完成的任(ren)務(wu)。

研(yan)究(jiu)人员使用 StyleGAN2隨(sui)机生成了大量的年龄在18岁至(zhi)85岁之(zhi)间的人工合(he)成人脸，有了这樣(yang)一个数据集，就(jiu)可以用于模型训练。

论文中的第二个关键思路是，利(li)用这些(xie)合成数据，将面部re-age任务定義(yi)為(wei)图像到图像的轉(zhuan)換(huan)任务，这一步(bu)可以通过训练一个U-Net模型来完成，而(er)無(wu)需更(geng)復(fu)雜(za)的網(wang)絡(luo)設(she)计。

最終(zhong)FRAN模型成功(gong)学习到了人的外(wai)貌(mao)是如何随着年龄变化而改变的，並(bing)且(qie)在训练完成后，可以直(zhi)接逐(zhu)帧地(di)用于真正的演员身(shen)上(shang)。

实驗(yan)结果中展(zhan)示(shi)了簡(jian)單(dan)的U-Net是如何在视频上推(tui)进真实人脸的Re-Age技术的，其(qi)以前(qian)所(suo)未(wei)有的时间稳定性(xing)，并在不同的表(biao)情(qing)、视角(jiao)和照(zhao)明條(tiao)件(jian)下均(jun)能保(bao)持(chi)面部特征。

研究人员还为 FRAN 開(kai)发了一个用戶(hu)友(you)好(hao)的界(jie)面，允(yun)許(xu)藝(yi)术家(jia)在生产環(huan)境(jing)中輕(qing)松(song)使用该工具(ju)，为艺术家提(ti)供(gong)了局(ju)部控制(zhi)和創(chuang)造(zao)性的自由(you)，以指(zhi)导和微(wei)調(tiao)re-age效果。

全自动化Re-Age

在过去(qu)的几年裏(li)，在电影制作和廣(guang)告中使用数字(zi)老化或(huo)減(jian)龄人類(lei)角色(se)的情況(kuang)急(ji)剧增(zeng)加(jia)，比(bi)如在《愛(ai)爾(er)蘭(lan)人》（The Irishman）中让羅(luo)伯(bo)特-德(de)尼罗（Robert De Niro）顯(xian)得(de)更年轻，或是在抗(kang)擊(ji)瘧(nue)疾(ji)的广告活(huo)动中让大衛(wei)-貝(bei)克(ke)漢(han)姆(mu)看起来衰(shuai)老，都(dou)需要用到Re-Age技术。

一般(ban)来说，有兩(liang)種(zhong)不同的方法常用于CG数字re-age。

1. 沿(yan)用傳(chuan)統(tong)的三維(wei)面部建(jian)模pieline，对一个完整(zheng)的三维re-age面部裝(zhuang)備(bei)进行建模、动畫(hua)和渲(xuan)染(ran)，以取(qu)代(dai)场景中的原(yuan)始(shi)肖(xiao)像。

这种方法需要在re-age前制作一个完整的三维面部装备来輔(fu)助(zhu)操(cao)作，由于其复杂性并且所需时间过长，通常只会应用在那(na)些頂(ding)級(ji)流(liu)量的明星(xing)演员上或是有特寫(xie)的鏡(jing)頭(tou)。

2. 遵(zun)循(xun)一个純(chun)粹(cui)的二维painting（即照片）的工作流程(cheng)，对拍(pai)攝(she)完成后的视频中每(mei)一帧进行编辑合成，改变演员的年龄。

虽然这种方法所提供的整體(ti)控制不如完全的三维方法（例(li)如，视角或场景照明变化过大），但與(yu)三维方法相(xiang)比，这种方法極(ji)其简单易(yi)用，也不需要提前对演员进行面部掃(sao)描(miao)并制作面部装备。

因(yin)此(ci)，二维数字re-age在業(ye)內(nei)逐漸(jian)受(shou)到关註(zhu)，并被(bei)用于一些大片的制作中，如《蟻(yi)人》中的邁(mai)克尔-道格拉(la)斯和《驚(jing)奇隊(dui)长》中的塞(sai)繆(mou)尔-杰克遜(xun)的re-age。

虽然re-age的二维工作流程是比较直觀(guan)且简便的，但其仍(reng)然需要專(zhuan)业人员逐帧对表演视频进行手(shou)动编辑。

例如，在使演员变老时，每一帧都必(bi)須(xu)整合預(yu)期(qi)的耳(er)朵(duo)和鼻(bi)子(zi)的增长，肌(ji)肉(rou)張(zhang)力(li)的喪(sang)失和面部皮膚(fu)的下垂(chui)，动態(tai)皺(zhou)紋(wen)的增加，甚(shen)至皮肤色素(su)和血(xue)流的变化。

整个过程需要熟(shu)练的艺术家来实现高(gao)質(zhi)量的逼(bi)真和时间上連(lian)貫(guan)的结果，即使是一个单一的镜头，也可能需要几天的时间来重(zhong)新制作。

而迪士尼提出(chu)的FRAN模型則(ze)是完全自动化且可控的高分辨率面部re-age方法，可以直接適(shi)用于视频图像中完整的镜头，每个视频帧所消(xiao)耗(hao)的时间大概(gai)不到5秒(miao)鐘(zhong)。

FRAN模型

为了实现对任意(yi)表情、视角和光(guang)照下的人脸视频图像能夠(gou)保留(liu)identity并且可控地re-age，研究人员将该问题形(xing)式化为图像到图像的转换。

数据合成

第一个关键部分是找(zhao)到一个有效的策(ce)略(lve)，繞(rao)过看似(si)不可能完成的任务，即获取在不同视角下描述(shu)各(ge)种身份(fen)、年龄和种族(zu)的图像数据集。

为了以完全監(jian)督(du)的方式训练re-age网络，数据集需要大量的輸(shu)入(ru)-输出图像对，其中每对图像中的图像描繪(hui)相同的人物，具有相同的面部表情、姿(zi)勢(shi)、照明和背(bei)景，但處(chu)于两个不同的已(yi)知(zhi)年龄。

显然，如果数据集里都是真人的話(hua)，那麽(me)这项任务几乎是不可能完成的。

已經(jing)有相关工作利用上了在大量真实人脸上预训练的神(shen)经面部模型的潛(qian)空(kong)间内的語(yu)义操作，不过这些模型中通常在「真实人脸」上表现不佳，虽然操作是近似的，但可能会导致(zhi)身份漂(piao)移。

有一點(dian)不可否(fou)認(ren)，这些模型確(que)实已经捕(bu)捉(zhuo)到了re-age过程的语义，这一特性使得研究人员可以在潜空间进行遍(bian)歷(li)来合成高质量的re-age数据集。

在时间上向(xiang)前和向后遍历后，会为特定身份生成一个连续的年龄变化过程，從(cong)而生成大量的图像对用于训练，也可以在不同的视角、面部表情、照明条件和背景下对其进行采(cai)样，提升(sheng)模型的真实性，

研究人员選(xuan)擇(ze)使用最新的基(ji)于风格的年龄操縱(zong)（SAM, Style-based Age Manipulation）方法对训练数据集进行采样，该路徑(jing)只改变年龄，对其他(ta)面部屬(shu)性几乎沒(mei)有副(fu)作用，从而符(fu)合最大化面部皮肤區(qu)域(yu)数字re-age质量的目(mu)標(biao)。

根(gen)据上述策略，最终创建了一个包(bao)含(han)2000个身份的人脸re-age训练数据集，每个身份具有18至85岁範(fan)圍(wei)内的14个不同年龄，因此每个采样身份總(zong)共(gong)提供196个训练对。

获得高质量的数据后，模型问题就变得简单了。

模型架(jia)構(gou)

问题中的第二个关键因素是为设计一个适当的參(can)数空间，能够在不斷(duan)变化的表情和视角中保持身份，并在不同的视频帧中保持良(liang)好的一致性。

考(kao)慮(lv)到任务中图像到图像的翻(fan)譯(yi)性质，研究人员为FRAN采用了熟悉(xi)和成熟的U-Net架构设计，并为翻译质量和re-age控制做(zuo)了小的调整。

FRAN的输入为5个通道，包括(kuo)RGB图像和两个单通道表示年龄（指定了每个图像像素的输入和输出年龄）。

U-Net需要预測(ce)每个像素的RGB deltas（偏(pian)移量），这些偏移量被添(tian)加到输入图像上，以形成最终的re-age结果。

此外，这些输入年龄通道不一定是是恒(heng)定的，可以主(zhu)观来推测年龄，然后用其他值(zhi)进行填(tian)充(chong)，以控制脸部不同区域的re-age量。

使用输入的年龄值也可以用来控制FRAN，使其可以更容(rong)易整合预训练好的脸部分割(ge)网络，可以自动控制生成的效果，将其限(xian)制在脸部的特定区域。

FRAN使用成对的、具有L1、perceptual和对抗性損(sun)失的合成数据进行训练。

实验部分

首先(xian)对几张靜(jing)止(zhi)的照片进行re-age，对于每张有估(gu)计原始年龄的输入照片，要求(qiu)网络单獨(du)输出从20岁到80岁的不同年龄的图像，每10年变化一次。

可以看到生成结果不僅(jin)在年龄上是平(ping)滑(hua)和连续的，而且还与输入图像的identity非(fei)常接近。

在时间稳定性的测試(shi)中，显示了两段(duan)不同视频的3帧中两个人的老化情况，该方法可以稳健(jian)地处理(li)不同的头部姿势和极端(duan)的光線(xian)条件，并产生时间上一致的re-age结果。

再(zai)将该方法应用于表情、头部姿势和光照的受控变化，可以进一步評(ping)估re-age年龄的一致性。

即便输入图像存在運(yun)动模糊(hu)等情况，该方法仍然可以正确输出re-age后的结果，这一特点使得用户可以很(hen)容易地将该网络应用于视频帧，而不需要预先或后期处理步驟(zhou)，比如预先銳(rui)化或后期应用模糊过濾(lv)器(qi)来匹(pi)配(pei)原始镜头。

最后，研究人员将该re-age结果与现实世(shi)界的图像进行比较，两张相同人物的图像分別(bie)拍摄于2007年和2022年，直观来看该方法生成的re-age结果确实可以生成合理的目标年龄图像。

参考資(zi)料(liao)：

https://arstechnica.com/information-technology/2022/11/disney-creates-ai-fountain-of-youth-for-actors/返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多(duo)

責(ze)任编辑：