That model is currently overloaded with other requests. You can retry your request, or contact us through our help center at help.openai.com if the error persists. (Please include the request ID d05bd0c0896890c28e23fed7a10995fa in your message.)

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>化(hua)妝(zhuang)師(shi)即(ji)將(jiang)下(xia)崗(gang)？迪(di)士(shi)尼(ni)發(fa)布(bu)首(shou)個(ge)可(ke)實(shi)用(yong)的(de)re-age模(mo)型(xing)FRAN，覆(fu)蓋(gai)18-85歲(sui)人(ren)臉(lian)變(bian)化

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】迪士尼发布首个可用於(yu)真(zhen)实場(chang)景(jing)的、全(quan)自(zi)動(dong)化的re-age模型FRAN，圖(tu)像(xiang)变化完(wan)全可控(kong)！

看(kan)過(guo)《本(ben)傑(jie)明(ming)·巴(ba)頓(dun)奇(qi)事(shi)》的小(xiao)夥(huo)伴(ban)壹(yi)定(ding)會(hui)對(dui)皮(pi)特(te)在(zai)劇(ju)中(zhong)同(tong)時(shi)飾(shi)演(yan)老(lao)年(nian)、中年和(he)青(qing)年巴顿感(gan)到(dao)印(yin)象(xiang)深(shen)刻(ke)，該(gai)影(ying)片(pian)還(hai)在2009年斬(zhan)獲(huo)了(le)最(zui)佳(jia)化妆等(deng)三(san)項(xiang)奧(ao)斯(si)卡(ka)大(da)獎(jiang)。

十(shi)幾(ji)年後(hou)的今(jin)天(tian)，雖(sui)然(ran)當(dang)下計(ji)算(suan)機(ji)視(shi)覺(jiao)模型可以(yi)对人脸的年齡(ling)進(jin)行(xing)生(sheng)成(cheng)、風(feng)格(ge)遷(qian)移(yi)等，但(dan)這(zhe)也(ye)只(zhi)是(shi)看起(qi)來(lai)炫(xuan)酷(ku)，在实際(ji)應(ying)用中卻(que)几乎(hu)零(ling)作(zuo)用，現(xian)有(you)的技(ji)術(shu)通(tong)常(chang)存(cun)在著(zhe)面(mian)部(bu)特征(zheng)丟(diu)失(shi)、分(fen)辨(bian)率(lv)低(di)和在后續(xu)视頻(pin)幀(zhen)中結(jie)果(guo)不(bu)穩(wen)定的問(wen)題(ti)，往(wang)往需(xu)要(yao)人工(gong)二(er)次(ci)编辑。

最近(jin)迪士尼发布了第(di)一个可实用的、完全自动化的、可用于生產(chan)使(shi)用的视频图像中re-age人脸的方(fang)法(fa)FRAN(Face Re-Aging Network)，正(zheng)式(shi)宣(xuan)告(gao)電(dian)影中靠(kao)化妆师改(gai)变演員(yuan)年龄视觉效(xiao)果的技术落(luo)幕(mu)。

論(lun)文(wen)鏈(lian)接(jie)：https://studios.disneyresearch.com/2022/11/30/production-ready-face-re-aging-for-visual-effects/

论文中的第一个關(guan)鍵(jian)思(si)路(lu)是解(jie)決(jue)收(shou)集(ji)訓(xun)練(lian)數(shu)據(ju)的问题，以便(bian)在較(jiao)長(chang)的时間(jian)跨(kua)度(du)下讓(rang)模型學(xue)習(xi)到如(ru)何(he)re-age人脸。

但对于真实场景中存在的大量(liang)人物(wu)来說(shuo)，这是一项几乎不可能(neng)完成的任(ren)務(wu)。

研(yan)究(jiu)人员使用 StyleGAN2隨(sui)机生成了大量的年龄在18岁至(zhi)85岁之(zhi)间的人工合(he)成人脸，有了这樣(yang)一个数据集，就(jiu)可以用于模型训练。

论文中的第二个关键思路是，利(li)用这些(xie)合成数据，将面部re-age任务定義(yi)為(wei)图像到图像的轉(zhuan)換(huan)任务，这一步(bu)可以通过训练一个U-Net模型来完成，而(er)無(wu)需更(geng)復(fu)雜(za)的網(wang)絡(luo)設(she)计。

最終(zhong)FRAN模型成功(gong)学习到了人的外(wai)貌(mao)是如何随着年龄变化而改变的，並(bing)且(qie)在训练完成后，可以直(zhi)接逐(zhu)帧地(di)用于真正的演员身(shen)上(shang)。

实驗(yan)结果中展(zhan)示(shi)了簡(jian)單(dan)的U-Net是如何在视频上推(tui)进真实人脸的Re-Age技术的，其(qi)以前(qian)所(suo)未(wei)有的时间稳定性(xing)，并在不同的表(biao)情(qing)、视角(jiao)和照(zhao)明條(tiao)件(jian)下均(jun)能保(bao)持(chi)面部特征。

研究人员还为 FRAN 開(kai)发了一个用戶(hu)友(you)好(hao)的界(jie)面，允(yun)許(xu)藝(yi)术家(jia)在生产環(huan)境(jing)中輕(qing)松(song)使用该工具(ju)，为艺术家提(ti)供(gong)了局(ju)部控制(zhi)和創(chuang)造(zao)性的自由(you)，以指(zhi)导和微(wei)調(tiao)re-age效果。

全自动化Re-Age

在过去(qu)的几年裏(li)，在电影制作和廣(guang)告中使用数字(zi)老化或(huo)減(jian)龄人類(lei)角色(se)的情況(kuang)急(ji)剧增(zeng)加(jia)，比(bi)如在《愛(ai)爾(er)蘭(lan)人》（The Irishman）中让羅(luo)伯(bo)特-德(de)尼罗（Robert De Niro）顯(xian)得(de)更年轻，或是在抗(kang)擊(ji)瘧(nue)疾(ji)的广告活(huo)动中让大衛(wei)-貝(bei)克(ke)漢(han)姆(mu)看起来衰(shuai)老，都(dou)需要用到Re-Age技术。

一般(ban)来说，有兩(liang)種(zhong)不同的方法常用于CG数字re-age。

1. 沿(yan)用傳(chuan)統(tong)的三維(wei)面部建(jian)模pieline，对一个完整(zheng)的三维re-age面部裝(zhuang)備(bei)进行建模、动畫(hua)和渲(xuan)染(ran)，以取(qu)代(dai)场景中的原(yuan)始(shi)肖(xiao)像。

这种方法需要在re-age前制作一个完整的三维面部装备来輔(fu)助(zhu)操(cao)作，由于其复杂性并且所需时间过长，通常只会应用在那(na)些頂(ding)級(ji)流(liu)量的明星(xing)演员上或是有特寫(xie)的鏡(jing)頭(tou)。

2. 遵(zun)循(xun)一个純(chun)粹(cui)的二维painting（即照片）的工作流程(cheng)，对拍(pai)攝(she)完成后的视频中每(mei)一帧进行编辑合成，改变演员的年龄。

虽然这种方法所提供的整體(ti)控制不如完全的三维方法（例(li)如，视角或场景照明变化过大），但與(yu)三维方法相(xiang)比，这种方法極(ji)其简单易(yi)用，也不需要提前对演员进行面部掃(sao)描(miao)并制作面部装备。

因(yin)此(ci)，二维数字re-age在業(ye)內(nei)逐漸(jian)受(shou)到关註(zhu)，并被(bei)用于一些大片的制作中，如《蟻(yi)人》中的邁(mai)克尔-道格拉(la)斯和《驚(jing)奇隊(dui)长》中的塞(sai)繆(mou)尔-杰克遜(xun)的re-age。

虽然re-age的二维工作流程是比较直觀(guan)且简便的，但其仍(reng)然需要專(zhuan)业人员逐帧对表演视频进行手(shou)动编辑。

例如，在使演员变老时，每一帧都必(bi)須(xu)整合預(yu)期(qi)的耳(er)朵(duo)和鼻(bi)子(zi)的增长，肌(ji)肉(rou)張(zhang)力(li)的喪(sang)失和面部皮膚(fu)的下垂(chui)，动態(tai)皺(zhou)紋(wen)的增加，甚(shen)至皮肤色素(su)和血(xue)流的变化。

整个过程需要熟(shu)练的艺术家来实现高(gao)質(zhi)量的逼(bi)真和时间上連(lian)貫(guan)的结果，即使是一个单一的镜头，也可能需要几天的时间来重(zhong)新制作。

而迪士尼提出(chu)的FRAN模型則(ze)是完全自动化且可控的高分辨率面部re-age方法，可以直接適(shi)用于视频图像中完整的镜头，每个视频帧所消(xiao)耗(hao)的时间大概(gai)不到5秒(miao)鐘(zhong)。

FRAN模型

为了实现对任意(yi)表情、视角和光(guang)照下的人脸视频图像能夠(gou)保留(liu)identity并且可控地re-age，研究人员将该问题形(xing)式化为图像到图像的转换。

数据合成

第一个关键部分是找(zhao)到一个有效的策(ce)略(lve)，繞(rao)过看似(si)不可能完成的任务，即获取在不同视角下描述(shu)各(ge)种身份(fen)、年龄和种族(zu)的图像数据集。

为了以完全監(jian)督(du)的方式训练re-age网络，数据集需要大量的輸(shu)入(ru)-输出图像对，其中每对图像中的图像描繪(hui)相同的人物，具有相同的面部表情、姿(zi)勢(shi)、照明和背(bei)景，但處(chu)于两个不同的已(yi)知(zhi)年龄。

显然，如果数据集里都是真人的話(hua)，那麽(me)这项任务几乎是不可能完成的。

已經(jing)有相关工作利用上了在大量真实人脸上预训练的神(shen)经面部模型的潛(qian)空(kong)间内的語(yu)义操作，不过这些模型中通常在「真实人脸」上表现不佳，虽然操作是近似的，但可能会导致(zhi)身份漂(piao)移。

有一點(dian)不可否(fou)認(ren)，这些模型確(que)实已经捕(bu)捉(zhuo)到了re-age过程的语义，这一特性使得研究人员可以在潜空间进行遍(bian)歷(li)来合成高质量的re-age数据集。

在时间上向(xiang)前和向后遍历后，会为特定身份生成一个连续的年龄变化过程，從(cong)而生成大量的图像对用于训练，也可以在不同的视角、面部表情、照明条件和背景下对其进行采(cai)样，提升(sheng)模型的真实性，

研究人员選(xuan)擇(ze)使用最新的基(ji)于风格的年龄操縱(zong)（SAM, Style-based Age Manipulation）方法对训练数据集进行采样，该路徑(jing)只改变年龄，对其他(ta)面部屬(shu)性几乎沒(mei)有副(fu)作用，从而符(fu)合最大化面部皮肤區(qu)域(yu)数字re-age质量的目(mu)標(biao)。

根(gen)据上述策略，最终创建了一个包(bao)含(han)2000个身份的人脸re-age训练数据集，每个身份具有18至85岁範(fan)圍(wei)内的14个不同年龄，因此每个采样身份總(zong)共(gong)提供196个训练对。

获得高质量的数据后，模型问题就变得简单了。

模型架(jia)構(gou)

问题中的第二个关键因素是为设计一个适当的參(can)数空间，能够在不斷(duan)变化的表情和视角中保持身份，并在不同的视频帧中保持良(liang)好的一致性。

考(kao)慮(lv)到任务中图像到图像的翻(fan)譯(yi)性质，研究人员为FRAN采用了熟悉(xi)和成熟的U-Net架构设计，并为翻译质量和re-age控制做(zuo)了小的调整。

FRAN的输入为5个通道，包括(kuo)RGB图像和两个单通道表示年龄（指定了每个图像像素的输入和输出年龄）。

U-Net需要预測(ce)每个像素的RGB deltas（偏(pian)移量），这些偏移量被添(tian)加到输入图像上，以形成最终的re-age结果。

此外，这些输入年龄通道不一定是是恒(heng)定的，可以主(zhu)观来推测年龄，然后用其他值(zhi)进行填(tian)充(chong)，以控制脸部不同区域的re-age量。

使用输入的年龄值也可以用来控制FRAN，使其可以更容(rong)易整合预训练好的脸部分割(ge)网络，可以自动控制生成的效果，将其限(xian)制在脸部的特定区域。

FRAN使用成对的、具有L1、perceptual和对抗性損(sun)失的合成数据进行训练。

实验部分

首先(xian)对几张靜(jing)止(zhi)的照片进行re-age，对于每张有估(gu)计原始年龄的输入照片，要求(qiu)网络单獨(du)输出从20岁到80岁的不同年龄的图像，每10年变化一次。

可以看到生成结果不僅(jin)在年龄上是平(ping)滑(hua)和连续的，而且还与输入图像的identity非(fei)常接近。

在时间稳定性的测試(shi)中，显示了两段(duan)不同视频的3帧中两个人的老化情况，该方法可以稳健(jian)地处理(li)不同的头部姿势和极端(duan)的光線(xian)条件，并产生时间上一致的re-age结果。

再(zai)将该方法应用于表情、头部姿势和光照的受控变化，可以进一步評(ping)估re-age年龄的一致性。

即便输入图像存在運(yun)动模糊(hu)等情况，该方法仍然可以正确输出re-age后的结果，这一特点使得用户可以很(hen)容易地将该网络应用于视频帧，而不需要预先或后期处理步驟(zhou)，比如预先銳(rui)化或后期应用模糊过濾(lv)器(qi)来匹(pi)配(pei)原始镜头。

最后，研究人员将该re-age结果与现实世(shi)界的图像进行比较，两张相同人物的图像分別(bie)拍摄于2007年和2022年，直观来看该方法生成的re-age结果确实可以生成合理的目标年龄图像。

参考資(zi)料(liao)：

https://arstechnica.com/information-technology/2022/11/disney-creates-ai-fountain-of-youth-for-actors/返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多(duo)

責(ze)任编辑：