奔驰 广告公司

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>照(zhao)片(pian)也(ye)能(neng)時(shi)間(jian)旅(lv)行(xing)？「穿(chuan)越(yue)时空(kong)的(de)人(ren)臉(lian)」新(xin)模(mo)型(xing)化(hua)身(shen)AI时光(guang)機(ji)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：昕(xin)朋(peng)

【新智元導(dao)讀(du)】想(xiang)知(zhi)道自(zi)己(ji)壹(yi)百(bai)年(nian)前(qian)的照片會(hui)長(chang)什(shen)麽(me)樣(yang)嗎(ma)？康(kang)奈(nai)爾(er)大(da)學(xue)華(hua)裔(yi)科(ke)学家(jia)主(zhu)导的人工(gong)智能框(kuang)架(jia) 「穿越时光的人脸」帶(dai)妳(ni)踏(ta)上(shang)时间穿梭(suo)之(zhi)旅！

目(mu)前，人工智能和(he)深(shen)度(du)学習(xi)技(ji)術(shu)正(zheng)成(cheng)為(wei)文(wen)本(ben)-圖(tu)像(xiang)生(sheng)成、超(chao)分(fen)辨(bian)率(lv)等(deng)應(ying)用(yong)的重(zhong)要(yao)基(ji)礎(chu)。

現(xian)在(zai)，人們(men)可(ke)以(yi)輸(shu)入(ru)图像的高(gao)細(xi)節(jie)描(miao)述(shu)，從(cong)而(er)獲(huo)得(de)與(yu)給(gei)定(ding)文本相(xiang)對(dui)应的逼(bi)真(zhen)图像。

也可以將(jiang)一幅(fu)图像从低(di)分辨率轉(zhuan)为高分辨率，为图片生成一系(xi)列(lie)生動(dong)细节。

神(shen)經(jing)網(wang)絡(luo)似(si)乎(hu)有(you)無(wu)窮(qiong)的能力(li)。那(na)么，這(zhe)些(xie)方(fang)法(fa)是(shi)否(fou)能用於(yu)时光穿梭呢(ne)？

例(li)如(ru)，你有沒(mei)有想過(guo)，如果(guo)你自己的照片是在五(wu)十(shi)年或(huo)一百年前拍(pai)攝(she)的，会是什么样子(zi)？如果你最(zui)喜(xi)歡(huan)的男(nan)演(yan)員(yuan)或女(nv)演员出(chu)生在一個(ge)与他(ta)们完(wan)全(quan)不(bu)同(tong)的时代(dai)，他们会是什么样子？

时光穿梭第(di)一步(bu)：解(jie)決(jue)數(shu)據(ju)集(ji)難(nan)題(ti)

鑒(jian)于最近(jin)StyleGAN在高質(zhi)量(liang)人脸合(he)成和编辑方面(mian)的成功(gong)，許(xu)多(duo)工作(zuo)都(dou)集中(zhong)在使(shi)用預(yu)先(xian)訓(xun)練(lian)好(hao)的StyleGAN模型進(jin)行人像编辑。

然(ran)而，现有的技术通(tong)常(chang)会處(chu)理(li)定義(yi)明(ming)確(que)的語(yu)义屬(shu)性(xing)。例如，添(tian)加(jia)或刪(shan)除(chu)一个微(wei)笑(xiao)或修(xiu)改(gai)图片中人像的年齡(ling)。

这項(xiang)工作背(bei)後(hou)的邏(luo)辑是保(bao)持(chi)这些構(gou)成一个人身份(fen)的属性不變(bian)，与此(ci)同时，用这輛(liang)人工智能的馬(ma)車(che)送(song)他们回(hui)到(dao)过去(qu)或去往(wang)未(wei)來(lai)。

在这種(zhong)情(qing)況(kuang)下(xia)，人们面对的主要問(wen)题是缺(que)乏(fa)合適(shi)的数据集。眾(zhong)所(suo)周(zhou)知，即(ji)使有完美(mei)的神经网络模型，数据集仍(reng)然是每(mei)个人工智能研(yan)究(jiu)者(zhe)的噩(e)夢(meng)。

数据 不平(ping)衡(heng)、 不充(chong)分或 不可用是深度学习領(ling)域(yu)常見(jian)的问题，会导致(zhi)数据偏(pian)见或結(jie)果不準(zhun)确。

为了(le)克(ke)服(fu)这个问题，来自康奈尔大学的华裔科学家Eric Ming Chen（左(zuo)2）主导的研究團(tuan)隊(dui)創(chuang)建(jian)了 FTT（穿越时光的人脸）数据集。

Chen与来自佐(zuo)治(zhi)亞(ya)大学的华人科学家Jin Sun等人共(gong)同發(fa)刊(kan)，詳(xiang)细解釋(shi)了 「穿越时光的人脸」数据集的運(yun)作原(yuan)理。

該(gai)数据集中的图片来自維(wei)基共享(xiang)資(zi)源(yuan)（Wikimedia Commons）。该平臺(tai)擁(yong)有众包(bao)和開(kai)放(fang)许可的五千(qian)萬(wan)張(zhang)图片。FTT分析(xi)了26,247张19至(zhi)21世(shi)紀(ji)的肖(xiao)像，平均(jun)每十年大約(yue)有1,900张图片。

GANs父(fu)子層(ceng)次(ci)结构，化身AI「时光机」

这些变化是如何(he)實(shi)现的呢？

研究团队借(jie)助(zhu)了StyleGAN（生成对抗(kang)网络）父子层次结构。特(te)殊(shu)之处在于，他们没有選(xuan)擇(ze)训练一个涵(han)蓋(gai)所有年代的單(dan)一模型，而是为每十年的图像集添加一个子模型，通过训练模型集更(geng)好地(di)綜(zong)合每个时期(qi)的数据分布(bu)。

同时，为了保留(liu)被(bei)描述者的身份和姿(zi)勢(shi)，研究团队采(cai)用一个父模型，将这些信(xin)息(xi)映(ying)射(she)到隱(yin)空间向(xiang)量中。

首(shou)先，训练一个StyleGAN模型集，每个年代各(ge)設(she)置(zhi)一个，使用对抗性損(sun)失(shi)和身份损失来训练一张混(hun)合人脸图。这张人脸图是子模型的输出，经过修改后，该混合图与父模型的顏(yan)色(se)相似。

之后，每张真实图像被投(tou)射到十年流(liu)形(xing)上的一个向量w上（下图中的1960）。在该向量上，生成器(qi)G′t被训练来将精(jing)细化细节转移(yi)到所有的子模型上。最后，在输入图像上应用一个掩(yan)碼(ma)，以鼓(gu)勵(li)模型保留人像的面部(bu)细节。

在微調(tiao)全部子模型后，研究团队发现，FTT的不同年代的子模型（下图橙(cheng)色）在发型、妝(zhuang)容(rong)发生改变的同时，都成功捕(bu)捉(zhuo)到父模型中（下图藍(lan)色）每张图片的人像特征(zheng)。

这项全新的合成图像框架有兩(liang)大亮(liang)點(dian)：首先，它(ta)使人像穿越时光的願(yuan)望(wang)成真；其(qi)次，在对人脸进行时光转換(huan)时，该技术還(hai)能保留人像的大部分细节。

盡(jin)管(guan)它在数据集中还存(cun)在微小(xiao)偏差(cha)（例如，在20世纪初(chu)的图像中出现了幾(ji)个短(duan)发的女性），导致输出图像的不一致，但(dan)与以前的工作相比(bi)，这个模型在真实性上有了很(hen)大改善(shan)。

「穿越时光的人脸」开啟(qi)了时光穿梭的第一步。如此高的准确度讓(rang)人不禁(jin)遐(xia)想：这次跨(kua)越时光的是人像，那么下次呢？

參(can)考(kao)资料(liao)：

https://www.marktechpost.com/2022/11/09/latest-artificial-intelligence-ai-research-proposes-a-method-to-transform-faces-through-time/

https://facesthroughtime.github.io/返(fan)回搜(sou)狐(hu)，查(zha)看(kan)更多

責(ze)任(ren)编辑：