北京特产广告语大全

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>妳(ni)和(he)吳(wu)彥(yan)祖(zu)只(zhi)差(cha)壹(yi)個(ge)下(xia)巴(ba)？上(shang)科(ke)大(da)提(ti)出(chu)SCULPTOR：從(cong)骨(gu)頭(tou)開(kai)始(shi)捏(nie)臉(lian)更(geng)靠(kao)譜(pu)｜SIGGRAPH Asia 2022

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：好(hao)困(kun) LRS

【新智元導(dao)讀(du)】掀(xian)起(qi)你的(de)头蓋(gai)來(lai)，讓(rang)我(wo)来為(wei)你捏个脸...

看(kan)人(ren)先(xian)看脸，不(bu)同(tong)的人脸往(wang)往會(hui)給(gei)我們(men)留(liu)下不同的印(yin)象(xiang)，像(xiang)蒙(meng)娜(na)麗(li)莎(sha)圓(yuan)潤(run)的脸頰(jia)会让人感(gan)受(shou)到(dao)母(mu)性(xing)的光(guang)輝(hui)，而(er)蝙(bian)蝠(fu)俠(xia)面(mian)具(ju)下堅(jian)毅(yi)的下巴則(ze)透(tou)露(lu)著(zhu)(zhe)濃(nong)烈(lie)的男(nan)子(zi)氣(qi)息(xi)。

這(zhe)些(xie)獨(du)特(te)的面部(bu)特征(zheng)让每(mei)个人都(dou)擁(yong)有(you)一張(zhang)独一無(wu)二(er)的脸，给觀(guan)者(zhe)帶(dai)来多(duo)樣(yang)化(hua)的感受。

設(she)計(ji)遊(you)戲(xi)角(jiao)色(se)時(shi)同样如(ru)此(ci)，一张根(gen)據(ju)角色性格(ge)塑(su)造(zao)的带有鮮(xian)明(ming)面部特征的脸更有助(zhu)於(yu)玩(wan)家(jia)感受角色的气質(zhi)與(yu)魅(mei)力(li)。人的面部外(wai)观需(xu)要(yao)符(fu)合(he)生(sheng)物(wu)力學(xue)，拋(pao)开生物力学合理(li)性構(gou)造的脸註(zhu)定(ding)是(shi)不真(zhen)實(shi)甚(shen)至(zhi)扭(niu)曲(qu)的。

而面部外观在(zai)生物力学上与骨骼(ge)結(jie)构有關(guan)：骨骼在拉(la)力作(zuo)用(yong)下生長(chang)，在壓(ya)力作用下吸(xi)收(shou)；因(yin)此，面部肌(ji)肉(rou)往往与头部骨骼相(xiang)匹(pi)配(pei)，从而形(xing)成(cheng)独特的輪(lun)廓(kuo)和特征。

骨骼對(dui)于人脸构造的重(zhong)要性使(shi)得(de)人脸生成器(qi)(Generator)既(ji)要符合解(jie)剖(pou)学(Anatomically consistent)，更要能(neng)提供(gong)易(yi)于控(kong)制(zhi)面部骨架(jia)结构的方(fang)法(fa)。

傳(chuan)統(tong)方法无法通(tong)過(guo)人脸數(shu)据对人脸骨骼進(jin)行(xing)建(jian)模(mo), 而基(ji)于藝(yi)術(shu)家的建模方式(shi)又(you)无法獲(huo)得真实的头骨与脸部外表(biao)面之(zhi)間(jian)的聯(lian)系(xi)。

針(zhen)对这一問(wen)題(ti)，上海(hai)科技(ji)大学、上海市(shi)第(di)九(jiu)人民(min)醫(yi)院(yuan)与数字(zi)人底(di)層(ceng)技术公(gong)司(si)影(ying)眸(mou)科技合力构建了(le)一个同时对脸部外表面与內(nei)部头骨建模的系统，构建出符合解剖学規(gui)则的參(can)数化(Parametric)人脸生成模型(xing)SCULPTOR，該(gai)模型可(ke)以(yi)为角色设计出高(gao)顴(quan)骨、长下巴等(deng)脸部特征。

SCULPTOR已(yi)經(jing)被(bei)计算(suan)機(ji)圖(tu)形学頂(ding)会SIGGRAPH Asia 2022接(jie)收为Technical Paper - Journal Track並(bing)受邀(yao)作报告(gao)分(fen)享(xiang)。

据影眸科技科研(yan)人員(yuan)介(jie)紹(shao)，这項(xiang)工(gong)作是影眸在解剖学正(zheng)確(que)角色生成方向(xiang)上的一项重要工作，將(jiang)被應(ying)用于数字人創(chuang)作、整(zheng)形預(yu)測(ce)等多个方向，为文(wen)化娛(yu)樂(le)与医療(liao)美(mei)容(rong)行業(ye)提供技术解決(jue)方案(an)。

論(lun)文地(di)址(zhi)：https://arxiv.org/abs/2209.06423

LUCY数据集(ji)

SCULPTOR项目(mu)收集了72个正頜(he)手(shou)术(Orthognathic Surgery)患(huan)者手术前(qian)与手术後(hou)(Pre-, post-operation)的计算机斷(duan)层掃(sao)描(miao)(Computed Tomography)数据,并且(qie)利(li)用该数据集构建了对头骨、脸部形狀(zhuang)和脸部外观进行联合建模的新型人脸生成器。

为了对比(bi)观察(cha)正颌手术效(xiao)果(guo)，每位(wei)患者都接受了兩(liang)次(ci)CT扫描。这些患者手术前和恢(hui)復(fu)期(qi)间收集的医学图像清(qing)楚(chu)地描述(shu)了面部骨架變(bian)化对面部外观的影響(xiang)。这些计算机断层扫描影像数据被稱(cheng)为LUCY数据集，以最(zui)著名(ming)的人類(lei)早(zao)期祖先、迄(qi)今(jin)为止(zhi)發(fa)現(xian)的第一只澳(ao)猿(yuan)LUCY的名字命(ming)名。

医学專(zhuan)家用閾(yu)值(zhi)法从原(yuan)始CT数据中(zhong)分割(ge)出头骨和面部以获取(qu)解剖结构,并選(xuan)擇(ze)了29个头骨和15个脸部生物学意(yi)義(yi)標(biao)記(ji),幫(bang)助构建并配準(zhun)模型。

訓(xun)練(lian)SCULPTOR模型

该论文首(shou)先利用生物学意义标记导向的能量(liang)函(han)数、倒(dao)角距(ju)離(li)能量函数和离散(san)拉普(pu)拉斯(si)平(ping)滑(hua)项，将模板(ban)模型配准到每一个头骨与脸部，从而得到拓(tuo)撲(pu)一致(zhi)的網(wang)格模型。

SCULPTOR模型的训练是通过在LUCY数据集与FaceScape数据集上叠(die)代(dai)训练后解耦(ou)出的控制骨骼与脸部整體(ti)大小(xiao)的形状子空(kong)间，下颌運(yun)動(dong)时网格顶點(dian)修(xiu)正位移(yi)的动作子空间，控制人脸表情(qing)的表情子空间与控制骨骼局(ju)部大小长短(duan)与其(qi)对应脸型变換(huan)的特征子空间。

本(ben)论文工作在FLAME模型的基礎(chu)上提出了参数化脸部的形状、动作与表情控制,引(yin)出了基于LUCY这个正颌手术术前术后的新数据集的全(quan)新控制脸部的特征子空间(Trait components)。

因为正颌手术是对人脸面部骨骼局部區(qu)域(yu)切(qie)割、拼(pin)接、墊(dian)高等手术方法改(gai)变骨骼形状，从而得到患者期望(wang)的脸型，术前术后的影像数据包(bao)含(han)头骨与脸型的对应关系。

因此该论文在训练模型过程(cheng)中，将同一个患者的正颌手术前后医学影像数据在经过中立(li)面孔(kong)化后差分得到解耦后的特征顶点位移。

通过主(zhu)成分分析(xi)法(Principal Component Analysis)获得特征子空间，让模型学習(xi)改变面部骨骼后，对应的脸部形状变化，建立骨骼与面部形状的对应关系。

为了让模型最終(zhong)学习人脸与骨骼的形状子空间、动作子空间、表情子空间、特征子空间，以及(ji)表皮(pi)權(quan)重(Skinning weight)。

该研究(jiu)旨(zhi)在让SCULPTOR分別(bie)在LUCY数据集上训练形状参数：形状子空间、特征子空间。在含有动作的FaceScape数据集上学习动作子空间与表皮权重。通过在两个数据集之间循(xun)環(huan)迭代的方式減(jian)少(shao)重建誤(wu)差的方式最终让模型收斂(lian)。

从SCULPTOR的平均(jun)模板开始，通过調(tiao)控形状子空间的系数，使脸部形状发生变化。然(ran)后控制特征子空间Trait Component的系数，在局部形状細(xi)節(jie)上进一步(bu)修改模型，为生成的脸部增(zeng)加(jia)更多的特征，如更高的颧骨、更彎(wan)曲的下颌，甚至是下颌骨突(tu)起。

SCULPTOR合成了一个具有长方形下巴的男人。之后，我们繼(ji)續(xu)添(tian)加面部外观、姿(zi)勢(shi)和表情参数，生成一张嘴(zui)巴张大的脸。最后通过Blender Cycles渲(xuan)染(ran)引擎(qing)与高分辨(bian)率(lv)的环境(jing)紋(wen)理来渲染最终的图像。

下图中展(zhan)示(shi)了SCULPTOR生成人脸过程。

古(gu)学复原人类骨骼

考(kao)古发掘(jue)很(hen)難(nan)同时找(zhao)到头骨样本的上颌骨与下颌骨，而SCULPTOR模型能夠(gou)根据已有的殘(can)缺(que)样本推(tui)测头骨的可能缺失(shi)部分并且根据Trait子空间给出不同特征的脸型，从而帮助考古学复原人类头部骨骼。

研究人员在实驗(yan)中采(cai)用的是一个拥有4200年(nian)歷(li)史(shi)、被称为Ava的上颌骨头骨，它(ta)在1987年于蘇(su)格蘭(lan)凱(kai)斯内斯被发现，SCULPTOR通过给定的上颌骨头骨给出了多个不同特征的复原形象。

角色融(rong)合

同时，SCUPTOR能根据每个真实角色的不同脸部特征来生成同时拥有不同特征的人脸。

两个版(ban)本的蝙蝠侠的扮(ban)演(yan)者——本·阿(e)弗(fu)萊(lai)克(ke)与克裏(li)斯蒂(di)安(an)·貝(bei)爾(er)分别拥有不同的脸部骨骼。

通过SCULPTOR的回(hui)歸(gui)得知(zhi)，贝尔有一个較(jiao)短的上颌而有一个长下颌，而阿弗莱克有一个短且圆的下颌与一个长上颌。

给定贝尔的下颌与阿弗莱克的上颌信(xin)息，SCULPTOR便(bian)重新生成了一个全新的、同时拥有两者的特征的「蝙蝠侠」人物 。

重建RGB图片(pian)数据骨骼

作为一个参数化模型，SCULPTOR可以被作为一个可微(wei)分的网絡(luo)层去(qu)回归照(zhao)片中人物的骨骼。

通过结合DECA模型与SCULPTOR模型，给出了各(ge)个不同明星(xing)下颌骨。

脂(zhi)肪(fang)层构建与打(da)擊(ji)仿(fang)真

SCULPTOR也(ye)能构建同一个人不同胖(pang)瘦(shou)时期的面部脂肪分布(bu)。

假(jia)设同一个人在不同时期的头骨不变，SCULPTOR便可以通过脸部点到骨骼点的距离计算脂肪分布权重，再(zai)依(yi)据脸部胖瘦程度(du)与差值计算出的脂肪增长趨(qu)势，从而同一个人生成不同胖瘦时期的人脸。

而SCULPTOR在骨骼的支(zhi)持(chi)下, 击打脸部的仿真效果比不增加骨骼的击打效果更好。

總(zong)结

本项目提出了SCULPTOR，一个基于解剖学数据的骨架一致的人脸生成器，它对头骨、脸部幾(ji)何(he)形状和脸部外观进行联合建模，允(yun)許(xu)高质量和有特色的面部细节生成。

通过这项工作，僅(jin)通过一张照片/一个人脸模型即(ji)可推测角色骨骼形状，并以此为依据进一步调整角色相貌(mao)；反(fan)之，它也可以根据骨骼形状推测角色的相貌，做(zuo)物理模擬(ni)、甚至将两个角色融合…

该技术将被应用于数字人创作、整形预测等多个方向，为文化娱乐与医疗美容行业提供技术解决方案。未(wei)来，项目組(zu)将继续在解剖学正确的数字角色生成与驅(qu)动方向发力。

参考資(zi)料(liao)：

https://arxiv.org/abs/2209.06423返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任(ren)编辑：