young的广告创意

yanfangzhushou，gongpingjingji，zuigongpinggongzhenggongkaideqipaiyouxi;0miaopeidui，0fenzhonghouming，shengshi!huodedeziyuandoushiyouzhide，zaizhelikeyijinxinggenghaodeyuedutiyan。xueqiaotiaozhanzengjiazuduicansai，zengjiaxindebisaijiangli；jiudazhiyesuixinlaidapei索(suo)尼(ni)數(shu)字(zi)人(ren)研(yan)究(jiu)：畫(hua)質(zhi)超(chao)逼(bi)真(zhen)，面(mian)部(bu)表(biao)情(qing)與(yu)身(shen)體(ti)動(dong)作(zuo)保(bao)持(chi)協(xie)調(tiao)

近(jin)年(nian)來(lai)，3D动捕(bu)、数字虛(xu)擬(ni)人等(deng)技(ji)術(shu)受(shou)到(dao)越(yue)来越多(duo)關(guan)註(zhu)，它(ta)不(bu)僅(jin)可(ke)以(yi)應(ying)用(yong)於(yu)電(dian)影(ying)場(chang)景(jing)，遊(you)戲(xi)、社(she)交(jiao)等領(ling)域(yu)也(ye)開(kai)始(shi)采(cai)用。相(xiang)比(bi)于過(guo)去(qu)高(gao)成(cheng)本(ben)、高門(men)檻(kan)的(de)全(quan)身动捕技术，現(xian)在(zai)制(zhi)作基(ji)于动捕的虚拟人越来越容(rong)易(yi)，不需(xu)要(yao)过高的成本或(huo)是(shi)專(zhuan)業(ye)技术知(zhi)識(shi)，壹(yi)些(xie)簡(jian)易、自(zi)动化(hua)的动捕方(fang)案(an)就(jiu)足(zu)夠(gou)普(pu)通(tong)創(chuang)作者(zhe)使(shi)用。

近期(qi)，索尼也公(gong)布(bu)了(le)一項(xiang)基于機(ji)器(qi)學(xue)習(xi)的3D虚拟人和(he)动捕方案，該(gai)方案可逼真模(mo)拟人類(lei)面部表情和行(xing)為(wei)的3D建(jian)模技术，通过忠(zhong)實(shi)重(zhong)现人类特(te)征(zheng)，来推(tui)动虚拟社交。

索尼指(zhi)出(chu)，数字人是基于真人特征的3D模型(xing)，它在虚拟场景中(zhong)可模拟人的自然(ran)外(wai)觀(guan)和行为。近年来，越来越多的企(qi)业开始接(jie)觸(chu)数字人技术，並(bing)將(jiang)它用于廣(guang)告(gao)、客(ke)服(fu)、游戏等场景。當(dang)然，并不是所(suo)有(you)数字人都(dou)能(neng)完(wan)全還(hai)原(yuan)人的特征，它們(men)的还原程(cheng)度(du)取(qu)決(jue)于用途(tu)，比如(ru)在CG电影中，對(dui)于数字人的逼真度會(hui)要求(qiu)更(geng)高。索尼認(ren)为，隨(sui)著(zhe)CG渲(xuan)染(ran)技术不斷(duan)提(ti)升(sheng)，虚拟化身的质量(liang)越来越好(hao)，因(yin)此(ci)恐(kong)怖(bu)谷(gu)問(wen)題(ti)正(zheng)在得(de)到解(jie)决。

索尼的目(mu)標(biao)，是开發(fa)一種(zhong)仿(fang)佛(fo)真实存(cun)在的数字人，這(zhe)种数字人具(ju)有存在感(gan)，讓(rang)人感覺(jiao)它仿佛就在身邊(bian)。換(huan)句(ju)話(hua)說(shuo)，就是利(li)用数字技术来復(fu)制真人。結(jie)合(he)AI算(suan)法(fa)後(hou)，它可以和真人互(hu)动，甚(shen)至(zhi)和真人難(nan)以區(qu)分(fen)。其(qi)研发重點(dian)是突(tu)出数字人的個(ge)性(xing)表達(da)，比如重现人臉(lian)皺(zhou)紋(wen)和表情的特征變(bian)化，抓(zhua)住(zhu)人獨(du)一無(wu)二(er)的特点。從(cong)自然交互的角(jiao)度来看(kan)，索尼也注重数字人的眼(yan)神(shen)与用戶(hu)的互动，数字人不会盯(ding)着用户，而(er)是模仿人眼和頭(tou)部自然动作。

数字人核(he)心(xin)技术

構(gou)成数字人的核心技术包(bao)括(kuo)：面部动捕、面部肌(ji)肉(rou)模拟、面部肌肉动作和身体协调性。基于人脸綁(bang)定(ding)的面部动画也需要这些步(bu)驟(zhou)，模拟人脸表情变化是一个复雜(za)的过程，要想(xiang)忠实重现、绑定人脸面部动作，需要高端(duan)的面部动捕技术。而且(qie)，复杂的面部动捕难以控(kong)制，在制作动画時(shi)将需要高超的技术。为了简化基于动捕的人脸表情模拟过程，索尼研发了一种更加(jia)智(zhi)能的工(gong)作流(liu)程，特点是无需傳(chuan)統(tong)的面部绑定方案，并降(jiang)低(di)了制作动画的工作量。

據(ju)了解，面部动捕技术可準(zhun)確(que)追(zhui)蹤(zong)表演(yan)者脸部各(ge)部分運(yun)动，并驅(qu)动CG模型去模拟这种运动。捕捉(zhuo)面部变形(xing)数据需要詳(xiang)細(xi)的三(san)位(wei)信(xin)息(xi)，才(cai)能准确呈(cheng)现肌肉伸(shen)展(zhan)、收(shou)縮(suo)，以及(ji)由(you)此產(chan)生(sheng)的皱纹等细微(wei)运动。

而索尼的方案，简單(dan)来講(jiang)就是用动捕技术捕捉真人演員(yuan)的表情，并根(gen)据捕捉到的数据生成人脸CG模型，以及面部动態(tai)变形效(xiao)果(guo)。此外，还分析(xi)了各种面部表情模式(shi)，并提取了重现这些表情需要运动的面部区域。这些区域大(da)約(yue)有100个，包括眼睛(jing)和嘴(zui)唇(chun)輪(lun)廓(kuo)部位，在捕捉这些区域的3D信息后，索尼对它们的位置(zhi)進(jin)行了标記(ji)。

在捕捉人脸3D信息时，索尼使用了多臺(tai)同(tong)步的攝(she)像(xiang)机从多角度拍(pai)摄，并推算3D运动信息。不过，部分面部表情变化可能会導(dao)致(zhi)标记檢(jian)測(ce)失(shi)敗(bai)或遮(zhe)擋(dang)，因此该系(xi)统还利用光(guang)流，以及不同的摄像头角度来提升信息獲(huo)取的穩(wen)定性。

接下(xia)来，索尼使用真人表演視(shi)頻(pin)作为訓(xun)練(lian)数据，培(pei)训了可精(jing)准检测眼睛、嘴唇运动的系统。索尼指出，每(mei)一幀(zhen)动捕的准确性都决定了下一帧的准确性，因此该系统还需要不断完善(shan)，提高整(zheng)体水(shui)平(ping)。

索尼开始使用头戴(dai)式摄像头（HMC）来拍摄演员的面部表情，相比于传统的固(gu)定机位拍摄，HMC的好處(chu)是可以追随演员，演员无需尋(xun)找(zhao)摄像头，可以更加自由、靈(ling)活(huo)的运动。索尼表示(shi)：捕捉到自然运动的人体姿(zi)态后，才能渲染出完整的数字人，因此HMC是捕捉自然运动数据不可缺(que)少(shao)的工具。

不过，演员可戴在头上(shang)的HMC摄像头数量有限(xian)，面部捕捉的角度、覆(fu)蓋(gai)面積(ji)比固定机位更少。因此，准确捕捉3D面部数据、识別(bie)3D标记則(ze)尤(you)为重要。为了训练良(liang)好的3D預(yu)测算法，索尼使用固定机位和HMC预先(xian)捕捉人脸数据，其中包括面部表情、3D标记等等。算法通过这些数据去学习表情和面部运动之(zhi)間(jian)的相关性，后續(xu)只(zhi)需要HMC的数据就可预测3D面部运动，准确性足够接近传统的固定机位方案。

模拟面部变形

在捕捉人脸3D标记信息后，索尼的动捕系统根据眼瞼(jian)、嘴唇轮廓信息来模拟面部变形，并动态渲染在3D模型上。渲染面部变形的流程是：根据幾(ji)何(he)函(han)数模拟面部表情、用机器学习模型将面部表情个性化、细節(jie)微调、疊(die)加纹理(li)。首(shou)先第(di)一步，3D面部动作、眼睑轮廓需要准确定位，才能确保后续面部变形合理。因此，索尼設(she)定了一个具有几何约束(shu)的能量函数，可根据3D面部数据来调整面部模型的整体形态。

另(ling)外，由于人脸表情变化引(yin)起(qi)的皮(pi)膚(fu)拉(la)伸、收缩、皱纹和肌肉隆(long)起程度因人而異(yi)，因此索尼利用十(shi)几种面部表情模式来训练个性化的机器学习模型，这些模型可根据人脸特征，来将3D面部表情个性化，重现用户的个人特征。

细节方面，该机器学习模型将人脸区域的伸長(chang)、收缩程度作为特征值(zhi)，并根据几何变形模型与真实值之间的差(cha)距(ju)回(hui)歸(gui)，从而輸(shu)出具有个人特征的面部变形。

面部变形的最(zui)后一步，就是引入(ru)眼睑、嘴唇、口(kou)腔(qiang)形狀(zhuang)变形算法，对面部模型进行額(e)外处理。这一步是为了糾(jiu)正面部变形可能产生的誤(wu)差，确保眼睑覆盖眼球(qiu)（避(bi)免(mian)眼球和眼睑出现间隙(xi)，或眼球穿(chuan)模眼皮）、自然的口腔形状变化等特征。在眼睑处理部分，该算法重点是避免眼睑接触眼球，而嘴唇处理部分，则側(ce)重于几何约束，确保面部捕捉到的嘴唇轮廓与3D模型的嘴唇形状匹(pi)配(pei)。

面部和身体集(ji)成

完成3D面部动作模拟后，下一步便(bian)是将面部与身体姿态集成，并协调面部表情和身体动作。如果面部和身体分开运动，会顯(xian)得不自然，因此索尼开发了面部和身体一体化算法，可模拟全身自然运动。

索尼指出，目前(qian)市(shi)面上的动捕方案主(zhu)要用于模拟人体模型的运动和变形，人体3D信息通过光学方案捕捉，并且在頸(jing)部、腿(tui)部、手(shou)臂(bi)等处添(tian)加标记来定位骨(gu)骼(ge)姿态，生成人体網(wang)格(ge)，从而模拟人体形状。相比之下，索尼的方案侧重于模拟颈部形状，颈部的动作会同时受到面部和身体运动影響(xiang)，比如颈骨运动决定面部方向(xiang)，下頜(he)运动决定嘴巴(ba)运动。

于是，索尼构建了一个全身姿态模拟系统，将HMC数据和身体动作捕捉同步，并根据这些数据来预测颈部形状。据悉(xi)，索尼预先创建了结合多种嘴型、面部方位的大量训练数据，并从中提取了潛(qian)在的颈部形状。在实際(ji)预测中，颈部模型組(zu)合了多种数据，包括下颌运动、颈部方向。

索尼表示：该颈部模拟模型可重现自然的面部和身体动作，目前训练改(gai)模型需要大量训练数据，后续将想辦(ban)法減(jian)少对数据的依(yi)賴(lai)。

總(zong)之，索尼的数字人模拟方案实现了自动化的人脸表情模拟，这大大减少了前期创作工作，允(yun)許(xu)创作者交付(fu)更高质量产品(pin)。更重要的是，该方案可根据不同人的特征去模拟运动，好处是看起来非(fei)常(chang)自然。索尼表示：随着3D虚拟技术发展，数字人将会被(bei)更多人所熟(shu)知，輕(qing)松(song)创建Avatar的需求将逐(zhu)步增(zeng)加。未(wei)来，希(xi)望(wang)可以将这项几乎(hu)应用于消(xiao)費(fei)級(ji)市场，比如电影、游戏等领域。參(can)考(kao)：sony返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任(ren)編(bian)輯(ji)：