百家讲坛刘邦项羽

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>SIGGRAPH 2023｜上(shang)科(ke)大(da)等(deng)發(fa)布(bu)DreamFace：只(zhi)需(xu)文(wen)本(ben)即(ji)可(ke)生(sheng)成(cheng)「超(chao)寫(xie)實(shi)3D數(shu)字(zi)人(ren)」

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】AIGC進(jin)入(ru)3D時(shi)代(dai)，用(yong)文字就(jiu)能(neng)生成超逼(bi)真(zhen)数字人！

隨(sui)著(zhe)大型(xing)語(yu)言(yan)模(mo)型（LLM）、擴(kuo)散(san)（Diffusion）等技(ji)術(shu)的(de)发展(zhan)，ChatGPT、Midjourney等產(chan)品(pin)的誕(dan)生掀(xian)起(qi)了(le)新壹(yi)波(bo)的AI熱(re)潮(chao)，生成式(shi)AI也(ye)成為(wei)備(bei)受(shou)關(guan)註(zhu)的話(hua)題(ti)。

與(yu)文本和(he)圖(tu)像(xiang)不(bu)同(tong)，3D生成仍(reng)處(chu)於(yu)技术探(tan)索(suo)階(jie)段(duan)。

2022年(nian)年底(di)，Google、NVIDIA和微(wei)軟(ruan)相(xiang)繼(ji)推(tui)出(chu)了自(zi)己(ji)的3D生成工(gong)作(zuo)，但(dan)大多(duo)基(ji)于先(xian)进的神(shen)經(jing)輻(fu)射(she)場(chang)（NeRF）隱(yin)式表(biao)達(da)，与工業(ye)界(jie)3D软件(jian)如(ru)Unity、Unreal Engine和Maya等的渲(xuan)染(ran)管(guan)線(xian)不兼(jian)容(rong)。

即使(shi)通(tong)過(guo)傳(chuan)統(tong)方(fang)案(an)將(jiang)其(qi)轉(zhuan)換(huan)为Mesh表达的幾(ji)何(he)和顏(yan)色(se)貼(tie)图，也會(hui)造(zao)成精(jing)度(du)不足(zu)和視(shi)覺(jiao)質(zhi)量(liang)下(xia)降(jiang)，不能直(zhi)接(jie)應(ying)用于影(ying)视制(zhi)作和遊(you)戲(xi)生产。

項(xiang)目(mu)網(wang)站(zhan)：https://sites.google.com/view/dreamface

論(lun)文地(di)址(zhi)：https://arxiv.org/abs/2304.03117

Web Demo：https://hyperhuman.top

HuggingFace Space：https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

为了解(jie)決(jue)這(zhe)些(xie)問(wen)题，來(lai)自影眸(mou)科技与上海(hai)科技大學(xue)的研(yan)发團(tuan)隊(dui)提(ti)出了一種(zhong)文本指(zhi)导的漸(jian)进式3D生成框(kuang)架(jia)。

該(gai)框架引(yin)入符(fu)合(he)CG制作標(biao)準(zhun)的外(wai)部(bu)数據(ju)集(ji)（包(bao)含(han)几何和PBR材(cai)质），可以(yi)根(gen)据文本直接生成符合该标准的3D資(zi)产，是(shi)首(shou)個(ge)支(zhi)持(chi)Production-Ready 3D资产生成的框架。

为了实現(xian)文本生成可驅(qu)動(dong)的3D超写实数字人，该团队将这个框架与产品級(ji)3D数字人数据集相結(jie)合。这项工作已(yi)经被(bei)計(ji)算(suan)機(ji)图形(xing)領(ling)域(yu)國(guo)際(ji)頂(ding)级期(qi)刊(kan)Transactions on Graphics接收(shou)，並(bing)将在(zai)国际计算机图形顶级会議(yi)SIGGRAPH 2023上展示(shi)。

已关注

关注

重(zhong)播(bo)分(fen)享(xiang)贊(zan)

关閉(bi)

觀(guan)看(kan)更(geng)多

更多

正(zheng)在加(jia)載(zai)

正在加载

退(tui)出全(quan)屏(ping)

视頻(pin)加载失(shi)敗(bai)，請(qing)刷(shua)新頁(ye)面(mian)再(zai)試(shi)

刷新

视频詳(xiang)情(qing)

DreamFace主(zhu)要(yao)包括(kuo)三(san)个模塊(kuai)，几何體(ti)生成，基于物(wu)理(li)的材质扩散和动畫(hua)能力(li)生成。

相比(bi)先前(qian)的3D生成工作，这项工作的主要貢(gong)獻(xian)包括：

· 提出了DreamFace这一新穎(ying)的生成方案，将最(zui)近(jin)的视觉-语言模型与可动画和物理材质的面部资产相结合，通过渐进式学習(xi)来分離(li)几何、外观和动画能力。

· 引入了雙(shuang)通道外观生成的設(she)计，将一种新颖的材质扩散模型与預(yu)訓(xun)練(lian)模型相结合，同时在潛(qian)在空(kong)間(jian)和图像空间进行(xing)兩(liang)阶段優(you)化(hua)。

· 使用BlendShapes或(huo)生成的Personalized BlendShapes的面部资产具(ju)备动画能力，并进一步(bu)展示了DreamFace在自然(ran)人物设计方面的应用。

几何生成

几何体生成模块可以根据文本提示生成与之(zhi)一致(zhi)的几何模型。然而(er)，在人臉(lian)生成方面，这可能難(nan)以監(jian)督(du)和收斂(lian)。

因(yin)此(ci)，DreamFace提出了一个基于CLIP（Contrastive Language-Image Pre-Training）的選(xuan)擇(ze)框架，首先從(cong)對(dui)人脸几何參(can)数空间內(nei)随机采(cai)樣(yang)的候(hou)选项中(zhong)选择最佳(jia)的粗(cu)略(lve)几何模型，然後(hou)雕(diao)刻(ke)几何細(xi)節(jie)，使頭(tou)部模型更符合文本提示。

根据輸(shu)入提示，DreamFace利(li)用CLIP模型选择匹(pi)配(pei)得(de)分最高(gao)的粗略几何候选项。接下来，DreamFace使用隐式扩散模型（LDM）在随机视角(jiao)和光(guang)照(zhao)條(tiao)件下对渲染图像进行得分蒸(zheng)餾(liu)采样（SDS）处理。

这使得DreamFace可以通过顶點(dian)位(wei)移(yi)和详细的法(fa)线贴图向(xiang)粗略几何模型添(tian)加面部细节，从而得到(dao)高度精细的几何体。

与头部模型類(lei)似(si)，DreamFace還(hai)基于该框架进行发型和颜色的选择。

基于物理的材质扩散生成

基于物理的材质扩散模块旨(zhi)在预測(ce)与预测几何体和文本提示一致的面部紋(wen)理。

首先，DreamFace将预先训练的LDM在收集的大規(gui)模UV材质数据集上微調(tiao)，得到两个LDM扩散模型。

DreamFace采用了一种聯(lian)合训练方案，協(xie)调两个扩散过程(cheng)，一个用于直接去(qu)噪(zao)UV纹理贴图，另(ling)一个用于监督渲染图像，以確(que)保(bao)面部UV贴图和渲染图像的正确形成与文本提示一致。

为了減(jian)少(shao)生成时间，DreamFace采用了一个粗糙(cao)纹理潜在扩散阶段，为细节纹理生成提供(gong)先驗(yan)潜在。

为了确保所(suo)創(chuang)建(jian)的纹理地图不含有(you)不良(liang)特(te)征(zheng)或照明(ming)情況(kuang)，同时仍保持多样性(xing)，设计了一种提示学习策(ce)略。

团队利用两种方法生成高质量的漫(man)反(fan)射贴图：

（1）Prompt Tuning。与手(shou)工制作的特定(ding)领域文本提示不同，DreamFace将两个特定领域的連(lian)續(xu)文本提示 Cd 和 Cu 与相应的文本提示结合起来，这将在U-Net去噪器(qi)训练期间进行优化，以避(bi)免(mian)不穩(wen)定和耗(hao)时的手工撰(zhuan)写提示。

（2）非(fei)面部區(qu)域遮(zhe)罩(zhao)。LDM去噪过程将額(e)外地受到非面部区域遮罩的限(xian)制，以确保生成的漫反射贴图不含有任(ren)何不需要的元素(su)。

作为最后一步，DreamFace应用超分辨(bian)率(lv)模块生成4K基于物理的纹理，以进行高质量渲染。

DreamFace框架在名(ming)人生成，根据描(miao)述(shu)生成角色上都(dou)取(qu)得了相當(dang)不錯(cuo)的效(xiao)果(guo)，在User Study中獲(huo)得了遠(yuan)超先前工作的成績(ji)。相比先前的工作，在運(yun)行时间上也具备明顯(xian)的优勢(shi)。

除(chu)此之外，DreamFace还支持使用提示和草(cao)图进行纹理编辑。通过直接使用微调的纹理LDM和提示，可以实现全局(ju)的编辑效果，如老(lao)化和化妝(zhuang)。通过进一步结合掩(yan)模或草图，可以创建各(ge)种效果，如纹身(shen)、胡(hu)須(xu)和胎(tai)記(ji)。

动画能力生成

DreamFace生成的模型具备动画能力。与基于BlendShapes的方法不同，DreamFace的神经面部动画方法通过预测獨(du)特的變(bian)形来为生成的靜(jing)息(xi)（Neutral）模型賦(fu)予(yu)动画效果，从而产生个性化的动画。

首先，训练一个几何生成器，学习表情的潜在空间，其中解碼(ma)器被扩展为以中性几何形狀(zhuang)为条件。接着，进一步训练表情编码器，从RGB图像中提取表情特征。因此，DreamFace能夠(gou)通过使用單(dan)目RGB图像以中性几何形状为条件来生成个性化的动画。

与使用通用BlendShapes进行表情控(kong)制的DECA相比，DreamFace的框架提供了细致的表情细节，并且(qie)能够精细地捕(bu)捉(zhuo)表演(yan)。

结论

本文介(jie)紹(shao)了DreamFace，一种文本指导的渐进式3D生成框架，它(ta)结合了最新的视觉-语言模型、隐式扩散模型，以及(ji)基于物理的材质扩散技术。

DreamFace的主要创新包括几何体生成、基于物理的材质扩散生成和动画能力生成。与传统的3D生成方法相比，DreamFace具有更高的准确性、更快(kuai)的运行速(su)度和較(jiao)好(hao)的CG管线兼容性。

DreamFace的渐进式生成框架为解决復(fu)雜(za)的3D生成任務(wu)提供了一种有效的解决方案，有望(wang)推动更多类似的研究(jiu)和技术发展。

此外，基于物理的材质扩散生成和动画能力生成将推动3D生成技术在影视制作、游戏開(kai)发和其他(ta)相关行业的应用。

参考(kao)资料(liao)：

https://sites.google.com/view/dreamface返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：