五粮液广告创意语

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>CVPR2023｜天(tian)大(da)聯(lian)合(he)卡(ka)迪(di)夫(fu)大學(xue)發(fa)布(bu)SemanticHuman：部(bu)件(jian)級(ji)、精(jing)細(xi)語(yu)義(yi)、靈(ling)活(huo)可(ke)控(kong)的(de)3D人(ren)體(ti)編(bian)輯(ji)表(biao)征(zheng)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

编辑：LRS

【新智元導(dao)讀(du)】SemanticHuman兼(jian)顧(gu)精细语义與(yu)幾(ji)何(he)刻(ke)畫(hua)的三(san)維(wei)人体表示(shi)，可實(shi)現(xian)部件级別(bie)的灵活可控编辑。

近(jin)年(nian)來(lai)三维人体表示学習(xi)受(shou)到(dao)越(yue)来越多(duo)的關(guan)註(zhu)，不(bu)過(guo)现有(you)工(gong)作(zuo)由(you)於(yu)受限(xian)于粗(cu)糙(cao)的语义和(he)有限的表示能(neng)力(li)無(wu)法(fa)灵活、可控、準(zhun)確(que)地(di)表示人体，尤(you)其(qi)是(shi)在(zai)缺(que)乏(fa)配(pei)對(dui)監(jian)督(du)數(shu)據(ju)的情(qing)況(kuang)下(xia)。

針(zhen)对上(shang)述(shu)問(wen)題(ti)，天津(jin)大学團(tuan)隊(dui)联合英(ying)國(guo)卡迪夫大学在CVPR2023的工作中(zhong)提(ti)出(chu)壹(yi)種(zhong)兼顾精细语义与几何刻画的三维人体表示——SemanticHuman。

項(xiang)目(mu)主(zhu)頁(ye)：http://cic.tju.edu.cn/faculty/likun/projects/SemanticHuman

代(dai)碼(ma)：https://github.com/2017211801/SemanticHuman

具(ju)体来說(shuo)，作者(zhe)通(tong)过提出一种部件感(gan)知(zhi)的骨(gu)骼(ge)分(fen)離(li)的解(jie)耦(ou)策(ce)略(lve)，在隱(yin)编码和人体部件的几何測(ce)量(liang)之(zhi)間(jian)建(jian)立(li)起(qi)明(ming)确的对應(ying)关系(xi)，不僅(jin)為(wei)表示提供(gong)了(le)细粒(li)度(du)的语义、高(gao)效(xiao)且(qie)強(qiang)大的几何刻画能力，而(er)且方(fang)便(bian)設(she)計(ji)魯(lu)棒(bang)的无监督損(sun)失(shi)，從(cong)而擺(bai)脫(tuo)对配对监督数据的依(yi)賴(lai)。

借(jie)助(zhu)該(gai)表示所(suo)学习到的具有几何意(yi)义的隐空(kong)间，用(yong)戶(hu)可以(yi)通过調(tiao)節(jie)隐编码实现人体生(sheng)成(cheng)与编辑、人体形(xing)狀(zhuang)風(feng)格(ge)轉(zhuan)移(yi)等(deng)一系列(lie)有趣(qu)的应用，相(xiang)关代码已(yi)經(jing)開(kai)源(yuan)！

1. 研(yan)究(jiu)背(bei)景(jing)与動(dong)機(ji)

学习人体的低(di)维表示在人体重(zhong)建、人体生成与编辑等各(ge)种应用中具有重要(yao)作用，对于一种人体表示，可以从兩(liang)個(ge)方面(mian)去(qu)評(ping)價(jia)它(ta)的好(hao)壞(huai)。

首(shou)先(xian)是表示的几何刻画能力，即(ji)通过某(mou)种表示重建出的人体在多大程(cheng)度上保(bao)留(liu)了原(yuan)始(shi)的輸(shu)入(ru)人体的几何；

其次(ci)是表示的语义顆(ke)粒度，即表示的參(can)数是否(fou)有明确且精细的几何或(huo)物(wu)理(li)意义。

现有的人体表示工作大致(zhi)可以分为傳(chuan)統(tong)方法与基(ji)于学习的方法：

传统方法如(ru)SCAPE[1]、SMPL[2]，在语义層(ceng)面，它們(men)把(ba)人体解耦成姿(zi)態(tai)与形状，从而可以通过控制(zhi)对应参数来改(gai)變(bian)人体屬(shu)性(xing)；在几何刻画层面，它们采(cai)用PCA对人体形状進(jin)行(xing)建模(mo)，然(ran)而這(zhe)种基于線(xian)性空间的方法无法處(chu)理人体網(wang)格中復(fu)雜(za)的非(fei)线性結(jie)構(gou)。

而基于学习的方法大多以编码器(qi)-解码器框(kuang)架(jia)为基礎(chu)，通过在输入与输出间施(shi)加(jia)几何約(yue)束(shu)来确保隐编码盡(jin)可能多地保留输入网格的几何细节，得(de)益(yi)于神(shen)经网絡(luo)强大的非线性擬(ni)合能力，这類(lei)方法在几何刻画层面顯(xian)著(zhu)優(you)于传统方法；在语义层面，有监督的方法通过为每(mei)个网格配对一个具有中性姿态的网格来显式(shi)地约束隐编码的语义，但(dan)是制作配对监督数据耗(hao)時(shi)耗力，限制了其後(hou)續(xu)应用，无监督的方法通过设计新穎(ying)的无监督损失来隐式賦(fu)予(yu)隐编码明确的语义，但是其损失函(han)数不夠(gou)鲁棒，重建出的人体往(wang)往有明显的偽(wei)影(ying)。

並(bing)且上述表示方法的语义都(dou)太(tai)过粗糙，只(zhi)停(ting)留在对人体全(quan)局(ju)属性的描(miao)述，无法支(zhi)持(chi)部件级别的灵活可控编辑。

作者就(jiu)以此(ci)为出发點(dian)，提出了一种既(ji)不需(xu)要配对监督数据又(you)可以兼顾精细语义与几何刻画的三维人体表示——SemanticHuman。

圖(tu)1：SemanticHuman示意图。(左(zuo)图) 獲(huo)得输入人体的隐编码，(右(you)图) 通过改变隐编码实现部件级别的灵活可控编辑

2. 方法思(si)路(lu)与细节

2.1總(zong)覽(lan)

作者的研究动机与目的已经在上文(wen)闡(chan)明，那(na)麽(me)先前(qian)工作为什(shen)么无法做(zuo)到呢(ne)？

作者認(ren)为这是因(yin)为先前工作都遵(zun)循(xun)把人体解耦为姿态和形状的解耦思路，这种基于人体全局属性的解耦思路不仅限制了表示语义的精细程度而且不便于设计鲁棒且有效的无监督损失，为此作者提出了一种全新的基于人体局部的解耦思路，并且基于此思路设计了一系列新颖且有效的网络架构、訓(xun)練(lian)流(liu)程与损失，下面將(jiang)詳(xiang)细介(jie)紹(shao)。

2.2部件感知的骨骼分离的解耦策略

作者的解耦思路来源于一个关鍵(jian)觀(guan)察(cha)，即人体是由多个部件組(zu)成的，并且每个部件都有一根(gen)由三维关节点定(ding)义的骨骼，如图2 (a) 和 (b) 所示。

图2：解耦思路示意图。(a) 人体部件，(b) 人体骨骼与关节点，(c) 解耦思路概(gai)述，(d) 两点連(lian)线与骨骼形成的夾(jia)角(jiao)

另(ling)外(wai)对于一些(xie)几何结构比(bi)較(jiao)簡(jian)單(dan)的人体部件，如腰(yao)部、手(shou)臂(bi)和腿(tui)部，其几何形状可近似(si)成以骨骼为主軸(zhou)的圓(yuan)柱(zhu)体，这也(ye)就意味(wei)著(zhe)这些部位(wei)的几何形变可以被(bei)建模为沿(yan)其骨骼方向(xiang)的变化(hua)以及(ji)沿其骨骼正(zheng)交(jiao)方向的变化，如图2 (b) 中小(xiao)图所示。

受这一观察的啟(qi)发，作者提出一种部件感知的骨骼分离的解耦策略，解耦思路概述如图2 (c) 所示。

具体来说，作者将人体部件的几何形变解耦为与骨骼相关的变化（比如骨骼長(chang)度和方向的变化）和与骨骼无关的变化（比如形状尺(chi)寸(cun)和风格的变化），它们分别由第(di)k个部位的骨骼隐编码和形状嵌(qian)入表示。

这种全新的基于人体局部的解耦策略不仅可以为表示提供了细粒度的语义，以实现部件级别的灵活可控编辑，還(hai)可以准确且高效地刻画几何结构，并且有利(li)于无监督损失的构建，从而摆脱对配对监督数据的依赖。

2.3网络架构

网络架构以经典(dian)的编码器-解码器结构为基础，融(rong)合其解耦思路中的“部件感知”、“骨骼分离”特(te)点，把编码器拆(chai)分为骨骼支路和形状支路，并且把一个全连接(jie)层拆成多个局部全连接层，这樣(yang)设计不仅有利于人体特征的提取(qu)与聚(ju)合，得以更(geng)加有效地建模几何细节，而且显著降(jiang)低了模型(xing)参数量，设计细节如图3所示。

图3：网络架构示意图

具体来说，输入一个网格x，编码器的骨骼支路和形状支路分别编码其每个部件的骨骼信(xin)息(xi)与形状特征，得到骨骼隐编码和形状隐编码其中和

表示第k个部位的局部隐编码。

然后局部隐编码被送(song)入对应的全连接层中得到局部特征，最(zui)終(zhong)通过图卷(juan)積(ji)网络聚合不同(tong)部件的特征重建出输入的网格。

2.4训练流程与损失

在上述网络框架的基础上，作者通过设计不同的训练分支和对应的损失来分别達(da)到精确几何重建、无监督解耦、部件级别人体编辑的目的，训练总览如图4所示。

图4：训练流程示意图。整(zheng)个训练流程由 (a) 重建分支、(b) 解耦分支、(c) 编辑分支组成

整个训练流程的损失函数如下，三种损失分别实现对应的任(ren)務(wu)：

重建分支：如图4 (a) 所示，作者采用如下的重建损失来实现精确的几何重建：

x是输入网格，Lvert和Ledge分别从頂(ding)点和邊(bian)的层面对重建的网格进行几何约束，以实现精确的几何重建。

解耦分支：在重建分支的约束下，表示已经具備(bei)刻画复杂几何的能力，可是其隐空间仍(reng)

然是耦合的，因此作者采用如下的解耦损失来实现无监督解耦：

給(gei)定两个输入网格x1和x2，x_swp表示生成的网格，它由来自(zi)x2的骨骼隐编码和来自x1的形状隐编码解码得到，如图4 (b) 所示，Ldis_b和Ldis_s分别用于保留属于x2的骨骼信息和属于x1的几何特征。

通过这种方式，该表示可以通过无监督学习实现解耦。因为骨骼由关节点決(jue)定，所以应该具有与相似的关节点位置(zhi)，因此定义如下，其中为关节回(hui)歸(gui)器：

然而如何保留人体的局部几何特征是一个很(hen)有挑(tiao)戰(zhan)性的问题，一个简单的想(xiang)法是用歐(ou)式距(ju)离矩(ju)陣(zhen)来描述人体部件的几何特征，如下式所示：

其中x^k是指(zhi)x的第k个部件，指x^k的顶点间的欧式距离矩阵，如果(guo)x^k有n^k个顶点那么其矩阵大小为

。

然而骨骼的长度是耦合在该矩阵中的，这會(hui)导致不徹(che)底(di)的解耦从而影響(xiang)人体编辑的精度。

为了緩(huan)解这个问题，作者提出方向自適(shi)应權(quan)重(orientation-adaptive weighting, OAW)策略。具体来说，对于人体部件x^k，作者首先通过连接每对顶点形成一條(tiao)线，然后计算(suan)该线与骨骼方向所形成的夹角，从而构建一个大小为

角度矩阵，如图3 (d) 所示。显然该夹角越大代表该线对沿着的形状变化的貢(gong)獻(xian)越大。

接着作者采用下面的閾(yu)值(zhi)处理和归一化函数来获得大小同为的权重矩阵：

加权后的欧式距离矩阵定义为：

其中表示矩阵的逐(zhu)元素(su)相乘(cheng)，OAW策略尽可能地将骨长信息与欧式距离矩阵分离，从而实现更彻底的解耦和更高精度的编辑。

编辑分支：在解耦分支的约束下，网络学习到的隐空间已经实现了人体部件骨骼与形状的

无监督解耦，因此用户可以通过修(xiu)改输入的关节点位置控制人体部件骨骼的方向和长度，但是对于部件的形状仍然无法实现可控的编辑。为了解决这个问题，作者提出了如图4 (c) 所示的编辑分支，通过监督生成的网格按(an)照(zhao)期(qi)望(wang)变形，从而实现部件级别的形状编辑：

其中是从均(jun)勻(yun)分布中隨(sui)机采样的標(biao)量，表示由生成的网格。

具体来说，监督的第k个部位具有由描述的形状。

由于捕(bu)获的是沿着的成对的欧式距离，所以當(dang)部件沿着縮(suo)放(fang)时该矩阵中的元素也应该相应的缩放，此外还引(yin)入了来确保编辑过程中的骨骼信息保持不变。

3. 实驗(yan)结果

作者DFAUST和SPRING数据集(ji)上评估(gu)了所提出方法的几何表示能力（重建精度）和编辑能力（语义）。

3.1重建实验

作者首先比较了四(si)类方法来验證(zheng)该方法的重建精度，分别是基于譜(pu)域(yu)卷积的方法COMA[3]，基于螺(luo)旋(xuan)卷积的方法Neural3DMM[4]和Spiralplus[5]，基于注意力的方法Pai3DMM[6]和Deep3DMM[7]，以及无监督解耦方法Unsup[8]，采用输入网格与重建网格间的平(ping)均顶点欧式距离来评价重建精度。

如表1所示，该方法在更少(shao)的参数量下显示了更出色(se)的几何表示能力。图5显示了一些重建结果与誤(wu)差(cha)图，可以观察到该方法的重建精度显著优于其他(ta)方法，尤其在几何细节豐(feng)富(fu)的部件上（如人臉(lian)人手）。

表1：重建实验定量表。

图5：重建实验定性图

3.2编辑实验

作者还展(zhan)示了该方法在三个编辑任务上的灵活编辑能力：编辑骨骼方向和长度，以及编辑部件形状大小。由于骨骼方向相当于姿勢(shi)，所以作者在该任务上与无监督姿势和形状解耦工作 Unsup[8]比较；而骨长和形状大小属于形状信息，因此作者在这两项任务上与人体重塑(su)工作HBR[9]进行比较。由于这些编辑任务沒(mei)有真(zhen)值，所以作者利用关节点误差Ejoint和周(zhou)长误差Ecirc来评估编辑骨骼和形状的准确性，其公(gong)式如下所示：

其中是求(qiu)部件圍(wei)度的函数，表2给出了量化的编辑结果。该方法不仅在所有的编辑任务中取得了最好的性能，而且还好地保留了其他未(wei)编辑的属性。图6展示了一些可視(shi)化结果，与Unsup[8]和HBR[9]相比，该方法可以更准确、合理、灵活地编辑人体。

表1：编辑实验定量表

图6：编辑实验定性图

作者在demo最后还展示了人体生成与编辑、人体形状风格转移等一系列有趣的应用：

已关注

关注

重播(bo)分享(xiang)贊(zan)

关閉(bi)

观看(kan)更多

更多

正在加載(zai)

正在加载

退(tui)出全屏(ping)

视頻(pin)加载失敗(bai)，請(qing)刷(shua)新页面再(zai)試(shi)

刷新

视频详情

4. 作者简介

孫(sun)曉(xiao)琨(kun)，天津大学21级碩(shuo)士(shi)研究生，主要研究方向：三维视覺(jiao)、人体重建与表示

馮(feng)橋(qiao)，天津大学21级硕士研究生，主要研究方向：计算机视觉、计算机图形学

https://fengq1a0.github.io

李(li)雄(xiong)政(zheng)，天津大学19级博(bo)士研究生，主要研究方向：计算机视觉、计算机图形学

張(zhang)勁(jin)松(song)，天津大学21级博士研究生，主要研究方向：计算机视觉、计算机图形学，https://zhangjinso.github.io/

来煜(yu)坤(kun)，英国卡迪夫大学教(jiao)授(shou)，主要研究方向：计算机图形学，几何处理，图像(xiang)处理和计算机视觉，http://users.cs.cf.ac.uk/Yukun.Lai/

楊(yang)敬(jing)鈺(yu)，天津大学教授，主要研究方向：计算机视觉、智能图像/视频处理、计算成像与三维重建http://tju.iirlab.org/yjy

李坤（通訊(xun)作者），天津大学教授、博导，主要研究方向：三维视觉、人工智能生成內(nei)容(rong)（AIGC）http://cic.tju.edu.cn/faculty/likun

参考(kao)資(zi)料(liao)：

[1] Dragomir Anguelov, Praveen Srinivasan, Daphne Koller, Sebastian Thrun, Jim Rodgers, and James Davis. SCAPE: shape completion and animation of people. ACM Trans. Graph., 2005.

[2] Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J Black. SMPL: A skinned multi-person linear model. ACM Trans. Graph., 2015.

[3] Anurag Ranjan, Timo Bolkart, Soubhik Sanyal, and Michael J Black. Generating 3D faces using convolutional mesh autoencoders. In Eur. Conf. Comput. Vis., 2018.

[4] Giorgos Bouritsas, Sergiy Bokhnyak, Stylianos Ploumpis, Michael Bronstein, and Stefanos Zafeiriou. Neural 3D morphable models: Spiral convolutional networks for 3d shape representation learning and generation. In Int. Conf. Comput. Vis., 2019.

[5] Shunwang Gong, Lei Chen, Michael Bronstein, and Stefanos Zafeiriou. SpiralNet++: A fast and highly efficient mesh convolution operator. In Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops, 2019.

[6] Zhongpai Gao, Junchi Yan, Guangtao Zhai, Juyong Zhang, Yiyan Yang, and Xiaokang Yang. Learning local neighboring structure for robust 3D shape representation. In AAAI, 2021.

[7] Zhixiang Chen and Tae-Kyun Kim. Learning feature aggregation for deep 3D morphable models. In IEEE Conf. Comput. Vis. Pattern Recog., 2021.

[8] Keyang Zhou, Bharat Lal Bhatnagar, and Gerard PonsMoll. Unsupervised shape and pose disentanglement for 3D meshes. In Eur. Conf. Comput. Vis., 2020.

[9] Yanhong Zeng, Jianlong Fu, and Hongyang Chao. 3D human body reshaping with anthropometric modeling. In International Conference on Internet Multimedia Computing and Service, 2017.返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：