造型定位广告标语

minishijiexgzhushouxiazaiqingshuimoniqishoujixiazailejieduorenyuyinxiudailaidelequ，rangyonghugengyukuaidixiangshoufuwuxiadanfukuanhainenghuodejifen，jifenhainengjinxingzhekoufukuanyouxitigongzuduisidousidouduoqijunbeijingsaibishouzhanhezhuangdan/chaidandengduozhongyouximoshi。遊(you)戲(xi)建(jian)模(mo)師(shi)直(zhi)呼(hu)失(shi)業(ye)！OpenAI再(zai)放(fang)殺(sha)器(qi)Shap-E：史(shi)上(shang)最(zui)快(kuai)的(de)文(wen)本(ben)轉(zhuan)3D模型(xing)，代(dai)碼(ma)、模型全(quan)開(kai)源(yuan)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】OpenAI發(fa)布(bu)全新隱(yin)式(shi)text-to-3D模型Shap-E，速(su)度(du)依(yi)然(ran)炸(zha)裂(lie)，不(bu)過(guo)生(sheng)成(cheng)性(xing)能(neng)略(lve)有(you)不足(zu)。

去(qu)年(nian)12月(yue)，OpenAI曾(zeng)发布Point-E模型，只(zhi)需(xu)幾(ji)秒(miao)鐘(zhong)即(ji)可(ke)根(gen)據(ju)文本生成3D資(zi)產(chan)，相(xiang)比(bi)競(jing)品(pin)模型DreamFusion提(ti)速大(da)約(yue)600倍(bei)。

最近(jin)OpenAI再次(ci)发布了(le)壹(yi)款(kuan)升(sheng)級(ji)模型Shap-E，相比基(ji)於(yu)點(dian)雲(yun)的顯(xian)式生成模型Point-E，Shap-E直接(jie)生成 隐函(han)數(shu)的參(can)数來(lai)渲(xuan)染(ran)紋(wen)理(li)網(wang)格(ge)和(he)神(shen)經(jing)輻(fu)射(she)場(chang)， 收(shou)斂(lian)速度更(geng)快，在(zai)更高(gao)維(wei)的多(duo)表(biao)示(shi)輸(shu)出(chu)空(kong)間(jian)中(zhong)實(shi)現(xian)了 更好(hao)的樣(yang)本質(zhi)量(liang)！

論(lun)文鏈(lian)接：https://arxiv.org/pdf/2305.02463.pdf

代码链接：https://github.com/openai/shap-e

隐式3D生成模型

隨(sui)著(zhe)AIGC模型的爆(bao)炸式增(zeng)長(chang)，生成式的需求(qiu)很(hen)快就(jiu)擴(kuo)散(san)到(dao)了其(qi)他(ta)模態(tai)中，如(ru)圖(tu)像(xiang)、音(yin)頻(pin)、視(shi)频等(deng)，其中大部(bu)分(fen)都(dou)可以(yi)采(cai)用(yong)固(gu)定(ding)大小(xiao)的張(zhang)量進(jin)行(xing)表示，不过目(mu)前(qian)仍(reng)然沒(mei)有一種(zhong)「高效(xiao)的3D资产表示方(fang)式」。

目前常(chang)用的三(san)维资产编码方式主(zhu)要(yao)是(shi)隐式神经表征(zheng)（INRs），將(jiang)三维坐(zuo)標(biao)映(ying)射到特(te)定的位(wei)置(zhi)信(xin)息(xi)，如密(mi)度和顏(yan)色(se)。

一般(ban)来說(shuo)，INRs可以被(bei)認(ren)為(wei)是與(yu)分辨(bian)率(lv)無(wu)關(guan)的，可以在任(ren)意(yi)的输入(ru)点进行查(zha)詢(xun)，而(er)非(fei)在一個(ge)固定的网格或(huo)序(xu)列(lie)中进行信息编码。由(you)于INRs也(ye)是端(duan)到端的可微(wei)分的，所(suo)以可以实现各(ge)种下(xia)游應(ying)用，如風(feng)格遷(qian)移(yi)和可微分的形(xing)狀(zhuang)编辑等。

在這(zhe)項(xiang)工(gong)作(zuo)中，研(yan)究(jiu)人(ren)員(yuan)主要关註(zhu)兩(liang)种類(lei)型的INRs的三维表示：

1. 神经辐射场（NeRF）将三维场景(jing)表示为一个将坐标和觀(guan)察(cha)方向(xiang)映射到密度和RGB颜色的函数。

NeRF可以通(tong)过查询密度和沿(yan)攝(she)像機(ji)光(guang)線(xian)的颜色對(dui)任意视图渲染，並(bing)可以进行訓(xun)練(lian)以匹(pi)配(pei)三维场景的ground truth渲染。

2. DMTet及(ji)其扩展(zhan)GET3D将一个有纹理的3D mesh表示为一个将坐标映射到颜色、有符(fu)號(hao)的距(ju)離(li)和頂(ding)点偏(pian)移的函数。

該(gai)INR以可微分的方式構(gou)建三维三角(jiao)mesh，然後(hou)使(shi)用可微分光柵(zha)化(hua)庫(ku)进行渲染。

盡(jin)管(guan)INRs是靈(ling)活(huo)的、有表现力(li)的，但(dan)为数据集(ji)中的每(mei)个样本獲(huo)取(qu)INRs的过程(cheng)可能非常耗(hao)時(shi)耗力，并且(qie)每个INR都有大量数字(zi)参数，在训练下游生成模型时可能會(hui)帶(dai)来其他難(nan)題(ti)。

之(zhi)前有一些(xie)工作通过使用带有隐式解(jie)码器的自(zi)動(dong)编码器来获得(de)較(jiao)小的潛(qian)在表征，從(cong)而可以直接用现有的生成技(ji)術(shu)进行建模。

Shap-E結(jie)合(he)并扩展了之前的几种方法(fa)，从而適(shi)用于各种復(fu)雜(za)三维隐性表征的條(tiao)件(jian)生成。

与显式三维生成模型Point-E相比，Shap-E模型收敛得更快，并且在共(gong)享(xiang)相同(tong)的模型结构、数据集和条件机制(zhi)的情(qing)況(kuang)下，获得了相似(si)或更高的性能结果(guo)。

令(ling)人驚(jing)訝(ya)的是，Shap-E和Point-E在以图像为条件时，成功(gong)和失敗(bai)的案(an)例(li)非常相似，也表明(ming)对输出表示的非常不同的選(xuan)擇(ze)仍然可以导致(zhi)类似的模型行为。

不过也可以观察到这两个模型之间的一些质量差(cha)異(yi)，特別(bie)是在直接以文字说明为条件时。

和Point-E一样，Shap-E模型的样本质量雖(sui)然比基于優(you)化的文本条件的3D生成方法要差，不过在推(tui)理速度上要比其他模型快上几个数量级。

Shap-E

在Shap-E的模型架(jia)构設(she)計(ji)中，研究人员首(shou)先(xian)训练一个编码器来生成隐式表征（implicit representation），然后在编码器产生的潜表征（latent representation）上训练扩散模型。

3D编码器

給(gei)定一个已(yi)知(zhi)三维资产的稠(chou)密显式表征，训练一个编码器来生成隐式函数的参数。

如上图编码器架构所示，给编码器提供(gong)点云和三维资产的渲染视图，输出多層(ceng)感(gan)知器（MLP）的参数，将资产表示为一个隐式函数。

点云和输入的视图都是通过交(jiao)叉(cha)注意力机制来處(chu)理的，使用Transformer作为主幹(gan)，生成向量序列的潜表征，其中序列中的每个向量然后通过一个潜在的瓶(ping)頸(jing)和投(tou)影(ying)层，其输出被视为所生成的MLP權(quan)重(zhong)矩(ju)陣(zhen)的一行。在训练期(qi)间，查询MLP，并将其输出用于图像重建損(sun)失或蒸(zheng)餾(liu)损失。

Shap-E只用NeRF渲染目标对编码器进行預(yu)训练，因(yin)为研究人员在实驗(yan)中发现这个操(cao)作比基于网格（mesh-based）的目标更穩(wen)定，而且可以进行优化。

在NeRF预训练之后，Shap-E为Signed distance functions（SDF）和纹理颜色预測(ce)增加(jia)了額(e)外(wai)的输出頭(tou)（output head），并使用两階(jie)段(duan)过程训练这些头。

下图中展示了用两种渲染方法对编码器的不同檢(jian)查点进行的三维资产的重建。

潜扩散（Latent Diffusion）

对于生成部分，研究人员采用了Point-E的基于Transformer的扩散结构，不过用潜向量序列替(ti)代了点云。

潜表征为shape 1024×1024的序列，可以将其作为1024个token的序列送(song)入Transformer，其中每个token对应于MLP权重矩阵的不同行。

因此(ci)，该模型在计算(suan)上与基本的Point-E模型大致相當(dang)（即具(ju)有相同的上下文长度和寬(kuan)度），同时由于输入和输出通道的增加，在一个更高的维度空间中生成样本。

条件策(ce)略与Point-E相同：对于图像条件生成，研究人员在Transformer上下文中预置一个256-token的CLIP嵌(qian)入序列；对于文本条件的生成，预置一个包(bao)含(han)CLIP文本嵌入的單(dan)一token

为了支(zhi)持(chi)无分类指(zhi)导（classifier-free guidance），研究人员在训练期间以0.1的概(gai)率将条件信息随机地(di)设置为零(ling)。

与Point-E不同的是，Shap-E没有把(ba)扩散模型输出作为预测的参数，而是选择直接预测x0，在代数上等同于预测扩散模型，但可以在早(zao)期实验中生成更多的一致性样本。

数据集

为了和其他模型进行公(gong)平(ping)的对比，研究人员选择了和Point-E论文中相同的数据集（具有渲染图、点云和文字说明的大型三维资产数据集），但具體(ti)的后处理操作略有變(bian)化。

点云计算中，对每个物(wu)体渲染了60个实体，而非20个。因为只用20个视图可能会由于盲(mang)点导致推斷(duan)出的点云出现小裂縫(feng)。

生成的点云中的点数量从4000个增加到16000个。

在训练编码器渲染视图时，簡(jian)化了照(zhao)明和材(cai)料(liao)，特别是把所有的模型都只用一个固定的照明配置来渲染，只支持漫(man)反(fan)射和環(huan)境(jing)陰(yin)影，更方便(bian)用可微分的渲染器来匹配照明设置。

对于文本条件模型和相应的Point-E基线，研究人员采用了底(di)层3D资产和文字说明的扩展数据集，从高质量的数据源中又(you)收集了大约100萬(wan)个3D资产。

此外，還(hai)额外标注了12万个资产描(miao)述(shu)，作为大型数据集下的高质量子(zi)集。

在文本到3D模型的训练过程中，当人类提供的标簽(qian)和原(yuan)始(shi)文本说明都可用时，会在两者(zhe)之间随机选择一个。

实验结果

编码器評(ping)估(gu)

研究人员在整(zheng)个编码器训练过程中主要跟(gen)蹤(zong)两个基于渲染的指标。

1. 评估重建图像和ground-truth渲染图像之间的 峰(feng)值(zhi)信噪(zao)比（PSNR）

2. 为了衡(heng)量编码器捕(bu)捉(zhuo)3D资产的語(yu)義(yi)相关細(xi)節(jie)的能力，对最大的Point-E模型生成的网格进行编码，并重新评估重建的NeRF和STF渲染的 CLIP R-precision

从实验结果中可以发现，蒸馏会降(jiang)低(di)NeRF的重建质量，但微調(tiao)可以恢(hui)复并略微提高NeRF的质量，同时大幅(fu)提高了STF渲染器的质量。

对比Point-E

Shap-E的潜扩散模型与Point-E擁(yong)有相同的结构、训练数据集和条件模式，所以与Point-E的对比有助(zhu)于確(que)定生成隐式神经表征和显式表征之间的影響(xiang)。

研究人员在一組(zu)COCO验證(zheng)提示上计算CLIP R-precision，并且也在这些相同的提示上评估CLIP分数，以衡量图像生成质量。

在文本条件设置中，可以观察到Shap-E在两个指标上都比Point-E模型有所提高。

从定性对比的样本中可以发现，模型对于相同的文本提示经常质量不同的样本；还可以观察到，文本条件Shap-E在训练结束(shu)前的评估开始变差，很可能是由于对文字说明的过度擬(ni)合。

与文本条件下的情况不同，图像条件下的Shap-E和Point-E模型達(da)到了大致相同的最終(zhong)评估性能，Shap-E在CLIP R-precision方面(mian)略有优勢(shi)，在CLIP分数方面略有劣(lie)势。

研究人员发现两个模型的失败案例都比较类似，表明训练数据、模型结构和条件图像对所产生的样本的影响要大于所选择的表示空间。

不过仍然观察到两个图像条件模型之间的一些质量上的差异。

比如可以发现Point-E有时会忽(hu)略长椅(yi)上的小缝隙(xi)，而Shap-E則(ze)可以完(wan)成建模。我(wo)們(men)假(jia)设这种特殊(shu)的差异可能会发生，因为点云对薄(bo)的特征或缝隙的表示很差。

还可以观察到，当应用于Point-E样本时，3D编码器稍(shao)微降低了CLIP的R-precision

由于Shap-E实现了与Point-E相当的CLIP R-Precision，可以假设Shap-E必(bi)須(xu)为一些不受(shou)编码器瓶颈限(xian)制的提示生成质量不同的样本，进一步(bu)表明，显式和隐式建模仍然可以从相同的数据和模型架构中學(xue)習(xi)不同的特征。

参考(kao)资料：

https://github.com/openai/shap-e返(fan)回(hui)搜(sou)狐(hu)，查看(kan)更多

責(ze)任编辑：