广告公司的创意设计

OfficeCommunicatorbutongdejiangshanwanfa，zhirenshanyongdexinfangshi，douzaizehuilichanshengqilai。shengjibeidongjinengnengtigaojiaosedeshengmingzhihefangyuli；wenxianjiansuoxiazaigongju【baibianjinenghualitexiaogexinglianzhao】無(wu)需(xu)多(duo)視(shi)圖(tu)！Google重(zhong)磅(bang)升(sheng)級(ji)NeRF：僅(jin)需壹(yi)張(zhang)平(ping)面(mian)图即(ji)可(ke)生(sheng)成(cheng)3D模(mo)型(xing)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】NeRF最(zui)大(da)的(de)弊(bi)端(duan)被(bei)攻(gong)克(ke)！

人(ren)類(lei)视覺(jiao)中(zhong)，有(you)一個(ge)很(hen)重要(yao)的能(neng)力(li)就(jiu)是(shi)可以(yi)從(cong)二(er)維(wei)图像(xiang)中理(li)解(jie)图像的三(san)维形(xing)狀(zhuang)。

理解三维幾(ji)何(he)對(dui)於(yu)了(le)解物(wu)體(ti)和(he)場(chang)景(jing)的物理和語(yu)義(yi)結(jie)構(gou)至(zhi)關(guan)重要，但(dan)當(dang)下(xia)計(ji)算(suan)機(ji)的视觉仍(reng)然(ran)很難(nan)从二维照(zhao)片(pian)中抽(chou)取(qu)出(chu)三维几何信(xin)息(xi)。

2020年(nian)，神(shen)經(jing)輻(fu)射(she)场（NeRF）模型發(fa)布(bu)，仅根(gen)據(ju)二维图像即可生成三维模型，不(bu)過(guo)缺(que)陷(xian)也(ye)很明(ming)顯(xian)：模型需要同(tong)一个场景（scene）的多个视图（views）作(zuo)為(wei)監(jian)督(du)學(xue)習(xi)的輸(shu)入(ru)。

如(ru)果(guo)多视角(jiao)數(shu)据不足(zu)，模型就无法(fa)估(gu)计体積(ji)表(biao)征(zheng)，生成的场景很容(rong)易(yi)崩(beng)潰(kui)成平面，這(zhe)也是NeRF的主(zhu)要瓶(ping)頸(jing)，因(yin)为真(zhen)實(shi)场景中多视角数据很难獲(huo)得(de)。

曾(zeng)有研(yan)究(jiu)人員(yuan)設(she)计了一些(xie)不同的架(jia)构，通(tong)过结合(he)NeRF和生成对抗(kang)網(wang)絡(luo)（GANs），使(shi)用(yong)判(pan)別(bie)器(qi)來(lai)保(bao)證(zheng)多视图的一致(zhi)性(xing)，可以緩(huan)解对多视图訓(xun)練(lian)数据的需求(qiu)。

還(hai)有沒(mei)有更(geng)激(ji)進(jin)的方(fang)法，只(zhi)用單(dan)视图来生成三维模型？

最近(jin)，来自(zi)英(ying)屬(shu)哥(ge)倫(lun)比(bi)亞(ya)大学，西(xi)蒙(meng)菲(fei)莎(sha)大学和Google Research的研究人员发表在(zai)CVPR 2022上(shang)的一篇(pian)論(lun)文(wen)中提(ti)出了一个全(quan)新模型LOLNeRF，对于同一类物体来說(shuo)，仅需单一视角即可训练NeRF模型，而(er)无需对抗监督。一旦(dan)共(gong)享(xiang)的生成模型训练完(wan)畢(bi)，模型即可提供(gong)近似(si)的相(xiang)机姿(zi)態(tai)（camera poses）。

论文鏈(lian)接(jie)：https://arxiv.org/abs/2111.09996

簡(jian)而言(yan)之(zhi)，NeRF不再(zai)需要多视图，並(bing)且(qie)相机也无需非(fei)常(chang)精(jing)確(que)就可以達(da)到(dao)令(ling)人信服(fu)的效(xiao)果。

具(ju)体来说，LOLNeRF使用預(yu)測(ce)的二维landmarks將(jiang)数据集(ji)中的所(suo)有图像大致对齊(qi)到一个典(dian)型的姿态，以此(ci)来确定(ding)應(ying)該(gai)从哪(na)个视图渲(xuan)染(ran)辐射场以再現(xian)原(yuan)始(shi)图像。

对于生成模型部(bu)分(fen)，LOLNeRF采(cai)用了一个自解碼(ma)器框(kuang)架。为了提高(gao)通用性，研究人员又(you)进一步(bu)训练兩(liang)个模型，一个用于前(qian)景，即数据集中常見(jian)的物体类别；另(ling)一个用于背(bei)景，因为背景在整(zheng)个数据中往(wang)往是不一致的，因此不太(tai)可能受(shou)到三维一致性偏(pian)差(cha)的影(ying)響(xiang)。

值(zhi)得註(zhu)意(yi)的是，该方法不需要在训练時(shi)渲染整个图像，甚(shen)至不需要渲染patch。在自解码器的框架內(nei)，模型从数据集中重建(jian)图像，同时为每(mei)个图像找(zhao)到最佳(jia)的潛(qian)表征。目(mu)標(biao)函(han)数基(ji)于单个像素(su)定义，因此可以用任(ren)意尺(chi)寸(cun)的图像进行(xing)训练，而不會(hui)在训练过程(cheng)中增(zeng)加(jia)内存(cun)使用量(liang)。

相比之下，现有的利(li)用GANs的方法通过判别器监督像素間(jian)的关系(xi)，極(ji)大地(di)限(xian)制(zhi)了模型在图像分辨(bian)率(lv)的伸(shen)縮(suo)能力。

GLO+NeRF打(da)破(po)多视角需求

GANs过去(qu)一直(zhi)是图像生成的标準(zhun)模型，其(qi)成功(gong)可以歸(gui)因为两點(dian)：

1、解決(jue)了困(kun)难的鞍(an)点優(you)化(hua)問(wen)題(ti)，可以解釋(shi)为生成器和判别器之间的对抗博(bo)弈(yi)；

2、将生成器和判别器參(can)数化为深(shen)度(du)卷(juan)积神经网络。

2019年，研究人员提出Generative Latent Optimization(GLO)，使用简单的重建損(sun)失(shi)来训练深度卷积生成器，可以合成视觉上吸(xi)引(yin)人的樣(yang)本(ben)、在样本之间进行平均(jun)插(cha)值，并对噪(zao)聲(sheng)向(xiang)量进行線(xian)性運(yun)算。

最重要的是：这些效果的实现都(dou)不需要对抗优化方案(an)。

论文链接：https://arxiv.org/pdf/1707.05776.pdf

NeRF需要多视角数据不就是为了对抗性训练嗎(ma)？

如果GLO无需对抗训练即可实现GAN，那(na)二者(zhe)结合起(qi)来，豈(qi)不就是不需要多视角的NeRF！

GLO是一種(zhong)通用的方法，通过共同学习解码器神经网络和潜码表来学习重建一个数据集（如一組(zu)二维图像），该编码表也是解码器的输入。

每一个潜码都从数据集中重新創(chuang)建了一个单一的元素（如图像）。由(you)于潜伏(fu)代(dai)码的维度少(shao)于数据元素本身(shen)，网络需要对数据进行泛(fan)化，学习数据中的共同结构（如狗(gou)鼻(bi)子(zi)的一般(ban)形状）。

NeRF是一种非常善(shan)于从二维图像重建靜(jing)态三维物体的技(ji)術(shu)。它(ta)用一个神经网络表示(shi)一个物体，为三维空(kong)间中的每个点输出顏(yan)色(se)和密(mi)度。颜色和密度值是沿(yan)著(zhe)射线积累(lei)的，二维图像中的每个像素都有一條(tiao)射线。然後(hou)使用标准的计算机图形体积渲染将这些值结合起来，计算出最終(zhong)的像素颜色。

重要的是，所有这些操(cao)作都是可微(wei)的，可以进行端到端的监督训练。通过強(qiang)制要求每个渲染的像素（三维）與(yu)基准（二维）像素的颜色相匹(pi)配(pei)，神经网络可以创建一个从任何视角渲染的三维。

将NeRF与GLO结合起来，給(gei)每个物体分配一个潜码，与标准的NeRF输入相連(lian)接，使其有能力重建多个物体。

在GLO之后，研究人员在训练期(qi)间将这些潜码与网络權(quan)重共同优化以重建输入图像。

与需要同一物体的多个视图的标准NeRF不同，LOLNeRF只用一个物体的单个视图（但该类型物体的多个例(li)子）来监督训练。

因为NeRF本身是三维的，所以模型可以从任意的视角来渲染物体。将NeRF与GLO结合起来，使其有能力从单一视图中学习跨(kua)实例的公(gong)有三维结构，同时仍然保留(liu)了重新创建数据集的特(te)定实例的能力。

为了讓(rang)NeRF正(zheng)常运行，模型需要知(zhi)道每张图像的确切(qie)攝(she)像机位(wei)置(zhi)，以及(ji)相对于物体的位置，但正常来说这个数据都是不可知的，除(chu)非在拍(pai)摄图像时具体测量过。

研究人员使用MediaPipe Face Mesh来从图像中提取五(wu)个landmark位置，这些二维预测的每一个点都对应于物体上的一个语义一致的点（例如，鼻尖(jian)或(huo)眼(yan)角）。

对于貓(mao)来说也是一样。

然后，我(wo)們(men)可以为这些语义点推(tui)导出一组典型的三维位置，以及对每张图像的摄像机位置的估计，这样典型点在图像中的投(tou)影就会与二维landmark盡(jin)可能地一致。

标准的NeRF对于准确地再现图像是有效的，但在单视角情(qing)況(kuang)下，往往会產(chan)生在off-axis觀(guan)看(kan)时看起来很模糊(hu)的图像。

为了解决这个问题，模型中还引入了一个新的硬(ying)表面损失（hard surface loss），促(cu)使密度采用从外(wai)部到内部區(qu)域(yu)的尖銳(rui)过渡(du)，減(jian)少模糊现象(xiang)，实質(zhi)上是告(gao)訴(su)网络创建「固(gu)体」表面，而不是像雲(yun)一样的半(ban)透(tou)明表面。

研究人员还通过将网络分割(ge)成獨(du)立(li)的前景和背景网络获得了更好(hao)的结果，使用MediaPipe Selfie Segmenter的一个掩(yan)码和一个损失来监督这种分離(li)，以促使网络specialization，可以使得前景网络只專(zhuan)注于感(gan)興(xing)趣(qu)的对象，而不会被背景「分心(xin)」，从而可以提高生成质量。

在实驗(yan)部分，先(xian)看一下模型在CelebA-HQ、FFHQ、AFHQ和SRN Cars数据集上训练后的可视化效果。

在量化比較(jiao)部分，由于LOLNeRF是用图像重建metric来训练的，所以研究人员首(shou)先进行实验来評(ping)估训练数据集中的图像被重建的程度。

用峰(feng)值信噪比（PSNR）、结构相似度指(zhi)数 峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像塊(kuai)相似性（LPIPS）指标来比较后可以发现，LOLNeRF的指标都大幅(fu)領(ling)先。

研究人员还对图像擬(ni)合进行了一个更直接的比较，在一组训练期间未(wei)被网络看到的图像上进行测試(shi)。在从FFHQ数据集中抽取了200张图像后，使用在CelebA图像上训练的模型进行重建，在量化指标上仍然有优勢(shi)。

为了评估模型学习到的三维结构的准确性，研究人员对合成的新视图（synthesized novel views）进行图像重建实验。通过对来自人类多视图行为图像（HUMBI）数据集的单幀(zhen)进行图像拟合，并使用相同人物的其他(ta)ground truth视图的相机参数重建图像。

实验结果显示，对于比较模型π-GAN来说，LOLNeRF模型从新的视图中实现了明显更好的重建，也表明该方法确实比π-GAN学到了更好的三维形状空间，也就是说模型可以泛化到未见数据的形状空间，而不仅仅是从查(zha)詢(xun)视图中再现查询图像。

参考(kao)資(zi)料(liao)：

https://ai.googleblog.com/2022/09/lolnerf-learn-from-one-look.html返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任编辑：