广告联盟收益大比拼

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>只(zhi)需(xu)訓(xun)練(lian)壹(yi)次(ci)，即(ji)可(ke)生(sheng)成(cheng)3D新(xin)場(chang)景(jing)！谷(gu)歌(ge)「光(guang)场神(shen)經(jing)渲(xuan)染(ran)」進(jin)化(hua)史(shi)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】NeRF的(de)泛(fan)化性(xing)難(nan)題(ti)再(zai)被(bei)Google攻(gong)克(ke)！

視(shi)圖(tu)合(he)成（view synthesis）是(shi)計(ji)算(suan)機(ji)视覺(jiao)和(he)计算机图形(xing)學(xue)交(jiao)叉(cha)領(ling)域(yu)的一個(ge)重(zhong)點(dian)难题，指(zhi)的是從(cong)一个场景的多(duo)張(zhang)图片(pian)中(zhong)創(chuang)建(jian)該(gai)场景的新视图。

要(yao)準(zhun)確(que)地(di)合成一个场景的新视图，一个模(mo)型(xing)需要从一小(xiao)部(bu)分(fen)參(can)考(kao)图片中捕(bu)捉(zhuo)多種(zhong)類(lei)型的信(xin)息(xi)，比(bi)如(ru)詳(xiang)細(xi)的三(san)維(wei)結(jie)構(gou)、材(cai)料(liao)和光照(zhao)等(deng)。

自(zi)2020年(nian)研(yan)究(jiu)人(ren)員(yuan)提(ti)出(chu)神经輻(fu)射(she)场（NeRF）模型以(yi)來(lai)，這(zhe)个問(wen)题也(ye)受(shou)到(dao)了(le)越(yue)来越多的關(guan)註(zhu)，大(da)大推(tui)動(dong)了新视图合成的性能(neng)。

其(qi)中一个超(chao)級(ji)大玩(wan)家(jia)就(jiu)是Google，在(zai)NeRF领域也發(fa)表(biao)了諸(zhu)多論(lun)文(wen)，本(ben)文將(jiang)為(wei)大家介(jie)紹(shao)兩(liang)篇(pian)Google发表在CVPR 2022和ECCV 2022上(shang)的论文，講(jiang)述(shu)光场神经渲染模型的进化。

第(di)一篇论文提出一个基(ji)於(yu)Transformer的两階(jie)段(duan)模型来学習(xi)組(zu)合参考像(xiang)素(su)顏(yan)色(se)，首(shou)先(xian)獲(huo)得(de)沿(yan)對(dui)極(ji)線(xian)（epipolar lines）的特(te)征(zheng)，然(ran)後(hou)获得沿参考视图的特征以產(chan)生目(mu)標(biao)射线的颜色，极大提升(sheng)了视图重現(xian)的准确率(lv)。

论文鏈(lian)接(jie)：https://arxiv.org/pdf/2112.09687.pdf

经典(dian)光场渲染（Light Field Rendering）可以准确地再现與(yu)视图有(you)关的效(xiao)應(ying)，如反(fan)射、折(zhe)射和半(ban)透(tou)明(ming)，但(dan)需要对场景进行(xing)密(mi)集(ji)的视图采(cai)樣(yang)。基于幾(ji)何(he)重建的方(fang)法(fa)只需要稀(xi)疏(shu)的视图，但不(bu)能准确地模擬(ni)non-Lambertian效应，即非(fei)理(li)想(xiang)散(san)射。

文中提出的新模型结合了这两个方向(xiang)的優(you)勢(shi)並(bing)緩(huan)解(jie)了其局(ju)限(xian)性，通(tong)過(guo)对光场的四(si)维表示(shi)进行操(cao)作(zuo)，模型可以学會(hui)准确地表示与视图有关的效应。通过在训练和推理过程(cheng)中強(qiang)制(zhi)執(zhi)行几何約(yue)束(shu)，场景几何被隱(yin)含(han)地从一组稀疏的视图中学习。

该模型在多个正(zheng)向和360°數(shu)據(ju)集上的表现优于最(zui)先进的模型，并且(qie)在具(ju)有嚴(yan)重的视线依(yi)賴(lai)性變(bian)化的场景上有較(jiao)大的余(yu)地。

另(ling)一篇论文通过使(shi)用(yong)具有規(gui)範(fan)化（canonicalized）位(wei)置(zhi)编碼(ma)的Transformer序(xu)列(lie)来解決(jue)合成未(wei)見(jian)过的场景的泛化性问题。模型在一组场景上训练后就可以用来合成新场景的视图。

论文链接：https://arxiv.org/pdf/2207.10662.pdf

文中提出了一个不同(tong)的范式(shi)，不需要深(shen)度(du)特征和类似(si)NeRF的體(ti)積(ji)渲染，该方法只需从场景中取(qu)样patch集合就能直(zhi)接預(yu)測(ce)新场景中目标射线的颜色。

首先利(li)用对极几何学，沿著(zhe)每(mei)个参考视图的对极线提取patch，并将每个patch都(dou)线性地投(tou)射到一个一维特征向量(liang)中，然后由(you)一系(xi)列的Transformer處(chu)理这个集合。

对于位置编码，研究人员采用和光场表示方法类似的方式对射线进行参数化，區(qu)別(bie)在于坐(zuo)标是相(xiang)对于目标射线的规范化，也使得该方法獨(du)立(li)于参考框(kuang)架(jia)并提高(gao)了通用性。

模型的创新点在于，它(ta)是进行基于图像的渲染，结合参考图像的颜色和特征来渲染新的视图，而(er)且純(chun)粹(cui)是基于Transformer的，在图像patch集上操作。并且它們(men)利用4D光场表示来进行位置编码，有助(zhu)于模拟与视图相关的效果(guo)。

最后實(shi)驗(yan)结果表明，该方法在未见过的场景的新视图合成方面(mian)优于其他(ta)方法，即使在用比少(shao)得多的数据进行训练時(shi)也是如此(ci)。

光场神经渲染

模型的輸(shu)入(ru)包(bao)括(kuo)一组参考图像、相应的相机参数（焦(jiao)距(ju)、位置和空(kong)間(jian)方向），以及(ji)用戶(hu)想要确定(ding)其颜色的目标射线的坐标。

为了生成一个新的图像，我(wo)们需要从输入图像的相机参数開(kai)始(shi)，先获得目标射线的坐标（每一个都对应一个像素），并为每一个坐标进行模型查(zha)詢(xun)。

研究人员的解决方法是，不完(wan)全(quan)处理每张参考图像，而只看(kan)可能影(ying)響(xiang)目标像素的区域。这些(xie)区域可以通过对极几何学确定，将每个目标像素映(ying)射到每个参考框架上的一條(tiao)线。

为了穩(wen)妥(tuo)起(qi)见，需要在对极线上的一些点周(zhou)圍(wei)選(xuan)取小区域，从而形成将被模型实際(ji)处理的patch集合，然后将Transformer作用于这组patch上以获得目标像素的颜色。

Transformer在这种情(qing)況(kuang)下(xia)特别有用，因(yin)为其中的自注意(yi)力(li)机制可以自然地将patch集合作为输入，注意力權(quan)重本身(shen)就可以用来结合参考视图颜色和特征来预测输出像素的颜色。

在光场神经渲染（LFNR）中，研究人员使用两个Transformer序列将patch集合映射到目标像素颜色。

第一个Transformer沿着每条对极线聚(ju)合信息，第二(er)个Transformer沿着每张参考图像聚合信息。

这种方法可以把(ba)第一个Transformer解釋(shi)为在每个参考幀(zhen)上尋(xun)找(zhao)目标像素的潛(qian)在对应关系，而第二个Transformer則(ze)是对遮(zhe)擋(dang)和视线依赖效应的推理，这也是基于图像的渲染的常(chang)见难题。

LFNR在最流(liu)行的视图合成基准（NeRF的Blender和Real Forward-Facing场景以及NeX的Shiny）上相比sota模型在峰(feng)值(zhi)信噪(zao)比（PSNR）的提升幅(fu)度高達(da)5dB，相當(dang)于将像素级的誤(wu)差(cha)減(jian)少了1.8倍(bei)。

LFNR可以重现一些NeX/Shiny数据集中比较难的视线依赖性效果，比如CD上的彩(cai)虹(hong)和反射，瓶(ping)子(zi)上的反射、折射和半透明。

与之(zhi)前(qian)的方法如NeX和NeRF相比，它们就沒(mei)辦(ban)法重现与视线相关的效果，如NeX/Shiny数据集中的实验室(shi)场景中的試(shi)管(guan)的半透明性和折射率。

一次训练，泛化新场景

但LFNR也有局限性。

第一个Transformer对每个参考图像独立地沿每条对极线折疊(die)信息，这也意味(wei)着模型只能根(gen)据每个参考图像的输出射线坐标和patch来决定要保(bao)留(liu)哪(na)些信息，这在單(dan)一场景的训练中效果很(hen)好(hao)（和大多数神经渲染方法一样），但它無(wu)法泛化到不同场景中。

可通用的模型很重要，因为可以直接应用于新的场景而不需要重新训练。

研究人员提出可通用的基于patch的神经渲染（GPNR）模型解决了LFNR的这个缺(que)陷(xian)。

通过在模型中增(zeng)加(jia)一个Transfomre，使其在其他两个Transformer之前運(yun)行，并在所(suo)有参考图像的相同深度的点之间交換(huan)信息。

GPNR由三个Transformer序列组成，这些Transformer将沿对极线提取的一组patch映射为像素颜色。图像patch通过线性投影層(ceng)被映射到初(chu)始特征，然后这些特征被模型連(lian)續(xu)细化和聚合，最終(zhong)形成特征和颜色。

舉(ju)个例(li)子，第一个Transformer从「公(gong)園(yuan)長(chang)椅(yi)」上提取出patch序列后，新模型可以使用在两个视图中出现在相应深度的「花(hua)」这样的线索(suo)，表明存(cun)在潜在的匹(pi)配(pei)。

这項(xiang)工(gong)作的另一个关鍵(jian)idea就是根据目标射线将位置编码规范化，因为想要在不同的场景中进行泛化，就必(bi)須(xu)以相对而非絕(jue)对的参照系来表示quantities

为了評(ping)估(gu)模型的泛化性能，研究人员在一组场景上训练GPNR，并在新场景上进行测试。

GPNR在几个基准（遵(zun)照IBRNet和MVSNeRF協(xie)議(yi)）上平(ping)均(jun)提高了0.5-1.0 dB，尤(you)其是在IBRNet基准上，GPNR 在只使用11%的训练场景的情况下，就超过了基线模型。

GPNR在NeX/Shiny和LLFF的保持(chi)场景上生成的视图细節(jie)，没有进行任(ren)何微(wei)調(tiao)。与IBRNet相比，GPNR可以更(geng)准确地再现葉(ye)片上的细节和通过鏡(jing)頭(tou)的折射。

参考資(zi)料：

https://ai.googleblog.com/2022/09/view-synthesis-with-transformers.html返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任编辑：