农林卫视直播，山野生活最真实！

luanshiqingyuanhaikushilan，yunisanshengyouxing！【suijizuti】suishidingzhinindezhuanshuzhentitidan，liyongsuipianshijianzhaloubuque，tifenkandejian。quanxinshangxian，quanmianzhuligukeyishengdefazhanfangkainasanguooppoqudaofushouyouxiazaidianzishuxingshijiemianshushishiheyuedu3D版(ban)「分(fen)割(ge)壹(yi)切(qie)」來(lai)了(le)！NUS華(hua)人(ren)團(tuan)隊(dui)最(zui)新(xin)模(mo)型(xing)，單(dan)視(shi)圖(tu)重(zhong)建(jian)3D，又(you)快(kuai)又準(zhun)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：拉(la)燕(yan) 桃(tao)子(zi)

【新智元導(dao)讀(du)】計(ji)算(suan)機(ji)视覺(jiao)迎(ying)来大(da)突(tu)破(po)！新加(jia)坡(po)國(guo)立(li)大學(xue)学者(zhe)開(kai)發(fa)Anything-3D，单图超(chao)快3D重建！

2D图像(xiang)的(de)3D重建一直(zhi)是(shi)CV領(ling)域(yu)的重頭(tou)戲(xi)。

層(ceng)出(chu)不(bu)同(tong)的模型被(bei)开发出来試(shi)图攻(gong)克(ke)這(zhe)個(ge)難(nan)題(ti)。

今(jin)天(tian)，新加坡国立大学的学者共(gong)同发表(biao)了一篇(pian)論(lun)文(wen)，开发了一个全(quan)新的框(kuang)架(jia)Anything-3D来解(jie)決(jue)这个老(lao)大难問(wen)题。

论文地(di)址(zhi)：https://arxiv.org/pdf/2304.10261.pdf

借(jie)助(zhu)Meta「分割一切」模型，Anything-3D直接(jie)讓(rang)分割後(hou)的任(ren)意(yi)物(wu)體(ti)活(huo)起(qi)来了。

另(ling)外(wai)，再(zai)用(yong)上(shang)Zero-1-to-3模型，妳(ni)就(jiu)可(ke)以(yi)得(de)到(dao)不同角(jiao)度(du)的柯(ke)基(ji)。

甚(shen)至(zhi)，還(hai)可以進(jin)行(xing)人物3D重建。

可以說(shuo)，这把(ba)真(zhen)突破了。

Anything-3D！ ????

在(zai)現(xian)實(shi)世(shi)界(jie)中(zhong)，各(ge)種(zhong)物体和(he)各類(lei)環(huan)境(jing)既(ji)多(duo)樣(yang)又復(fu)雜(za)。所(suo)以，在不受(shou)限(xian)制(zhi)的情(qing)況(kuang)下(xia)，從(cong)单一RGB图像中进行三(san)維(wei)重建面(mian)臨(lin)諸(zhu)多困(kun)难。

在此(ci)，新加坡国立大学研(yan)究(jiu)人員(yuan)結(jie)合(he)了一系(xi)列(lie)视觉語(yu)言(yan)模型和SAM（Segment-Anything）物体分割模型，生(sheng)成(cheng)了一个功(gong)能(neng)多、可靠(kao)性(xing)強(qiang)的系統(tong)——Anything-3D。

目(mu)的就是在单视角的條(tiao)件(jian)下，完(wan)成3D重建的任務(wu)。

他(ta)們(men)采(cai)用BLIP模型生成紋(wen)理(li)描(miao)述(shu)，用SAM模型提(ti)取(qu)图像中的物体，然(ran)后利(li)用文本(ben)→图像的擴(kuo)散(san)模型Stable Diffusion將(jiang)物体放(fang)置(zhi)到Nerf（神(shen)經(jing)輻(fu)射(she)場(chang)）中。

在后續(xu)的实驗(yan)中，Anything-3D展(zhan)示(shi)出了其(qi)强大的三维重建的能力(li)。不僅(jin)准確(que)，適(shi)用面也(ye)非(fei)常(chang)廣(guang)泛(fan)。

Anything-3D在解决现有(you)方(fang)法(fa)的局(ju)限这方面，效(xiao)果(guo)明(ming)顯(xian)。研究人员通(tong)過(guo)對(dui)各类數(shu)據(ju)集(ji)的測(ce)验和評(ping)估(gu)，展示了这种新框架的優(you)點(dian)。

上图中，我(wo)们可以看(kan)到，「柯基吐(tu)舌(she)头千(qian)裏(li)奔(ben)襲(xi)图」、「銀(yin)翅(chi)女(nv)神像委(wei)身(shen)豪(hao)車(che)图」，以及(ji)「田(tian)野(ye)棕(zong)牛(niu)头戴(dai)藍(lan)繩(sheng)图」。

这是一个初(chu)步(bu)展示，Anything-3D框架能夠(gou)熟(shu)練(lian)地把在任意的环境中拍(pai)攝(she)的单视角图像中恢(hui)复成的3D的形(xing)態(tai)，並(bing)生成纹理。

盡(jin)管(guan)相(xiang)机视角和物体屬(shu)性有很(hen)大的變(bian)化(hua)，但(dan)这种新框架始(shi)終(zhong)能提供(gong)准确性較(jiao)高(gao)的结果。

要(yao)知(zhi)道，从2D图像中重建3D物体是计算机视觉领域課(ke)题的核(he)心(xin)，对机器(qi)人、自(zi)動(dong)駕(jia)駛(shi)、增(zeng)强现实、虛(xu)擬(ni)现实，以及三维打(da)印(yin)等(deng)领域都(dou)有巨(ju)大影(ying)響(xiang)。

雖(sui)说这幾(ji)年(nian)来取得了一些(xie)不錯(cuo)的进展，但在非结構(gou)化环境中进行单图像物体重建的任务仍(reng)然是一个具(ju)有很大吸(xi)引(yin)力且(qie)亟(ji)待(dai)解决的问题。

目前(qian)，研究人员的任务就是从一張(zhang)单一的二(er)维图像中生成一个或(huo)多个物体的三维表示，表示方法包(bao)括(kuo)点雲(yun)、網(wang)格(ge)或体積(ji)表示。

然而(er)，这个问题从根(gen)本上来说并不成立。

由(you)於(yu)二维投(tou)影所產(chan)生的內(nei)在模糊(hu)性，不可能明确地确定(ding)一个物体的三维结构。

再加上形狀(zhuang)、大小(xiao)、纹理和外觀(guan)的巨大差(cha)異(yi)，重建自然环境下的物体非常复杂。此外，现实世界图像中的物体经常會(hui)被遮(zhe)擋(dang)，这就会阻(zu)礙(ai)被遮挡部(bu)分的精(jing)准重建。

同時(shi)，光(guang)照(zhao)和陰(yin)影等变量(liang)也会極(ji)大地影响物体的外观，而角度和距(ju)離(li)的不同也会导致(zhi)二维投影的明显变化。

困难说够了，Anything-3D可以出场了。

论文中，研究人员詳(xiang)細(xi)介(jie)紹(shao)了这个开創(chuang)性的系统框架，将视觉语言模型和物体分割模型融(rong)合在一起，輕(qing)轻松(song)松就能把2D物体搞(gao)成3D的。

这样，一个功能强大、自适應(ying)能力强的系统就成了。单视图重建？Easy.

研究人员表示，将这兩(liang)种模型结合，就可以檢(jian)索(suo)并确定出給(gei)定图像的三维纹理和几何(he)形状。

Anything-3D利用BLIP模型（Bootstrapping语言-图像模型）預(yu)訓(xun)练对图像的文本描述，然后再用SAM模型識(shi)別(bie)物体的分布(bu)區(qu)域。

接下来，利用分割出来的物体和文本描述来執(zhi)行3D重建任务。

換(huan)句(ju)話(hua)说，該(gai)论文利用预先(xian)训练好(hao)的2D文本→图像扩散模型来进行图像的3D合成。此外，研究人员用分数蒸(zheng)餾(liu)来训练一个專(zhuan)門(men)用于图像的Nerf.

上图就是生成3D图像的全过程(cheng)。左(zuo)上角是2D原(yuan)图，先经过SAM，分割出柯基，再经过BLIP，生成文本描述，然后再用分数蒸馏搞个Nerf出来。

通过对不同数据集的嚴(yan)格实验，研究人员展示了这种方法的有效性和自适应性，同时，在准确性、穩(wen)健(jian)性和概(gai)括能力方面都超过了现有的方法。

研究人员还对自然环境中3D物体重建中已(yi)有的挑(tiao)戰(zhan)进行了全面深(shen)入(ru)地分析(xi)，探(tan)討(tao)了新框架如(ru)何解决此类问题。

最终，通过将基礎(chu)模型中的零(ling)距离视觉和语言理解能力相融合，新框架更(geng)能从真实世界的各类图像中重建物体，生成精确、复杂、适用面广的3D表示。

可以说，Anything-3D是3D物体重建领域的一个重大突破。

下面是更多的实例(li)：

炫(xuan)酷(ku)黑(hei)内飾(shi)小白(bai)保(bao)时捷(jie)，亮(liang)麗(li)橙(cheng)色(se)挖(wa)机吊(diao)车，綠(lv)帽(mao)小黃(huang)橡(xiang)皮(pi)鴨(ya)

时代(dai)眼(yan)淚(lei)褪(tui)色大炮(pao)、小豬(zhu)猪可愛(ai)迷(mi)你存(cun)錢(qian)罐(guan)、朱(zhu)砂(sha)紅(hong)四(si)腿(tui)高腳(jiao)凳(deng)

这个新框架可以交(jiao)互(hu)式(shi)地识别单视角图像中的区域，并用优化的文本嵌(qian)入来表示2D物体。最终，使(shi)用一个3D感(gan)知的分数蒸馏模型有效地生成高質(zhi)量的3D物体。

總(zong)之(zhi)，Anything-3D展示了从单视角图像中重建自然3D物体的潛(qian)力。

研究者稱(cheng)，新框架3D重建的质量还可以更完美(mei)，研究人员正(zheng)在不斷(duan)努(nu)力提高生成的质量。

此外，研究人员表示，目前沒(mei)有提供3D数据集的定量评估，如新的视图合成和誤(wu)差重建，但在未(wei)来的工(gong)作(zuo)叠(die)代中会納(na)入这些内容(rong)。

同时，研究人员的最终目標(biao)是扩大这个框架，以适应更多的实際(ji)情况，包括稀(xi)疏(shu)视图下的对象(xiang)恢复。

作者介绍

Wang目前是新加坡国立大学（NUS）ECE系的终身制助理教(jiao)授(shou)。

在加入新加坡国立大学之前，他曾(zeng)是Stevens理工学院(yuan)CS系的一名(ming)助理教授。在加入Stevens之前，我曾在伊(yi)利諾(nuo)伊大学厄(e)巴(ba)纳-香(xiang)檳(bin)分校(xiao)Beckman研究所的Thomas Huang教授的图像形成小組(zu)擔(dan)任博(bo)士(shi)后。

Wang在洛(luo)桑(sang)聯(lian)邦(bang)理工学院（EPFL）计算机视觉实验室(shi)獲(huo)得博士学位(wei)，由Pascal Fua教授指(zhi)导，并在2010年获得香港(gang)理工大学计算机系的一等榮(rong)譽(yu)学士学位。

參(can)考(kao)資(zi)料(liao)：

https://arxiv.org/pdf/2304.10261.pdf

返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：