奇葩说植入式广告案例

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>CVPR 2023｜無(wu)需(xu)標(biao)註(zhu)數(shu)據(ju)，「3D理(li)解(jie)」進(jin)入(ru)多(duo)模(mo)態(tai)預(yu)訓(xun)練(lian)時(shi)代(dai)！ULIP系(xi)列(lie)全(quan)面(mian)開(kai)源(yuan)，刷(shua)新(xin)SOTA

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】機(ji)器(qi)开始(shi)理解3D世(shi)界(jie)了(le)！

通(tong)過(guo)對(dui)齊(qi)三(san)維(wei)形(xing)狀(zhuang)、二(er)维圖(tu)片(pian)以(yi)及(ji)相(xiang)應(ying)的(de)語(yu)言(yan)描(miao)述(shu)，多模态预训练方(fang)法(fa)也(ye)帶(dai)動(dong)了 3D表(biao)征(zheng)學(xue)習(xi)的發(fa)展(zhan)。

不(bu)过現(xian)有(you)的多模态预训练框(kuang)架(jia) 收(shou)集(ji)数据的方法缺(que)乏(fa)可(ke)擴(kuo)展性(xing)，極(ji)大(da)限(xian)制(zhi)了多模态学习的潛(qian)力(li)，其(qi)中(zhong)最(zui)主(zhu)要(yao)的瓶(ping)頸(jing)在(zai)於(yu)语言模态的可扩展性和(he)全面性。

最近(jin)，Salesforce AI聯(lian)手(shou)斯(si)坦(tan)福(fu) 大学和得(de)克(ke)薩(sa)斯大学奧(ao)斯汀(ting)分(fen)校(xiao)，发布(bu)了ULIP（CVP R2023）和ULIP-2項(xiang)目(mu)，這(zhe)些(xie)项目正(zheng)在引(yin)領(ling)3D理解的新篇(pian)章(zhang)。

論(lun)文(wen)鏈(lian)接(jie)：https://arxiv.org/pdf/2212.05171.pdf

论文链接：https://arxiv.org/pdf/2305.08275.pdf

代碼(ma)链接：https://github.com/salesforce/ULIP

研(yan)究(jiu)人(ren)員(yuan)采(cai)用(yong)了獨(du)特(te)的方法，使(shi)用3D點(dian)雲(yun)、图像(xiang)和文本(ben)进行(xing)模型(xing)的预训练，將(jiang)它(ta)們(men)对齐到(dao)壹(yi)個(ge)統(tong)一的特征空(kong)間(jian)。这種(zhong)方法在3D分類(lei)任(ren)務(wu)中取(qu)得了最先(xian)进的結(jie)果(guo)，並(bing)為(wei)跨(kua)领域(yu)任务（如(ru)图像到3D檢(jian)索(suo)）开辟(pi)了新的可能(neng)性。

并且(qie)ULIP-2将这种多模态预训练變(bian)得可以不需要任何(he)人工(gong)标注，從(cong)而(er)可以大規(gui)模扩展。

ULIP-2在ModelNet40的下(xia)遊(you)零(ling)樣(yang)本分类上(shang)取得了顯(xian)著(zhu)的性能提(ti)升(sheng)，達(da)到74.0%的最高(gao)準(zhun)確(que)率(lv)；在现實(shi)世界的ScanObjectNN基(ji)准上，僅(jin)用140萬(wan)个參(can)数就(jiu)獲(huo)得了91.5%的總(zong)體(ti)准确率，标誌(zhi)著(zhe)在无需人类3D标注的可扩展多模态3D表示(shi)学习方面的突(tu)破(po)。

对齐（3D，图像，文本）这三种特征的预训练框架示意(yi)图

代码以及发布的大规模tri-modal的数据集(「ULIP - Objaverse Triplets」和「ULIP - ShapeNet Triplets」)已(yi)經(jing)开源。

背(bei)景(jing)

3D理解是(shi)人工智能领域的重(zhong)要組(zu)成(cheng)部(bu)分，它讓(rang)机器能像人类一样在三维空间中感(gan)知(zhi)和互(hu)动。这种能力在自(zi)动駕(jia)駛(shi)汽(qi)車(che)、机器人、虛(xu)擬(ni)现实和增(zeng)強(qiang)现实等(deng)领域都(dou)有着重要的应用。

然(ran)而，由(you)于3D数据的處(chu)理和解釋(shi)復(fu)雜(za)性，以及收集和注释3D数据的成本，3D理解一直(zhi)面臨(lin)着巨(ju)大的挑(tiao)戰(zhan)。

ULIP

Tri-modal 预训练框架以及其下游任务

ULIP（已经被(bei)CVPR2023接收）采用了一种独特的方法，使用3D点云、图像和文本进行模型的预训练，将它们对齐到一个统一的表示空间。

这种方法在3D分类任务中取得了最先进的结果，并为跨领域任务（如图像到3D检索）开辟了新的可能性。

ULIP的成功(gong)關(guan)鍵(jian)在于使用预先对齐的图像和文本编码器，如CLIP，它在大量(liang)的图像-文本对上进行预训练。

这些编码器将三种模态的特征对齐到一个统一的表示空间，使模型能夠(gou)更(geng)有效(xiao)地(di)理解和分类3D对象(xiang)。

这种改(gai)进的3D表示学习不仅增强了模型对3D数据的理解，而且還(hai)使得跨模态应用如zero-shot3D分类和图像到3D检索成为可能，因(yin)为3D编码器获得了多模态上下文。

ULIP的预训练損(sun)失(shi)函(han)数如下：

在ULIP的默(mo)認(ren)設(she)置(zhi)中，α被设置为0， β和θ被设置为1，每(mei)兩(liang)个模态之(zhi)间的对比(bi)学习损失函数的定(ding)義(yi)如下， 这裏(li)M1和M2指(zhi)三个模态中的任意两个模态：

ULIP还做(zuo)了由图像到3D的retrieval的实驗(yan)，效果如下：

实验结果可以看(kan)出(chu)ULIP预训练的模型已经能够学习到图像和三维点云间有意义的多模态特征。

令(ling)人驚(jing)訝(ya)的是，相較(jiao)于其他(ta)的检索到的三维模型，第(di)一名(ming)检索到的三维模型與(yu)查(zha)詢(xun)图像的外(wai)觀(guan)最为接近。

例(li)如，當(dang)我(wo)们使用來(lai)自不同(tong)飛(fei)机类型（战鬥(dou)机和客(ke)机）的图片进行检索（第二行和第三行），检索到的最接近的3D点云仍(reng)然保(bao)留(liu)了查询图像的微(wei)妙(miao)差(cha)異(yi)。

ULIP-2

这里是一个3D物(wu)体生(sheng)成多角(jiao)度(du)文字(zi)描述的示例。首(shou)先，我们从一组視(shi)角将3D物体渲(xuan)染(ran)成2D图像，然後(hou)使用大型多模态模型为所(suo)有渲染出的图像生成描述

ULIP-2在ULIP的基礎(chu)上，利(li)用大型多模态模型为3D物体生成全方面对应的语言描述，从而收集可扩展的多模态预训练数据，无需任何人工标注，使预训练过程(cheng)和训练后的模型更加(jia)高效并且增强其適(shi)应性。

ULIP-2的方法包(bao)括(kuo)为每个3D物体生成多角度不同的语言描述，然后用这些描述来训练模型，使3D物体、2D图像、和语言描述在特征空间对齐一致(zhi)。

这个框架使得无需手动注释就可以創(chuang)建(jian)大量的三模态数据集，从而充(chong)分发揮(hui)多模态预训练的潜力。

ULIP-2还发布了生成的大规模三模态数据集：「ULIP - Objaverse Triplets」和「ULIP - ShapeNet Triplets」。

两个tri-modal的datasets的一些统計(ji)数据

实验结果

ULIP系列在多模态下游任务和3D表达的微調(tiao)实验中均(jun)取得了惊人的效果，尤(you)其ULIP-2中的预训练是完(wan)全不需要借(jie)助(zhu)任何人工的标注就可以实现的。

ULIP-2在ModelNet40的下游零样本分类任务中取得了显著的提升（74.0%的top-1准确率）；在真(zhen)实世界的ScanObjectNN基准測(ce)試(shi)中，它仅用1.4M参数就取得了91.5%的总体准确率，这标志着在无需人工3D标注的情(qing)況(kuang)下，实现了可扩展的多模态3D表示学习的突破。

消(xiao)融(rong)实验

两篇论文均做了詳(xiang)盡(jin)的消融实验。

在「ULIP: Learning a Unified Representation of Language, Images, and Point Clouds for 3D Understanding」中，由于ULIP的预训练框架有三个模态的参与，所以作(zuo)者(zhe)用实验探(tan)究了究竟(jing)是只(zhi)对齐其中的两个模态好(hao)还是对齐所有三个模态好，实验结果如下：

从实验结果中可以看到，在不同的3D backbone中，对齐三个模态一致的比只对齐两个模态好，这也应證(zheng)了ULIP的预训练框架的合(he)理性。

在「ULIP-2: Towards Scalable Multimodal Pre-training for 3D Understanding」中，作者探究了不同的大型多模态模型會(hui)对预训练的框架有什(shen)麽(me)影(ying)響(xiang)，结果如下：

实验结果可以看出，ULIP-2框架预训练的效果可以隨(sui)着使用的大型多模态模型的升級(ji)而提升，具(ju)有一定的成長(chang)性。

在ULIP-2中，作者还探索了在生成tri-modal的数据集是采用不同数量的视角会如何影响整(zheng)体预训练的表现，实验结果如下：

实验结果显示，随着使用的视角数量的增加，预训练的模型的zero-shot classification的效果也会随之增加。

这也应证了ULIP-2中的观点，更全方位(wei)多样性的语言描述会对多模态预训练有正向(xiang)的作用。

除(chu)此(ci)之外，ULIP-2还探究了取CLIP排(pai)序(xu)过的不同topk的语言描述会对多模态预训练有什么影响，实验结果如下：

实验结果表明(ming)：ULIP-2的框架对不同的topk有一定的魯(lu)棒(bang)性，论文中采用了top 5作为默认设置。

结论

由Salesforce AI，斯坦福大学，得克萨斯大学奥斯汀分校联手发布的ULIP项目（CVPR2023）和ULIP-2正在改变3D理解领域。

ULIP将不同的模态对齐到一个统一的空间，增强了3D特征的学习并啟(qi)用了跨模态应用。

ULIP-2进一步(bu)发展，为3D对象生成整体语言描述，创建并开源了大量的三模态数据集，并且这个过程无需人工标注。

这些项目在3D理解方面设定了新的基准，为机器真正理解我们三维世界的未(wei)来鋪(pu)平(ping)了道路(lu)。

團(tuan)隊(dui)

Salesforce AI:

Le Xue (薛(xue)樂(le))， Mingfei Gao (高明菲(fei))，Chen Xing（星(xing)辰(chen)），Ning Yu（于寧(ning)）， Shu Zhang（張(zhang)澍(shu)），Junnan Li（李(li)俊(jun)男(nan)）， Caiming Xiong（熊(xiong)蔡(cai)明），Ran Xu（徐(xu)然），Juan carlos niebles， Silvio savarese。

斯坦福大学：

Prof. Silvio Savarese, Prof. Juan Carlos Niebles, Prof. Jiajun Wu(吳(wu)佳(jia)俊)。

UT Austin：

Prof. Roberto Martín-Martín。

参考(kao)資(zi)料(liao)：

https://arxiv.org/pdf/2212.05171.pdf

https://arxiv.org/pdf/2305.08275.pdf返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任编辑：