最暖心的创意广告词

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>幫(bang)林(lin)誌(zhi)穎(ying)修(xiu)臉(lian)的(de)3D重(zhong)建(jian)，用(yong)兩(liang)塊(kuai)A100加(jia)二(er)維(wei)CNN就(jiu)可(ke)以(yi)實(shi)現(xian)！

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：武(wu)穆(mu)

【新智元導(dao)讀(du)】 不(bu)用三(san)维構(gou)圖(tu)的三维重建，速(su)度(du)能(neng)到(dao)每(mei)幀(zhen)73ms。

三维重建（3D Reconstruction）技(ji)術(shu)壹(yi)直(zhi)是(shi)計(ji)算(suan)機(ji)图形(xing)學(xue)和(he)计算机視(shi)覺(jiao)領(ling)域(yu)的一個(ge)重點(dian)研(yan)究(jiu)领域。

簡(jian)單(dan)說(shuo)，三维重建就是基(ji)於(yu)二维图像(xiang)，恢(hui)復(fu)三维場(chang)景(jing)結(jie)构。

據(ju)说，林志颖出(chu)車(che)禍(huo)後(hou)，他(ta)的面(mian)部(bu)重建方(fang)案(an)就用到了(le)三维重建。

三维重建的不同(tong)技术路(lu)線(xian)，有(you)望(wang)融(rong)合(he)

其(qi)实，三维重建技术已(yi)在(zai)遊(you)戲(xi)、電(dian)影(ying)、測(ce)繪(hui)、定(ding)位(wei)、导航(hang)、自(zi)動(dong)駕(jia)駛(shi)、VR/AR、工(gong)業(ye)制(zhi)造(zao)以及(ji)消(xiao)費(fei)品(pin)领域等(deng)方面得(de)到了廣(guang)泛(fan)的應(ying)用。

隨(sui)著(zhe)GPU和分(fen)布(bu)式(shi)计算的發(fa)展(zhan)，以及硬(ying)件(jian)上(shang)，微(wei)軟(ruan)的Kinect，華(hua)碩(shuo)的XTion以及因(yin)特(te)爾(er)的RealSense等深(shen)度相(xiang)机逐(zhu)漸(jian)成(cheng)熟(shu)，三维重建的成本(ben)已經(jing)呈(cheng)现降(jiang)低(di)的趨(qu)勢(shi)。

從(cong)操(cao)作(zuo)上講(jiang)，3D重建的過(guo)程(cheng)，大(da)體(ti)可以分為(wei)五(wu)步(bu)。

第(di)一步，图像獲(huo)取(qu)。

由(you)于三维重建是照(zhao)相机的逆(ni)操作，因而(er)需(xu)要(yao)先(xian)要用攝(she)像机获取三维物(wu)体的二维图像。

這(zhe)一步不容(rong)忽(hu)视，因为光(guang)照條(tiao)件、相机的幾(ji)何(he)特性(xing)等對(dui)后續(xu)的图像處(chu)理(li)造成很(hen)大的影響(xiang)。

第二步，摄像机標(biao)定。

这一步，是利(li)用摄像机所(suo)拍(pai)摄到的图像來(lai)還(hai)原(yuan)空(kong)間(jian)中(zhong)的物体。

通(tong)常(chang)會(hui)假(jia)設(she)，摄像机所拍摄到的图像與(yu)三维空间中的物体之(zhi)间存(cun)在线性關(guan)系(xi)，求(qiu)解(jie)线性关系的參(can)數(shu)的这个过程，就稱(cheng)为摄像机标定。

第三步，特征(zheng)提(ti)取。

特征主(zhu)要包(bao)括(kuo)特征点、特征线和區(qu)域。

大多(duo)数情(qing)況(kuang)下(xia)，都(dou)是以特征点为匹(pi)配(pei)基元，特征点以何種(zhong)形式提取与用何种匹配策(ce)略(lve)緊(jin)密(mi)聯(lian)系。

因此(ci)在進(jin)行(xing)特征点的提取時(shi)需要先確(que)定用哪(na)种匹配方法(fa)。

第四(si)步，立(li)体匹配。

立体匹配是指(zhi)根(gen)据所提取的特征来建立图像对之间的一种对应关系，也(ye)就是將(jiang)同一物理空间点在两幅(fu)不同图像中的成像点进行一一对应起(qi)来。

第五步，三维重建。

有了比(bi)較(jiao)精(jing)确的匹配结果(guo)，结合摄像机标定的內(nei)外(wai)参数，就可以恢复出三维场景信(xin)息(xi)。

这五步，環(huan)环相扣(kou)，只(zhi)有每个环節(jie)的都做(zuo)得精度高(gao)，誤(wu)差(cha)小(xiao)，才(cai)能设计出一个比较精确的立体视觉系統(tong)。

在算法上，三维重建大体可分为两類(lei)，一个是基于傳(chuan)统多视图几何的三维重建算法。

另(ling)一个是基于深度学習(xi)的三维重建算法。

目(mu)前(qian)，由于CNN在图像的特征匹配上有着巨(ju)大優(you)势，越(yue)来越多的研究人(ren)員(yuan)，開(kai)始(shi)将目光轉(zhuan)向(xiang)基于深度学习的三维重建。

不过，这种方法多是監(jian)督(du)学习方法，对数据集(ji)依(yi)賴(lai)程度很高。

而数据集的收(shou)集和标註(zhu)一直是监督学习的問(wen)題(ti)来源(yuan)，因而，基于深度学习的三维重建，多在体積(ji)较小的物体重建方向上研究较多。

另外，基于深度学习的三维重建固(gu)然(ran)保(bao)真(zhen)度高，在精度方面有较好(hao)的性能。

但(dan)訓(xun)練(lian)模(mo)型(xing)要花(hua)费大量(liang)的时间，且(qie)用于三维重建的3D卷(juan)积層(ceng)是非(fei)常昂(ang)貴(gui)的。

因而，有研究人员开始重新審(shen)视传统的三维重建方法。

传统的三维重建方法固然性能上有不足(zu)，但技术相对成熟。

那(na)麽(me)，将两种方法进行一定的融合，也許(xu)会有更(geng)好的结果。

不用3D卷积层，也能3D重建

来自倫(lun)敦(dun)大学、牛(niu)津(jin)大学、谷(gu)歌(ge)和Niantic（从谷歌拆(chai)分出来的研究AR的獨(du)角(jiao)獸(shou)公(gong)司(si)）等机构的研究人员，探(tan)索(suo)出一条不用3D卷积的3D重建方法。

他們(men)提出了一个简单的最(zui)先进的多视图深度估(gu)计器(qi)。

該(gai)多视图深度估计器有两点突(tu)破(po)。

一是精心(xin)设计的二维CNN，可以利用強(qiang)大的图像先驗(yan)，以及並(bing)可以得到平(ping)面掃(sao)描(miao)特征量和几何損(sun)失(shi)；

二是能将关鍵(jian)帧和几何元数据整(zheng)合到成本量中，从而实现知(zhi)情的深度平面计分。

据研究人员介(jie)紹(shao)，他们的方法在深度估计方面比目前最先进的方法有明(ming)顯(xian)的领先优势。

并且在ScanNet和7-Scenes上进行3D重建时接(jie)近(jin)或(huo)更好，但仍(reng)然允(yun)许在线实时低内存重建。

而且，重建速度非常快(kuai)，每帧僅(jin)用約(yue)73ms。

研究人员認(ren)为，这使(shi)得通过快速深度融合进行精确重建成为可能。

据研究人员介绍，他们的方法是用图像编碼(ma)器从参考(kao)图像和源图像中提取匹配特征，然后輸(shu)入(ru)到cost volume，再(zai)使用2D卷积编码/解码器網(wang)絡(luo)处理cost volume的输出结果。

该研究使用PyTorch来实现，并用ResNet18进行匹配特征提取，还使用两块40GB A100 GPU ，经过36小时完(wan)成全(quan)部工作。

此外，雖(sui)然模型不使用3D卷积层，但在深度預(yu)测指标上卻(que)优于基线模型。

这表(biao)明精心设计和训练的2D网络足以进行高質(zhi)量的深度估计。

感(gan)興(xing)趣(qu)的读者(zhe)，可以閱(yue)读論(lun)文(wen)原文：

https://nianticlabs.github.io/simplerecon/resources/SimpleRecon.pdf

不过，需要提醒(xing)的是，阅读这篇(pian)论文有專(zhuan)业門(men)檻(kan)，有些(xie)細(xi)节可能不容易(yi)会注意(yi)到。

我(wo)们不妨(fang)看(kan)看外國(guo)网友(you)从这篇论文中发现了什(shen)么。

一位网名(ming)为「stickshiftplease」网友说，「虽然A100上的推(tui)理时间约为70毫(hao)秒(miao)，但这可以通过各(ge)种技巧(qiao)来縮(suo)短(duan)，并且内存要求不必(bi)为40GB，最小的模型運(yun)行2.6GB的内存」。

另一个名为「IrreverentHippie」的网友則(ze)指出，「請(qing)注意，这項(xiang)研究依然是基于LiDAR的深度传感器进行采(cai)樣(yang)。这就是这种方法获得如(ru)此好的质量和準(zhun)确性的原因」。

还有一个名为「nickthorpie」的网友的評(ping)论比较長(chang)，他说，「ToF相机的优缺(que)点有据可查(zha)。ToF解決(jue)了困(kun)擾(rao)原始图像处理的各种问题。其中，两个主要问题是可擴(kuo)展性和细节。ToF總(zong)是難(nan)以識(shi)別(bie)諸(zhu)如桌(zhuo)子(zi)邊(bian)緣(yuan)或细桿(gan)之类的小细节。这对于自主或半(ban)自主应用程序(xu)至(zhi)关重要。

此外，由于ToF是一种有源传感器，因此當(dang)多个传感器一起使用时，例(li)如在擁(yong)擠(ji)的十(shi)字(zi)路口(kou)或自建倉(cang)庫(ku)中，图片(pian)质量会迅(xun)速下降。

显然，妳(ni)在一个场景中收集的数据越多，你所創(chuang)造的描述(shu)就越准确。许多研究人员更喜(xi)歡(huan)研究原始图像数据，因为它(ta)更靈(ling)活(huo)」。

参考資(zi)料(liao)：

https://www.reddit.com/r/MachineLearning/comments/xbj6cn/r_simplerecon_3d_reconstruction_without_3d/

https://nianticlabs.github.io/simplerecon/resources/SimpleRecon.pdf返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任(ren)编辑：