<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>高(gao)通(tong)的(de)AR眼(yan)鏡(jing)，可(ke)以(yi)實(shi)時(shi)3D重(zhong)建(jian)了(le)！

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Aeneas

【新智元導(dao)讀(du)】依(yi)靠(kao)自(zi)監(jian)督(du)神(shen)經(jing)網(wang)絡(luo)單(dan)眼深(shen)度(du)估(gu)計(ji)，高通眼镜可以实时3D重建了。

高通的AR眼镜，可以实时3D重建了！

最(zui)近(jin)，高通展(zhan)示(shi)了他(ta)們(men)使(shi)用(yong)自监督神经网络单眼深度估计，在(zai)AR眼镜和(he)智能(neng)手(shou)機(ji)上(shang)实現(xian)实时3D重建的過(guo)程(cheng)。

當(dang)使用者(zhe)戴(dai)上AR眼镜後(hou)，就(jiu)实时生(sheng)成(cheng)了房(fang)間(jian)的3D影(ying)像(xiang)。

AR眼镜顯(xian)示的視(shi)角(jiao)，就是(shi)用戶(hu)所(suo)觀(guan)察(cha)到(dao)的视角。而(er)這(zhe)些(xie)圖(tu)像被(bei)輸(shu)送(song)到高通的低(di)延(yan)遲(chi)深度估计模(mo)型(xing)中(zhong)，預(yu)測(ce)的深度和相(xiang)机的6自由(you)度被提(ti)供(gong)給(gei)了重建模型。

「自我(wo)监督」的意(yi)思(si)，是使用重投(tou)影損(sun)失(shi)來(lai)监督每(mei)個(ge)单目(mu)深度模型。

而实时生成的3D网格(ge)和平(ping)面(mian)非(fei)常(chang)準(zhun)確(que)，使物(wu)理(li)世(shi)界(jie)與(yu)數(shu)字(zi)世界的沈(chen)浸(jin)式(shi)AR體(ti)驗(yan)得(de)以無(wu)縫(feng)對(dui)接(jie)。

辦(ban)公(gong)環(huan)境(jing)深度图的相对誤(wu)差(cha)最小(xiao)可達(da)10-20%，而深度估计延迟小於(yu)9ms。

Qualcomm AI Research：最新的3D感(gan)知(zhi)前(qian)沿(yan)研(yan)究(jiu)

如(ru)此(ci)神奇(qi)的功(gong)能，背(bei)后的原(yuan)理是怎(zen)樣(yang)的呢(ne)？

在7月(yue)高通的壹(yi)篇(pian)blog上，我们或(huo)許(xu)可以找(zhao)到答(da)案(an)。

讓(rang)我们来看(kan)看这篇博(bo)客(ke)——

世界是3D的，作(zuo)為(wei)人(ren)類(lei)，我们是以3D的方(fang)式感知这世界世界。

与2D相比(bi)，3D感知具(ju)有(you)许多(duo)優(you)勢(shi)，使我们能夠(gou)更(geng)准确地(di)感知和參(can)与我们周(zhou)圍(wei)的世界——这就是为什(shen)麽(me)使机器(qi)具有这種(zhong)能力(li)这么重要(yao)。

啟(qi)用和增(zeng)強(qiang)關(guan)鍵(jian)用例(li)

3D感知使得跨(kua)設(she)備(bei)和行(xing)業(ye)的许多程序(xu)能够改(gai)善(shan)我们的生活(huo)，從(cong)XR和自動(dong)駕(jia)駛(shi)，到物聯(lian)网、相机和移(yi)动设备。

例如，要实现沉浸式 XR，在6自由度運(yun)动估计、避(bi)障(zhang)、物体放(fang)置(zhi)、逼(bi)真(zhen)渲(xuan)染(ran)、手势估计以及(ji)虛(xu)擬(ni)环境中的交(jiao)互(hu)中，3D感知都(dou)至(zhi)关重要。

3D感知極(ji)大(da)地促(cu)進(jin)了沉浸式XR

3D感知为自动驾驶提供极大的助(zhu)力，自动驾驶利(li)用来自攝(she)像頭(tou)、LiDAR和雷(lei)达的3D数據(ju)流(liu)，让更安(an)全(quan)的驾驶成为可能。

3D感知還(hai)可用于3D地图重建，它(ta)可以將(jiang)車(che)輛(liang)定(ding)位(wei)在道路(lu)上，尋(xun)找可通行的路面，避開(kai)障礙(ai)物，估计车辆、行人等(deng)物体的軌(gui)跡(ji)，进行路徑(jing)規(gui)劃(hua)等等。

3D感知需(xu)要克(ke)服(fu)的新挑(tiao)戰(zhan)

为了更好(hao)地理解(jie)世界，3D感知依賴(lai)于多項(xiang)任(ren)務(wu)，其(qi)中许多任务在概(gai)念(nian)上与2D感知很(hen)相似(si)。

现在，使3D感知的AI SOTA模型成为现实，並(bing)在受(shou)功率(lv)、熱(re)和性(xing)能限(xian)制(zhi)的邊(bian)緣(yuan)设备上进行大规模的实際(ji)部(bu)署(shu)，一直(zhi)是很大的挑战。

值(zhi)得註(zhu)意的是，有兩(liang)类挑战很突(tu)出(chu)——数据和实施(shi)挑战。

与像素(su)排(pai)列(lie)在均(jun)勻(yun)网格上的2D图像不(bu)同(tong)，3D點(dian)雲(yun)非常稀(xi)疏(shu)且(qie)不均匀，这就需要在可訪(fang)問(wen)性与內(nei)存(cun)之(zhi)间取(qu)得一个平衡(heng)。

3D感知面臨(lin)数据和实施挑战

使大规模3D感知成为现实

Qualcomm AI Research領(ling)导的这项3D感知研究，獨(du)特(te)之處(chu)在于开發(fa)了全新的AI技(ji)術(shu)。

高通的專(zhuan)家(jia)通过全棧(zhan)AI研究構(gou)建真实世界的部署，并創(chuang)建了一个節(jie)能平臺(tai)，使3D感知无处不在。

专家使用Qualcomm AI Stack工(gong)具包(bao)和SDK进行了全栈优化(hua)，实现了许多3D感知突破(po)。

这其中的四(si)个关键领域(yu)——深度估计、目標(biao)檢(jian)测、后估计和場(chang)景(jing)理解的細(xi)节，如下(xia)所示。

3D感知研究的四个关键领域

跨不同模式的准确深度估计

深度估计和3D重建是从2D图像创建场景和物体的3D模型的感知任务。我们的研究利用输入(ru)配(pei)置，包括(kuo)单个图像、立(li)体图像和 3D 点云。

研究院(yuan)已(yi)经为单目和立体图像开发了 SOTA 监督和自我监督學(xue)習(xi)方法(fa)，这些方法不僅(jin)高效(xiao)，而且非常准确。

除(chu)了模型架(jia)构之外(wai)，全栈优化还包括使用DONNA（提取最佳(jia)神经网络架构）进行神经架构搜(sou)索(suo)，以及使用AI 模型效率工具包 (AIMET)进行量(liang)化。

因(yin)此，高通在手机了展示了世界上第(di)一个实时单眼深度估计，可以从单个图像创建3D图像。

高效准确的3D物体检测

3D物体检测是指(zhi)寻找单个物体的位置和區(qu)域的感知任务。

例如，目标可能是在用于自动驾驶的 LiDAR 数据上检测所有车辆和行人的相應(ying) 3D 边界框(kuang)。

专家正(zheng)在使3D点云中的高效对象(xiang)检测成为可能。

为此，他们开发了一种基(ji)于變(bian)換(huan)器的高效3D对象检测架构，这个架构利用的是在极地空(kong)间中提取的2D偽(wei)图像特征(zheng)。

憑(ping)借(jie)更小、更快(kuai)和更低功耗(hao)的模型，专家在LiDAR 3D点云上的车辆、行人和交通标誌(zhi)检测方面取得了最高的准确度分(fen)数。

低延迟和准确的3D姿(zi)势估计

3D姿態(tai)估计是指寻找物体方向(xiang)和关键点的感知任务。

对于XR应用程序，对于在虚拟环境中与虚拟对象进行直观交互，准确且低延迟的手部和身(shen)体姿势估计是至关重要的。

专家开发了一种具有动态改进功能的高效神经网络架构，以減(jian)少(shao)手部姿势估计的模型大小和延迟。

这个模型可以从2D图像解釋(shi)3D的人体姿势和手部姿势，计算(suan)可擴(kuo)展架构叠(die)代(dai)改进了关键点检测，误差小于5毫(hao)米(mi)——这就实现了最佳的平均3D误差。

3D场景理解

3D场景理解是指将场景分解为其3D和物理組(zu)件(jian)的感知任务。

专家开发了世界上第一个用于场景理解的基于变换器的逆(ni)向渲染。

经过端(duan)到端訓(xun)練(lian)的管(guan)道从室(shi)内图像估计基于物理的场景屬(shu)性，例如房间布(bu)局(ju)、表(biao)面法線(xian)、反(fan)照(zhao)率（表面漫(man)反射(she)率）、材(cai)料(liao)类型、对象类別(bie)和照明(ming)估计等。

高通的AI模型可以更好地处理场景组件之间的全局交互，从而更好地消(xiao)除形(xing)狀(zhuang)、材料和照明的歧(qi)義(yi)。

目前，专家在所有3D感知的任务上都取得了SOTA結(jie)果(guo)，并支(zhi)持(chi)高質(zhi)量的AR应用程序，例如将逼真的虚拟对象插(cha)入到真实的场景中。

这个方法可以正确地估计光(guang)照，以逼真地插入物体，例如兔(tu)子(zi)

更多3D的感知突破即(ji)将到来

现在，高通的专家正在3D感知方面进行更多的研究，并且有望(wang)在神经輻(fu)射场 (NeRF)、3D模仿(fang)学习、神经SLAM（同步(bu)定位和映(ying)射）以及RF (Wi-Fi/5G) 中的3D场景理解方面取得更多突破。

此外，隨(sui)著(zhe)机器学习研究工作的推(tui)进，高通的感知研究會(hui)比3D感知廣(guang)泛(fan)得多。

在XR、相机、移动、自动驾驶、物联网等领域，会有更多感知设备出现。

我们的日(ri)常生活，在未(wei)来会大不相同。

参考(kao)資(zi)料：

https://www.reddit.com/r/MachineLearning/comments/z60wuh/r_qualcomm_demos_3d_reconstruction_on_ar_glasses/返(fan)回(hui)搜狐(hu)，查(zha)看更多

責(ze)任编辑：