视频广告快速编辑软件 – 创意无限，效率倍增！

danjihuohuadongpingmu，kongzhifangkuangshangxiazuoyouyidong，yiquebaofangkuangdaodaxiangyingdetedingweizhijiqingjuntuanzhengduozhan，wanrenjijie，haolingqianjun，zhengfasanguo！naqinidehuabi，xiangxiangmeilideyanse，ranhouhuachulai「zuiquandePVP/PVEcelvewanfa，yugonghuihaoyouxietongzuozhan!」fengfuderenwusheding，kuaisudewanchengrenwulaitishengwujiangdezhandoushili，xiangshouzuihaowanzuiyouqudesanguotafangyouxi。首(shou)個(ge)基(ji)於(yu)LBS方(fang)案(an)的(de)3D傳(chuan)感(gan)器(qi)，VoxelSensor解(jie)析(xi)

對(dui)于AR/VR來(lai)講(jiang)，實(shi)時(shi)、準(zhun)確(que)的深(shen)度(du)感知(zhi)有(you)助(zhu)于实現(xian)穩(wen)定(ding)、良(liang)好(hao)的混(hun)合(he)现实效(xiao)果(guo)，將(jiang)虛(xu)擬(ni)內(nei)容(rong)更(geng)好地(di)與(yu)物(wu)理(li)空(kong)間(jian)融(rong)合。在(zai)移(yi)動(dong)AR場(chang)景(jing)，我(wo)們(men)可(ke)以(yi)通(tong)過(guo)手(shou)機(ji)的ToF、LiDAR传感器对周(zhou)圍(wei)環(huan)境(jing)進(jin)行(xing)3D測(ce)距(ju)，而(er)AR/VR設(she)備(bei)也(ye)開(kai)始(shi)在探(tan)索(suo)此(ci)類(lei)传感器的應(ying)用(yong)。本(ben)文(wen)中(zhong)，Karl Guttag对基于新(xin)型(xing)3D传感技(ji)術(shu)Switching Pixels的VoxelSensor进行了(le)解析，發(fa)现此方案快(kuai)速(su)、准确，甚(shen)至(zhi)技术比(bi)现有3D传感方案還(hai)好。

據(ju)青(qing)亭(ting)網(wang)了解，Switching Pixels由(you)晶(jing)圓(yuan)半(ban)導(dao)體(ti)公(gong)司(si)VoxelSensors开发，這(zhe)是(shi)壹(yi)種(zhong)3D感知和(he)掃(sao)描(miao)框(kuang)架(jia)，原(yuan)理基于LBS激(ji)光(guang)扫描，特(te)點(dian)是省(sheng)電(dian)（檢(jian)测到(dao)光才(cai)會(hui)生(sheng)成(cheng)事(shi)件(jian)）、低(di)延(yan)遲(chi)、3D传感效果稳定、適(shi)合各(ge)种照(zhao)明(ming)條(tiao)件、可追(zhui)蹤(zong)活(huo)动光源(yuan)或(huo)圖(tu)案。Switching Pixels的扫描頻(pin)率(lv)可達(da)100MHz，號(hao)稱(cheng)比其(qi)他(ta)3D扫描速度快100倍(bei)。

Karl認(ren)為(wei)，Switching Pixels保(bao)持(chi)对激光非(fei)常(chang)敏(min)感的同(tong)时，又(you)能(neng)排(pai)除(chu)其它(ta)光線(xian)。另(ling)外(wai)，雖(sui)然(ran)該(gai)方案也是在識(shi)別(bie)到事件後(hou)才觸(chu)发扫描，但(dan)其運(yun)行方式(shi)不(bu)同于常見(jian)的“事件相(xiang)机”。簡(jian)單(dan)来讲，Switching Pixels的區(qu)别是專(zhuan)註(zhu)于识别激光事件，性(xing)能比普(pu)通事件相机更好，但也可以使(shi)用事件相机的算(suan)法(fa)。

原理和細(xi)節(jie)

最(zui)开始，Switching Pixels以Lissajous模(mo)式快速扫描整(zheng)个区域(yu)，並(bing)生成空间图像(xiang)。如(ru)果空间在扫描过程(cheng)靜(jing)止(zhi)不动，那(na)麽(me)该方案便(bian)会不斷(duan)提(ti)升(sheng)分(fen)辨(bian)率。因(yin)此可以认为，Switching Pixels的高(gao)分辨率建(jian)立(li)在一系(xi)列(lie)最新的稀(xi)疏(shu)扫描數(shu)据之(zhi)上(shang)。

据了解，Switching Pixels在不到1毫(hao)秒(miao)时间内，就(jiu)能生成扫描範(fan)围内的完(wan)整稀疏图像。相比之下(xia)，典(dian)型LiDAR方案通常需(xu)要(yao)16毫秒或更久(jiu)的扫描时间，再(zai)加(jia)上数据處(chu)理时间，会有一定延迟。因此相比于典型的dToF/LiDAR传感器，VoxelSensors的方案速度快10倍以上，而且(qie)在任(ren)何(he)时间捕(bu)捉(zhuo)到的图像分辨率都(dou)更高。为什(shen)么呢(ne)？因为Switching Pixels的测距准确性不像LiDAR那樣(yang)受(shou)限(xian)于光速，也不依(yi)賴(lai)于大(da)量(liang)的光速校(xiao)准。

如果将兩(liang)个Switching Pixels模組(zu)結(jie)合，便可通过三(san)角(jiao)测量法来识别精(jing)确的3D形(xing)狀(zhuang)、位(wei)置(zhi)、輪(lun)廓(kuo)和运动（每(mei)納(na)秒生成一个新的立体像素(su)），不需要復(fu)雜(za)的图像处理过程。

只(zhi)需要不到1毫秒，就可以捕捉到可定位的深度信(xin)息(xi)（耗(hao)电大約(yue)只有幾(ji)十(shi)毫瓦(wa)），几毫秒后，便可生成密(mi)集(ji)的深度信息，用于空间测繪(hui)和人(ren)机交(jiao)互(hu)。

不过，该方案还在早(zao)期(qi)演(yan)示(shi)階(jie)段(duan)，硬(ying)件重(zhong)量和体積(ji)大，还很(hen)難(nan)与AR/VR頭(tou)顯(xian)集成。VoxelSensors預(yu)計(ji)，隨(sui)著(zhe)Switching Pixels体积不断縮(suo)小(xiao)，未(wei)来计劃(hua)在AR/VR中集成两个这样的模组，来实现3D扫描。

结合OQmented技术

去(qu)年(nian)12月(yue)，VoxelSensors曾(zeng)宣(xuan)布(bu)与LBS和3D传感方案商(shang)OQmented合作(zuo)，开发可集成AR/VR系統(tong)的3D激光扫描传感器。该传感器将结合OQmented的Lissajous模式的MEMS扫描鏡(jing)，与每幀(zhen)逐(zhu)行工(gong)作的光柵(zha)扫描相比，Lissajous軌(gui)跡(ji)扫描速度更快，并且能耗很低，它可以更快地捕獲(huo)完整的场景和快速移动，并且需要更少(shao)的数据处理，可滿(man)足(zu)AR/VR对于低延迟、高效率的需求(qiu)。

多(duo)年来，OQmented也一直(zhi)在嘗(chang)試(shi)利(li)用Lissajous扫描工藝(yi)来制(zhi)造(zao)LBS显示模组，不过Guttag认为，基于Lissajous显示模组意(yi)義(yi)不大，也沒(mei)有競(jing)爭(zheng)力(li)。反(fan)而是3D传感器方案可能会帶(dai)来更大價(jia)值(zhi)。因此他建議(yi)，OQmented应该专注于研(yan)发感知技术，而不是显示技术。

对比常见的AR/VR 3D传感方案

Guttag指(zhi)出(chu)，3D传感的基本目(mu)標(biao)是生成由XYZ三个維(wei)度立体像素组成的点雲(yun)，并在其中定位现实世(shi)界(jie)中的物理对象(xiang)。在AR/VR領(ling)域，有以下集中常见的3D感知技术：

1，光學(xue)定位（基于可见光或IR）

利用一个或多个攝(she)像头捕捉图像，并輸(shu)入(ru)到图像处理和结構(gou)预测算法中，来推(tui)算2D/3D定位。如果使用多个相机、捕捉多帧图像，便可以梳(shu)理出深度信息。

这是最常见的、且成本最低的3D传感方式，但只具(ju)有一定程度的3D感知能力，尤(you)其是深度感知的分辨率和精度很低，需要大量处理过程。

此外，还受到摄像头刷(shua)新率、图像处理延迟的限制，因此監(jian)测深度速度慢(man)，通常需要多帧图像才能捕捉深度。

2，结构光

该方案会投(tou)射(she)一个或多个光图案（常常为紅(hong)外光），然后再使用一个或多个相机（或红外相机）捕捉。通过处理结构光图案的變(bian)形程度，来提取(qu)3D信息。

微(wei)軟(ruan)Kinect就是基于结构光方案，其基于PrimeSense开发的3D感知技术（该公司在2013年已(yi)經(jing)被(bei)蘋(ping)果收(shou)購(gou)），iPhone、iPad上的Face ID功(gong)能也是基于该技术。

通常，结构光可以很好的识别深度，而且信息处理时间短(duan)。不过在扫描过程中，单结构光模组（例(li)如iPhone X）可能需要移动，才能获得(de)准确的结构。

3，扫描型LiDAR

简单来讲，该方案的原理是发射一束(shu)IR光线，通常是激光（或高度聚(ju)光的lED），然后检测这束光返(fan)回(hui)传感器（一个或多个）所(suo)需的时间，并根(gen)据光速来计算距離(li)。在具体应用中，它需要在X和Y方向(xiang)发射一个或多个脈(mai)沖(chong)光束，以在X和Y軸(zhou)上定位，而Z轴，也就是深度，則(ze)是通过计算光返回的时间来测量。

也就是說(shuo)，该方案通常会搭(da)配(pei)光束扫描模组，比如由电机驅(qu)动的旋(xuan)轉(zhuan)激光陣(zhen)列、MEMS扫描镜、震(zhen)动衍(yan)射光栅等(deng)等，缺(que)点是扫描过程比較(jiao)緩(huan)慢，多数超(chao)过1/60秒。深度测量上受到如发光、传感和测量光速（大约每纳秒30厘(li)米(mi)）的整套(tao)系统准确性而存(cun)在影(ying)響(xiang)。

由于激光的输出強(qiang)度与人眼(yan)安(an)全(quan)息息相關(guan)，因此该传感方案需要在扫描距离、速度、分辨率、靈(ling)敏度、降(jiang)噪(zao)等方面(mian)需要作出權(quan)衡(heng)。比如Intel RealSense L515就是基于LiDAR方案，扫描频率约1/30秒，分辨率根据扫描距离而变化(hua)。值得注意的是，初(chu)代(dai)Quest Pro发布前(qian)，曾计划采(cai)用Intel RealSense传感器。

4，固(gu)態(tai)、ToF、LiDAR组合

对比基于狹(xia)窄(zhai)激光束的扫描方案，这个组合方案结合了衍射光栅等技术，使用单个寬(kuan)光束，或是细光束阵列来扫描整个场景。

此外，该方案配备了测量X、Y距离的微型ToF传感器，常用于手机、AR/VR等设备中。

在实際(ji)应用中，固态LiDAR的分辨率取決(jue)于ToF相机的分辨率（结合运动信息后，可逐漸(jian)提高分辨率）。值得注意的是，单个传感器通常需要捕捉更多光子(zi)，才能实现传感，因此需要更長(chang)时间。也就是说，该系统检测的物体距离越(yue)遠(yuan)，帧速率就越慢，尤其是在AR/VR场景中。比如，HoloLens 2可能需要1秒鐘(zhong)才能识别到较远的距离。

对比VoxelSensors和其他主(zhu)动传感技术

结論(lun)

对比上述(shu)典型的3D传感方案，VoxelSensors主要優(you)勢(shi)如下：

◎ 初始运动检测更快，约1毫秒（其他方案大约要16-33毫秒）；

◎ 对比简单的三角测量、光速测量、大規(gui)模立体图像处理方式，VoxelSensors在深度计算的精度、速度、功率等方面具有优势；

◎ Switching Pixels灵敏度高，可实现更高的帧速率、更远的扫描距离、对人眼也更安全。

盡(jin)管(guan)如此，VoxelSensors當(dang)前劣(lie)势也很明显，就是体积非常大。接(jie)下来还需要进一步(bu)缩小硬件体积，降低成本，才能比现有的ToF传感方案更有竞争力。參(can)考(kao)：VoxelSensor、KG返回搜(sou)狐(hu)，查(zha)看(kan)更多

責(ze)任編(bian)輯(ji)：