徐露个人资料

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>揭(jie)秘(mi)：從(cong)visionOS系(xi)統(tong)窺(kui)探(tan)Vision Pro頭(tou)顯(xian)

在(zai)WWDC 2023上(shang)，蘋(ping)果(guo)發(fa)布(bu)了(le)Vision Pro头显和(he)全(quan)新(xin)的(de)visionOS操(cao)作(zuo)系统，並(bing)宣(xuan)布開(kai)啟(qi)空(kong)間(jian)計(ji)算(suan)時(shi)代(dai)。在過(guo)去(qu)6年(nian)裏(li)，我(wo)們(men)每(mei)年都(dou)會(hui)追(zhui)蹤(zong)苹果ARKit的功(gong)能(neng)叠(die)代與(yu)更(geng)新，今(jin)年雖(sui)然(ran)移(yi)動(dong)端(duan)ARKit未(wei)更新，但(dan)推(tui)出(chu)了壹(yi)些(xie)針(zhen)對(dui)空间计算的ARKit功能，相(xiang)當(dang)有(you)看(kan)點(dian)。

去年上線(xian)的RoomPlan虽然未在WWDC展(zhan)示(shi)應(ying)用(yong)場(chang)景(jing)，但因(yin)為(wei)在MR场景極(ji)具(ju)潛(qian)力(li)，必(bi)然针对visionOS進(jin)行(xing)更新。

總(zong)的來(lai)說(shuo)，ARKit、RealityKit、RoomPlan等(deng)移动端功能，都將(jiang)集(ji)成(cheng)并適(shi)配(pei)全新的visionOS，从而(er)为Vision Pro头显帶(dai)来与眾(zhong)不(bu)同(tong)的體(ti)驗(yan)。要(yao)知(zhi)道(dao)，苹果为visionOS準(zhun)備(bei)了40多(duo)節(jie)課(ke)程(cheng)，也(ye)足(zu)見(jian)重(zhong)要程度(du)。

为了更好(hao)的了解(jie)Vision Pro和visionOS的特(te)性(xing)，今天(tian)我们对vision OS开发入(ru)門(men)、ARKit、RoomPlan等幾(ji)個(ge)课程进行总結(jie)，窥探苹果Vision Pro的更多可(ke)能性。

visionOS基(ji)礎(chu)架(jia)構(gou)

據(ju)苹果官(guan)網(wang)介(jie)紹(shao)，visionOS主(zhu)要基於(yu)SwiftUI、RealityKit、ARKit几大(da)框(kuang)架，开发工(gong)具則(ze)包(bao)括(kuo)Xcode、Reality Composer Pro和Unity。其(qi)中(zhong)大部(bu)分(fen)是(shi)此(ci)前(qian)就(jiu)推出的，值(zhi)得(de)註(zhu)意(yi)的是Reality Composer Pro是一个新的工具，特点是开发者(zhe)提(ti)供(gong)了一个預(yu)覽(lan)和准备3D內(nei)容(rong)的工作流(liu)，好處(chu)是能幫(bang)助(zhu)全面(mian)了解应用开发所(suo)需(xu)的所有3D模(mo)型(xing)，以(yi)及(ji)在场景中的組(zu)合(he)方(fang)式(shi)，加(jia)快(kuai)应用迭代。即(ji)使(shi)开发者只(zhi)开发了部分场景，而沒(mei)有构建(jian)一个完(wan)整(zheng)的应用，也能在Reality Composer Pro中快速(su)预览。

此外(wai)，开发者也可以通(tong)过MaterialX开放(fang)標(biao)准，在Reality Composer Pro中自(zi)定(ding)義(yi)材(cai)質(zhi)，特点是無(wu)需代碼(ma)，使用节点就能快速制(zhi)作并预览。

visionOS用戶(hu)界(jie)面

1）窗(chuang)口(kou)視(shi)圖(tu)

我们知道，苹果的空间计算平(ping)臺(tai)建立(li)在开发者熟(shu)悉(xi)的ARKit基础上，相比(bi)于移动端ARKit，特点是是将虛(xu)擬(ni)和現(xian)實(shi)深(shen)度融(rong)合，并结合手(shou)和眼(yan)等自然輸(shu)入方式。

在UI設(she)计上也有很(hen)大不同，主要由(you)窗口视图、体積(ji)视图和Space三(san)大元(yuan)素(su)组成。其中窗口是一種(zhong)2D界面，每个应用可以开启一个或(huo)多个窗口，窗口可以像(xiang)macOS窗口那(na)樣(yang)支(zhi)持(chi)頁(ye)面重排(pai)、大小(xiao)調(tiao)整、自由移动/固(gu)定。应用界面可包含(han)傳(chuan)统视图和操控(kong)機(ji)制，同时也可以显示3D模型，比如(ru)结合Model3D视图，在2D界面中嵌(qian)入动態(tai)的3D内容。苹果指(zhi)出，Model3D与普(pu)通图像類(lei)似(si)，可直(zhi)接(jie)在应用中加載(zai)，并显示用RealityKit渲(xuan)染(ran)的3D模型。

2）体积视图

除(chu)了窗口视图外，开发者可以使用体积视图来显示3D内容，有趣(qu)的是不同的应用之(zhi)间可共(gong)享(xiang)一个体积空间。体积视图可在空间中重新定位(wei)，并支持从多角(jiao)度查(zha)看。此外，体积视图也是基于SwiftUI场景，基于RealityKit功能来渲染3D，因此对ARKit开发者来講(jiang)比較(jiao)熟悉。

体积视图可看作是窗口的擴(kuo)展，或是一种3D形(xing)态的窗口。相比于窗口，利(li)用体积视图展示3D模型的區(qu)別(bie)是可全方位展示3D模型，允(yun)許(xu)用户从多角度查看。体积视图專(zhuan)为Shared Space界面设计，因此显示的3D模型都具有邊(bian)界（类似于边界框）。

另(ling)外，开发者還(hai)可以在应用中添(tian)加RealityView视图，相比于体积视图，RealityView可在不同坐(zuo)标显示更多个3D模型。

3）Space模式

visionOS的Space模式主要有兩(liang)种，一种是不透(tou)明(ming)背(bei)景模式Full Space，另一种则是VST透视背景Shared Space。

在Full Space模式中，visionOS系统会在後(hou)台隱(yin)藏(zang)其他(ta)应用，只打(da)开正(zheng)在運(yun)行中的应用。即使在完全沈(chen)浸(jin)的VR模式中，ARKit应用也可以識(shi)别周(zhou)圍(wei)场景，允许AR与之互(hu)动。

在Shared Space界面中，窗口和体积视图以VST模式显示，允许用户在使用时也能看到(dao)周围環(huan)境(jing)。如果用户想(xiang)要更沉浸的体验，则可以开启Full Space模式，在該(gai)模式下(xia)依(yi)然可以使用ARKit API的功能，比如在应用中引(yin)入復(fu)雜(za)的骨(gu)骼(ge)追踪等等。

通过旋(xuan)轉(zhuan)數(shu)码旋鈕(niu)，用户可以调整背景透视的程度，讓(rang)UI在完全沉浸和完全透视之间自然过渡(du)。同样，开发者也设置(zhi)、固定应用背景透视的程度，比如无透视、混(hun)合透视或可自由调节。

窗口视图共享：SharePlay

visionOS可以像在macOS那样，允许用户共享任(ren)何(he)窗口，包括AR快速查看内容。当人(ren)们共享Quick Look 3D模型时，visionOS会同步(bu)用户的方向(xiang)，以及AR比例(li)、动畫(hua)和上下文(wen)信(xin)息(xi)，允许SharePlay繪(hui)画中每个人獲(huo)得相同的体验，从而实现遠(yuan)程可视化(hua)協(xie)作。

ARKit更新

我们知道，ARKit使用复杂的CV算法(fa)来理(li)解周围的场景，以及用户的动作。相比于移动端ARKit，ARKit在空间计算平台的作用相当于一个成熟的系统服(fu)務(wu)，它(ta)深層(ceng)次(ci)融入visionOS系统，为AR交(jiao)互、VR遊(you)戲(xi)提供了动力。在WWDC 2023期(qi)间，苹果公(gong)布了ARKit两大新功能，主要面向空间计算：

1，环境追踪（World Tracking）

该功能允许开发者将AR内容錨(mao)定在物(wu)理场景中，ARKit会追踪每个锚点的6DoF运动，并更新其位置，確(que)保(bao)用户佩(pei)戴(dai)头显四(si)处移动时，AR图像与周围环境的相对位置保持固定。

WorldAnchor是一种可追踪的锚点，开发者在空间中添加的任何WorldAnchor，都会在系统后台自动保存(cun)，每次设备重启后，依然会显示在固定的位置。此外，持續(xu)性的锚点位置基于对应的场景，比如妳(ni)在臥(wo)室(shi)固定的AR锚点只能在卧室訪(fang)問(wen)，如果你移动到辦(ban)公室，系统则需要重新測(ce)绘空间地(di)图，由于是两个不同的空间，卧室内的锚点也不会出现在办公室中。

2，场景理解（Scene Understanding）

包含了一系列(lie)识别周围环境的功能，比如：平面檢(jian)测（垂(chui)直和水(shui)平）、场景几何、图像追踪。其中，平面检测为ARKit尋(xun)找(zhao)可放置锚点的水平、垂直表(biao)面（Plane Anchor）。识别到的表面可用来固定AR内容，或是優(you)化物理模拟，允许AR与地板(ban)、墻(qiang)壁(bi)產(chan)生(sheng)自然交互。

场景几何结构为开发者提供包含多边形网格(ge)的锚点（Mesh Anchor），可看作是用一系列多边形网格构成的物理场景模型，可用于预测空间的外觀(guan)。与平面检测相似，场景几何结构也可以促(cu)进AR锚点，以及高(gao)保真(zhen)的物理模拟（比如用作支持物理手勢(shi)交互的碰(peng)撞(zhuang)器(qi)）。

而图像追踪，则可以检测到真实场景中的2D图像，并賦(fu)予(yu)一个基于图像的锚点（Image Anchor），允许开发者在靜(jing)态图像上放置AR内容。

3，其他更新

值得注意的是，ARKit新增(zeng)了一項(xiang)名(ming)为Particles的工具，该工具可快速构建雲(yun)、雨(yu)、火(huo)花(hua)等动态粒(li)子(zi)特效(xiao)，并支持在Reality Composer Pro中预览。

苹果还推出了新的ARKit API，结合了此前在iOS上學(xue)到的經(jing)验，可以很好的滿(man)足空间计算獨(du)特的需求(qiu)。ARKit API由三大要素组成：ARKitSession（功能组合）、DataProvider（场景、手势、平面追踪数据）、锚点。其中DataProvider提供驅(qu)动ARKitSession功能的数据。而锚点则意味(wei)著(zhe)，苹果空间计算平台的AR内容需要通过锚点固定在物理空间中，以達(da)到一种持续性的LBS AR效果。苹果解釋(shi)，锚点代表了AR在真实场景中的位置和方向，部分类型的锚点是可追踪的。

由于Vision Pro头显搭(da)载了多个攝(she)像头和各(ge)类传感(gan)器，保護(hu)用户数据隐私(si)至(zhi)關(guan)重要，为此苹果在系统中确保相机图像幀(zhen)等数据，不会被(bei)上传至客(ke)户空间（比如第(di)三方App），而是发送(song)到ARKit守(shou)护进程，以便(bian)后续算法安(an)全处理。而算法生成的数据结果，还会经过仔(zai)細(xi)整理，才(cai)会发送給(gei)請(qing)求数据的客户端（以用户授(shou)權(quan)许可为前提）。

RoomPlan更新

RoomPlan是ARKit 6带来的一项功能，特点是使用基于ARKit的机器学習(xi)模型来检测墙壁、窗户、门、缺(que)口等空间元素，通过RoomCaptureView API，开发者可在应用中引入3D空间掃(sao)描(miao)功能，3D扫描空间后可生成USDZ格式的3D模型。

该工具新增功能如下：

1）自定义AR会話(hua)

在近(jin)期推送的iOS17系统中，苹果推出了自定义ARSession功能，该功能可将RoomPlan扫描结果与ARKit场景几何和平面检测数据结合，增強(qiang)混合现实交互。此外，利用ARKit的高质量(liang)图像捕(bu)捉(zhuo)功能，可优化基于RoomPlan創(chuang)建的3D建築(zhu)模型外观。同时，也可以将RoomPlan数据直接与现有的ARKit应用结合。

2）支持多房(fang)间（MultiRoom API）

此前，使用RoomPlan工具，开发者可通过一次扫描生成單(dan)个房间的3D模型。而通过MultiRoom API，你可以将房子里不同房间的扫描图像很好的合并，并導(dao)出一个统一的USDZ文件(jian)，从而解決(jue)了房间坐标系不匹(pi)配、手动縫(feng)合等问題(ti)。具体实现主要基于两种方式，一个是連(lian)续的ARSession，另一个则是基于ARWorldMap（持续的AR公共坐标）的ARSession的重定位功能。

MultiRoom适合单层住(zhu)宅(zhai)，可扫描一到四间卧室、客廳(ting)、廚(chu)房和餐(can)厅，建議(yi)扫描面积不超(chao)过186平方米(mi)。

为了帮助更多人快速上手RoomPlan，苹果还推出了語(yu)音(yin)輔(fu)助模式，通过语音提示来指导用户进行扫描。

3）可识别物体增多

此前，RoomPlan可识别的房间元素有限(xian)，而在升(sheng)級(ji)后，它可以扫描更多类型的房间结构和家(jia)具，比如傾(qing)斜(xie)、彎(wan)曲(qu)、不均(jun)勻(yun)的墙壁（用多边形来描述(shu)），或是洗(xi)碗(wan)机、烤(kao)箱(xiang)、水槽(cao)等嵌入式厨房元素。此外，还可以分类家具的不同配置，比如单人沙(sha)发、L型沙发、方形沙发等等。

通常(chang)，RoomPlan模型主要由平面和对象(xiang)来表示，而升级后，它还可以描述房间内的区域(yu)，包括客厅、卧室、廁(ce)所、厨房、餐厅。

RoomPlan还新增了一个新的结构：ModelProvider，可将类别和屬(shu)性的合集映(ying)射(she)到模型URL中，在导出RoomPlan扫描数据时，可将3D模型中的每个对象与对应的URL关聯(lian)。參(can)考(kao)：Apple返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任編(bian)輯(ji)：