武汉，勇敢前行！

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>小(xiao)紮(zha)在(zai)元(yuan)宇(yu)宙(zhou)「長(chang)腿(tui)」的(de)秘(mi)密(mi)：加(jia)裝(zhuang)硬(ying)件(jian)不(bu)靠(kao)譜(pu)，機(ji)器(qi)學(xue)習(xi)才(cai)是(shi)銀(yin)彈(dan)！

新(xin)智(zhi)元報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】元宇宙讓(rang)妳(ni)截(jie)肢(zhi)，Meta让你站(zhan)起(qi)來(lai)，而(er)且(qie)免(mian)費(fei)（不用(yong)額(e)外(wai)加装硬件）！

元宇宙的願(yuan)景(jing)是美(mei)好(hao)的，但(dan)前(qian)路(lu)困(kun)難(nan)重(zhong)重。

由(you)於(yu)頭(tou)顯(xian)設(she)備(bei)無(wu)法(fa)捕(bu)捉(zhuo)到(dao)腿部(bu)的運(yun)動(dong)，所(suo)以(yi)目(mu)前元宇宙裏(li)的虛(xu)擬(ni)化(hua)身(shen)都(dou)只(zhi)能(neng)有(you)壹(yi)半(ban)「身子(zi)」。

最(zui)近(jin)Meta在Horizon Worlds里完(wan)成(cheng)一個(ge)劃(hua)時(shi)代(dai)的創(chuang)舉(ju)，不僅(jin)在元宇宙里給(gei)化身加上(shang)腿，甚(shen)至(zhi)還(hai)能旋(xuan)轉(zhuan)跳(tiao)躍(yue)。

但也(ye)有批(pi)評(ping)者(zhe)表(biao)示(shi)，這(zhe)根(gen)本(ben)就(jiu)不是用戶(hu)真(zhen)實(shi)的腿部运动，Meta只是利(li)用技(ji)術(shu)模(mo)拟了(le)运动軌(gui)跡(ji)，让行(xing)动看(kan)起来真实一些(xie)。

不過(guo)相(xiang)比(bi)其(qi)他(ta)元宇宙應(ying)用中(zhong)的「意(yi)念(nian)飛(fei)行」或(huo)者「假(jia)腿滑(hua)行」来說(shuo)，Meta確(que)实实現(xian)了元宇宙中零(ling)條(tiao)腿的突(tu)破(po)。

而Oculus軟(ruan)件開(kai)發(fa)包(bao)（SDK）最近也发布(bu)了更(geng)新，开发者可(ke)以在新设备使(shi)用身體(ti)追(zhui)蹤(zong)、面(mian)部追踪、眼(yan)球(qiu)追踪技术，可以將(jiang)用户在现实中的一举一动都帶(dai)入(ru)到映(ying)射(she)到元宇宙中。

所以，Meta到底(di)是怎(zen)麽(me)让虚拟化身长腿的？

长腿了，但沒(mei)完全(quan)长

首(shou)先(xian)提(ti)一个問(wen)題(ti)，「长腿」这件事(shi)，對(dui)「你自(zi)己(ji)」来说更重要(yao)，还是对別(bie)人(ren)更重要？

比如(ru)在FPS遊(you)戲(xi)里，我(wo)們(men)從(cong)来没有看到过使用角(jiao)色(se)的腿长什(shen)么樣(yang)（除(chu)了死(si)亡(wang)視(shi)角），所以如何(he)让用户觀(guan)察(cha)到「其他角色」的正(zheng)常(chang)腿部运动才是解(jie)決(jue)问题的關(guan)鍵(jian)。

Meta首席(xi)技术官(guan)Andrew Bosworth在一次(ci)Instagram會(hui)議(yi)上回(hui)答(da)关于「腿部追踪」问题时，明(ming)确表示：

我们目前的戰(zhan)略(lve)就是研(yan)究(jiu)如何让旁(pang)观者看起来「你」的腿更自然(ran)，因(yin)為(wei)实際(ji)上上他们也不知(zhi)道你的腿到底是如何擺(bai)放(fang)的。如果(guo)你低(di)下(xia)头看自己的腿时，可能仍(reng)然什么也看不到，不过这也不重要。

而Meta让虚拟化身站起来的秘密就藏(zang)在9月(yue)20日(ri)上傳(chuan)到arXiv的一篇(pian)論(lun)文(wen)里。

论文鏈(lian)接(jie)：https://arxiv.org/pdf/2209.09391.pdf

先看一下他们的解决方(fang)案(an)演(yan)示视頻(pin)，仅通(tong)过头显即(ji)可实现对人体运动的实时跟(gen)踪，可以極(ji)大(da)提升(sheng)AR/VR中的沈(chen)浸(jin)式(shi)互(hu)动体驗(yan)。

从獨(du)立(li)的可穿(chuan)戴(dai)设备如HMD（头戴式设备）或AR眼鏡(jing)中獲(huo)得(de)的关于身体的传感(gan)器數(shu)據(ju)非(fei)常有限(xian)。

这篇论文中，Meta提出(chu)了一个強(qiang)化学习框(kuang)架(jia)，接收(shou)来自HMD和(he)兩(liang)个控(kong)制(zhi)器的稀(xi)疏(shu)信(xin)號(hao)，並(bing)模拟可信的、物(wu)理(li)上有效(xiao)的全身运动。

在訓(xun)練(lian)中使用高(gao)質(zhi)量(liang)的全身运动数据作(zuo)为監(jian)督(du)，然後(hou)用一个簡(jian)單(dan)的策(ce)略網(wang)絡(luo)可以学习輸(shu)出適(shi)當(dang)的扭(niu)力(li)，以使角色实现平(ping)衡(heng)、行走(zou)和跳跃，同(tong)时密切(qie)跟踪输入信号。

实验結(jie)果表明，在完全没有观察到下半身的情(qing)況(kuang)下，即使输入的只是HMD的6D變(bian)換(huan)，模型(xing)預(yu)測(ce)的腿部运动與(yu)真实运动轨迹相似(si)度(du)非常高。

研究人員(yuan)还證(zheng)明，单一的策略网络可以对不同的运动方式、不同的身体尺(chi)寸(cun)和新環(huan)境(jing)也具(ju)有魯(lu)棒(bang)性(xing)。

雖(sui)然官方宣(xuan)传这項(xiang)功(gong)能是「身体追踪」（body tracking），但实际上更準(zhun)确的形(xing)容(rong)是「身体姿(zi)勢(shi)估(gu)計(ji)」。

发言(yan)人形容这项技术是逆(ni)运动学(inverse kinematics，IK)和机器学习(ML)的结合(he)。

IK指(zhi)的是一類(lei)基(ji)于已(yi)知位(wei)置(zhi)估计骨(gu)骼(ge)(或机器人)部件未(wei)知位置的方程(cheng)，其中的方程式是为应用程序(xu)中的全身虚拟现实化身提供(gong)运动的基礎(chu)。

开发者不需(xu)要实现(甚至不需要理解) IK 背(bei)后的数学原(yuan)理，像(xiang) Unity和Unreal这样的游戏引(yin)擎(qing)已經(jing)內(nei)置了IK

其他的一些身体跟踪技术往(wang)往需要一些專(zhuan)用硬件，比如像HTC 的Vive Tracker等(deng)，而VR 的 IK 往往是不准确的，Meta的主(zhu)要賣(mai)點(dian)在于它(ta)的机器学习模型可以免费生(sheng)成更精(jing)确的身体姿势。

在一次面向(xiang)开发者的演講(jiang)中，身体追踪產(chan)品(pin)经理Vibhor Saxena表示，未来幾(ji)年(nian)身体跟踪的新改(gai)進(jin)将通过相同的 API 提供，所以无需更换设备即可享(xiang)受(shou)最新的身体跟踪技术。

但这種(zhong)方法仍然存(cun)在一些关键问题没有解决，比如如何流(liu)暢(chang)地(di)處(chu)理坐(zuo)姿和站姿之(zhi)間(jian)的变换，以及(ji)如何使腿部在用拇(mu)指移(yi)动时看起来自然。

通过这项技术安(an)装的腿行动轨迹也并非完全准确，并且有160ms的延(yan)遲(chi)，在72Hz的设置下，大約(yue)是11幀(zhen)。

不过相比当下的元宇宙应用程序中，虚拟化身的移动看起来更像是在滑行或「意念飞行」来说，这项技术已经是重大进步(bu)了。

到底是不是身体追踪？

Meta说是「身体追踪」，但实际上只是「身体模拟」，引来了大量批评的聲(sheng)音(yin)，不过也有大量的网友(you)表示支(zhi)持(chi)，网友Christian Schildwaechter提供了相当专業(ye)的评论。

認(ren)定(ding)Meta还没有提供身体追踪的完整(zheng)解决方案有些不公(gong)平，因为其他廠(chang)商(shang)也没有做(zuo)到这一点。

他们的宣传片(pian)并不代表他们软件的当前狀(zhuang)態(tai)，更多(duo)的是他们的目標(biao)。Meta公司(si)经常把(ba)演示弄(nong)得一團(tuan)糟(zao)，不管(guan)是用非常令(ling)人毛(mao)骨悚(song)然的化身，还是誇(kua)大没有人真正关心(xin)的東(dong)西(xi)，但他们仍然在做領(ling)域(yu)内相当尖(jian)端(duan)的东西。

当然，其他公司实现全身追踪技术已经有很(hen)长一段(duan)时间了，但这需要在硬件和高速(su)计算(suan)机上进行巨(ju)大投(tou)資(zi)。

现有的软件IK已经存在很长一段时间了，但它经常会破壞(huai)沉浸感、生成一些物理上不可能的姿势，或者在移动时导致(zhi)肘(zhou)部受到影(ying)響(xiang)。

必(bi)須(xu)看看他们的方法效果如何，以及他们是否(fou)能夠(gou)为腿部想(xiang)出一个可用的解决方案，但考(kao)慮(lv)到他们只依(yi)靠手(shou)和头的位置，并在一个计算能力非常弱(ruo)的设备上运行，同时还必须并行渲(xuan)染(ran)世(shi)界(jie)，其结果看起来相当令人印(yin)象(xiang)深(shen)刻(ke)。

更重要的是，該(gai)研究方向极有可能是正确的。

当下移动端硬件的发展(zhan)过于緩(huan)慢(man)，无法在不完全破坏電(dian)池(chi)壽(shou)命(ming)的情况下迅(xun)速提高分(fen)辨(bian)率(lv)、FoV和圖(tu)形界面。

为了实现優(you)雅(ya)的无障(zhang)礙(ai)VR，需要做得更聰(cong)明，而不仅仅是用更快(kuai)的芯(xin)片，无论是通过ETFR減(jian)少(shao)負(fu)載(zai)、智能升频还是利用人类视覺(jiao)的极限。

机器学习将是其中的一个重要部分，因为它可以将大部分计算需求(qiu)转移到最初(chu)的模型構(gou)建(jian)階(jie)段，而这种方法可以在像Quest 2这样的低功率设备上正常工(gong)作。

Meta也已经展示了对定制的低功耗(hao)神(shen)经引擎芯片的研究，以集(ji)成到未来的SoC中，这可能是他们与高通合作的一个重要部分，所以未来的Quest版(ban)本将更好地滿(man)足(zu)这一需求。

即使是专业的FBT系(xi)統(tong)也经常产生一些古(gu)怪(guai)的錯(cuo)誤(wu)，但经过训练的人工智能解决方案不仅有助(zhu)于从很少的传感器输入中快速得出骨骼信息(xi)，而且训练本身排(pai)除了很多純(chun)粹(cui)基于传感器的跟踪解决方案可能建议的物理上不可能的结果。

Meta令人印象深刻的是，他们一直(zhi)在推(tui)动消(xiao)费类设备的可行解决方案，而这些设备在很长一段时间内将不得不利用非常有限的资源(yuan)。

因此(ci)，与其批评他们仍然没有工作的腿，或者批评他们在宣传片中的动作捕捉方案，我们应该偶(ou)爾(er)承(cheng)认他们提供了其他商业供应商没有展示过的解决方案，并繼(ji)續(xu)向公眾(zhong)发布软件产品，否則(ze)这些方案只能在研究实验室(shi)中找(zhao)到。

我们仍然处于VR和追踪技术的初級(ji)阶段，要想让它对大量主流观众来说足够有用且无故(gu)障，还需要好几年的时间，但Meta公司实际上正在将它推向那(na)里。

參(can)考资料(liao)：

https://uploadvr.com/quest-body-tracking-api-no-legs/返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任(ren)编辑：