广告修正：让您的企业广告更具吸引力

tizhongzhuizongyimulerancaiyonglexianjindewulilizijishu，geiwomendeyouxihuamianjinxinglecengcengxuanran，zhenggechangjinggengjiazhenshi。youxiaodeliyongdimaolaikaizhanlingbianpaowei，zuozhanyibushidaibandekuzaofaweiguanlitixixianlu。sanxingjishenghuashuangzhanboX+↓→↑anzhaodutedeshengwudonglifa眼(yan)球(qiu)反(fan)射(she)解(jie)鎖(suo)3D世(shi)界(jie)，黑(hei)鏡(jing)成(cheng)真(zhen)！馬(ma)裏(li)蘭(lan)華(hua)人(ren)新(xin)作(zuo)炸(zha)翻(fan)科(ke)幻(huan)迷(mi)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：好(hao)困(kun) Aeneas

【新智元導(dao)讀(du)】只(zhi)通(tong)過(guo)眼球反光(guang)，就(jiu)能(neng)復(fu)現(xian)妳(ni)眼中(zhong)的(de)世界？如(ru)此(ci)科幻的場(chang)景(jing)，竟(jing)然(ran)在(zai)這(zhe)篇(pian)論(lun)文(wen)中成為(wei)现實(shi)。更(geng)巧(qiao)的是(shi)，就在同(tong)壹(yi)天(tian)，《黑镜》第(di)六(liu)季(ji)上(shang)線(xian)。

「唯(wei)一真正(zheng)的探(tan)索(suo)之(zhi)旅(lv)，不(bu)是去(qu)拜(bai)訪(fang)陌(mo)生(sheng)的土(tu)地(di)，而(er)是透(tou)过別(bie)人的眼睛(jing)來(lai)觀(guan)察(cha)宇(yu)宙(zhou)。」——马塞(sai)爾(er)·普(pu)魯(lu)斯(si)特(te)

通过别人的眼睛来看(kan)世界，这個(ge)又(you)科幻又詩(shi)意(yi)（又恐(kong)怖(bu)）的想(xiang)法(fa)，已(yi)經(jing)成真了(le)！

《黑镜》第一季《你的全(quan)部(bu)歷(li)史(shi)》

现在，我(wo)們(men)只需(xu)利(li)用(yong)眼睛的反光，就能三(san)維(wei)重(zhong)建(jian)这个人正在观察的物(wu)體(ti)。

是的，这很(hen)黑镜。

最(zui)近(jin)，来自(zi)马里兰大(da)學(xue)的團(tuan)隊(dui)，提(ti)出(chu)一種(zhong)全新的方(fang)法——通过利用包(bao)含(han)眼睛反光的人像(xiang)，来對(dui)攝(she)像機(ji)沒(mei)有(you)拍(pai)到(dao)的场景進(jin)行(xing)三维重建。

论文地址(zhi)：https://arxiv.org/abs/2306.09348

項(xiang)目(mu)地址：https://world-from-eyes.github.io/

经典(dian)科幻中的场景都(dou)成真了？

用眼睛反射產(chan)生輻(fu)射场重建？这个想法看似(si)瘋(feng)狂(kuang)，实則(ze)有足(zu)夠(gou)的理(li)论依(yi)據(ju)。

作者(zhe)介(jie)紹(shao)說(shuo)，因(yin)为人眼具(ju)有高(gao)度(du)的反射性(xing)，所(suo)以(yi)從(cong)捕(bu)捉(zhuo)頭(tou)部移(yi)動(dong)的一系(xi)列(lie)幀(zhen)中，完(wan)全可(ke)以做(zuo)到僅(jin)使(shi)用眼睛的反射，就能重建和(he)渲(xuan)染(ran)人们正在观察的3D场景。

鑒(jian)於(yu)这个概(gai)念(nian)非(fei)常(chang)「黑镜」，而且(qie)这篇论文一發(fa)布(bu)没幾(ji)个小(xiao)時(shi)，《黑镜》新一季就宣(xuan)布上线了，这种巧合(he)簡(jian)直(zhi)讓(rang)人懷(huai)疑(yi)《黑镜》的导演(yan)是不是也(ye)註(zhu)意到了这篇论文。（狗(gou)头）

黑镜第六季今(jin)日(ri)上线

这项研(yan)究(jiu)一出，網(wang)友(you)们直接(jie)炸了。

所以，我们已经快(kuai)进到这一步(bu)了？

这不就是2000年(nian)代(dai)《攻(gong)殼(ke)机动队》中的场景嗎(ma)？这些(xie)虛(xu)構(gou)全都變(bian)成现实了！

100%的《銀(yin)翼(yi)殺(sha)手(shou)》，现在就給(gei)我一份(fen)拷(kao)貝(bei)吧(ba)。

儒(ru)勒(le)·凡(fan)尔納(na)的《基(ji)普兄(xiong)弟(di)》成真了！

當(dang)然，也有人对此表(biao)示(shi)毛(mao)骨(gu)悚(song)然：这个技(ji)術(shu)可千(qian)萬(wan)别被(bei)用于調(tiao)查(zha)取(qu)證(zheng)之類(lei)的事(shi)情(qing)。

而在今天，我们已经有了Varjo眼动追(zhui)蹤(zong)相(xiang)机，還(hai)有蘋(ping)果(guo)的VisionPro以及(ji)其(qi)他(ta)头顯(xian)，这些設(she)備(bei)都可以捕捉大量(liang)镜头素(su)材(cai)，結(jie)合进这项新技术，無(wu)數(shu)嶄(zhan)新的科幻场景，恐怕(pa)马上都要(yao)成真了……

通过利用光线在人眼上的微(wei)小反射，研究团队開(kai)发了一种方法，可以使用在固(gu)定(ding)相机位(wei)置(zhi)拍摄的單(dan)目圖(tu)像序(xu)列来重建人所观察到的（非直視(shi)）场景。

不过，仅仅在观察到的反射上訓(xun)練(lian)辐射场是不够的，原(yuan)因有几个：1）角(jiao)膜(mo)定位中的固有噪(zao)聲(sheng)，2）虹(hong)膜紋(wen)理的复雜(za)性，3）每(mei)張(zhang)图像中捕獲(huo)的低(di)分(fen)辨(bian)率(lv)反射。

为了解決(jue)这些挑(tiao)戰(zhan)，团队在训练过程(cheng)中引(yin)入(ru)了角膜姿(zi)態(tai)優(you)化(hua)和虹膜纹理分解，並(bing)借(jie)助(zhu)基于人眼虹膜的徑(jing)向(xiang)纹理正则化損(sun)失(shi)。

與(yu)傳(chuan)統(tong)的需要移动相机的神(shen)经场训练方法不同，他们使用的方法將(jiang)相机放(fang)置在固定的视點(dian)上，完全依賴(lai)于用戶(hu)的移动。

利用人眼反光，实现场景重建

由(you)于準(zhun)確(que)估(gu)計(ji)眼睛的姿态十(shi)分困難(nan)，再(zai)加(jia)上虹膜和场景反射之間(jian)的纹理相互(hu)交(jiao)織(zhi)，因此这项任(ren)務(wu)頗(po)具挑战性。

为了解决这一問(wen)題(ti)，作者針(zhen)对眼睛姿态、描(miao)述(shu)场景的辐射场以及观察者的眼睛虹膜纹理，进行了聯(lian)合优化。

具体来说，主(zhu)要的貢(gong)獻(xian)有三点：

1. 新的三维重建

提出了一种从眼睛图像中重建观察者世界的3D场景的新方法，可以将先(xian)前(qian)的基礎(chu)工(gong)作与神经渲染的最新进展(zhan)相结合。

2. 虹膜的径向先驗(yan)

引入了虹膜纹理分解的径向先验，显著(zhu)提高了重建的辐射场的質(zhi)量。

3. 角膜姿态的优化

开发了一种角膜姿态优化的过程，以減(jian)輕(qing)眼睛姿态估计的噪声，克(ke)服(fu)了从人眼中提取特征(zheng)的獨(du)特挑战。

结果显示，利用这个全新的方法，我们可以通过移动畫(hua)面(mian)，从眼睛的反射中获得(de)场景的多(duo)个视角，最終(zhong)实现完整(zheng)的场景重建。

更厲(li)害(hai)的是，团队还嘗(chang)試(shi)利用Miley Cyrus和Lady Gaga的MV，来重建她(ta)们眼睛里的景象(xiang)。

作者表示，他们成功(gong)地重建了出现在Miley的眼中的物体，并且从Lady Gaga的眼中似乎(hu)看到了一个人的上半(ban)身(shen)。

然而，由于这些视頻(pin)的质量不够高，因此还不能斷(duan)定重建结果的准确性。

Lady Gaga

Miley Cyrus

如何(he)做到的？

眾(zhong)所周(zhou)知(zhi)，健(jian)康(kang)成年人的角膜几何形(xing)狀(zhuang)几乎相同。

因此，只需在图像中计算(suan)一个人的角膜的像素大小，就可以准确计算出他们的眼睛位置。

接下(xia)来，作者通过从相机拍摄光线，并将它(ta)们反射出近似的眼睛几何形状，来训练眼睛反射的辐射场。

为了避(bi)免(mian)人眼的虹膜在重建中出现，作者同时训练了一个学習(xi)虹膜纹理的二(er)维纹理映(ying)射，来进行纹理分解。

实验評(ping)估

合成数据评估

首(shou)先，作者通过在Blender场景中放置人眼模(mo)型(xing)，进行了合成数据上的评估。

下图展示了仅利用眼睛反射重建的场景。

由于在现实生活(huo)中无法完美(mei)估计眼角膜，作者和评估了角膜姿态优化对估计角膜半径噪音(yin)的鲁棒(bang)性。

为了模擬(ni)真实数据中可能遇(yu)到的深(shen)度估计誤(wu)差(cha)，作者通过使用不同噪音水(shui)平(ping)对每个图像中观察到的角膜半径进行縮(suo)放，来破(po)壞(huai)观察到的角膜半径r_img。

下图展示了在不同噪音水平下的性能变化。

值(zhi)得注意的是，隨(sui)著(zhe)噪音的增(zeng)加，与无姿态优化的重建相比(bi)，作者提出的姿态优化重建在重建的几何形状和顏(yan)色(se)方面更为鲁棒。

这证明(ming)姿态优化对于现实场景至(zhi)關(guan)重要，因为图像中从投(tou)影(ying)的角膜到初(chu)始(shi)橢(tuo)圓(yuan)拟合并不完美。

此外(wai)，在有无纹理分解的情況(kuang)下的定量比較(jiao)显示，作者的方法在SSIM和LPIPS方面在纹理分解的情况下表现更好。

值得注意的是，作者没有计算PSNR，因为在设置中，反射和场景本(ben)身之间的照(zhao)明差異(yi)非常大。

真实世界评估

为了保(bao)证视野(ye)的真实，作者選(xuan)擇(ze)了索尼(ni)RX IV相机进行拍摄，并使用Adobe Lightroom对图像进行後(hou)處(chu)理，以减少(shao)角膜反射中的噪声。同时，作者在人物的兩(liang)側(ce)加入了光源(yuan)来照亮(liang)目標(biao)物体。

过程中，被拍的人需要在相机的视野範(fan)圍(wei)內(nei)移动，以便(bian)团队在每个场景中拍摄5-15帧图像。

由于场景照明具有较大的动态范围，作者在所有实验中使用16位图像，以避免丟(diu)失观察到的反射中的信(xin)息(xi)。

平均(jun)而言(yan)，每个图像中角膜只覆(fu)蓋(gai)約(yue)0.1％的區(qu)域(yu)，而目标物体大约會(hui)占(zhan)到20x20像素，并与虹膜纹理交錯(cuo)。

数据处理

作者首先通过对图像进行角膜中心(xin)和半径的估计，来获得角膜的初始位置估计。

然后，使用平均深度和相机的焦(jiao)距(ju)直接近似来计算角膜的三维位置，并计算其表面法线。

为了自动化这个过程，作者使用Grounding Dino定位眼睛的邊(bian)界框(kuang)，并使用ELLSeg对虹膜进行椭圆拟合。

盡(jin)管(guan)角膜通常被遮(zhe)擋(dang)，但(dan)我们只需要未(wei)遮挡的区域，因此可以使用Segment Anything来获得虹膜的分割(ge)掩(yan)碼(ma)。

真实结果

从下图展示的效(xiao)果中可以看出，作者的方法能够从真实世界的人像图片(pian)中重建3D场景，尽管存(cun)在角膜位置和几何估计的不准确性。

由于角膜边界的模糊(hu)性，想要在图像中实现精(jing)确的定位十分困难。

此外，对于某(mou)些眼睛颜色，如綠(lv)色和藍(lan)色，3D重建也会更加困难，因为虹膜纹理较亮。

此外，在没有明确建模纹理时，重建后的画面中还会出现更多的「漂(piao)浮(fu)物」。

为了解决这些问题，可以通过增加径向正则化的程度，来改(gai)善(shan)重建的质量。

不过，这个方法依然存在两个主要的限(xian)制(zhi)。

首先，目前的真实世界结果是基于「实验室(shi)设置」，例(li)如对人臉(lian)进行放大拍摄、使用額(e)外的光源照亮场景等(deng)。而在更自由的環(huan)境(jing)中，就需要面对传感(gan)器(qi)分辨率较低、动态范围较小且存在運(yun)动模糊等更大的挑战。

其次(ci)，目前对虹膜纹理的假(jia)设（例如恒(heng)定纹理、径向恒定颜色）可能过于简化，因此該(gai)方法在眼睛大幅(fu)度旋(xuan)轉(zhuan)时可能会失效。

作者介绍

共(gong)同一作Kevin Zhang，目前是马里兰大学的博(bo)士(shi)生。

Brandon Y. Feng在马里兰大学获得计算机科学博士学位，研究興(xing)趣(qu)集(ji)中在计算成像、中層(ceng)视覺(jiao)和计算摄影領(ling)域。曾(zeng)开发了用于图像和3D数据处理的机器学习算法，應(ying)用范围涵(han)盖混(hun)合现实到自然科学等领域。

Jia-Bin Huang是马里兰大学副(fu)教(jiao)授(shou)，此前在UIUC获得了博士学位。研究兴趣集中在计算机视觉、计算机图形学和机器学习的交叉(cha)领域。

參(can)考(kao)資(zi)料(liao)：

https://world-from-eyes.github.io返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任编辑：