Meta谈VR两大技术障碍：眼球追踪和全身追踪

　　在2021 Facebook Connect 期间，该公司除了宣布更名Meta之外，确认了另外一条重要消息：代号为 Project Cambria 的头显确实存在。Meta首席执行官马克·扎克伯格 （Mark Zuckerberg） 表示，它将与 Quest 平台兼容，但这款头显不是下一个 Quest。

　　2018年9月，Oculus Quest正式发布，2019年5月21日，Oculus Quest开始发售，Quest 2于2020年9月正式发布。两款机型中间间隔了两年的时间，发售时间间隔一年零几个月，根据时间来看Oculus 的研发进度非常迅速，与HTC VIVE相比明显更新周期更短。

　　既然Meta已经明确表示了Project Cambria的存在，很有可能已经在研发的后半阶段，该公司表示将在今年推出，但是具体什么时间发布还是未知数。

　　1.Project Cambria

　　Project Cambria目前已经有过多次爆料，在 Connect 之前，用户 Bastian 在 Twitter 上发布了一些揭示 Project Cambria 的视频 ，据报道，这些视频是在“Seacliff”固件中发现的，极有可能是内部称号。

　　据悉，Project Cambria将会是一款高端VR一体机，与较为低廉的Quest2并非同级别产品，更不会成为 Quest Pro 或 Quest 3。同时Project Cambria拥有Quest 2所没有的功能：高分辨率颜色直通、眼动追踪、面部追踪、手柄无跟踪环。

　　高分辨率颜色直通：目前Quest 2通过摄像头可以在用户脱离安全区后在头显内显示黑白的现实世界，而Project Cambria将实现更高清、具有颜色的直通。实现虚拟世界与现实世界的真实切换，进一步保护用户。

　　眼动追踪：眼动追踪是众多VR厂商都在极力研发和使用的技术，目前国内HTC VIVE Flow、Pico Neo 3Pro等设备均有眼动追踪版本可选。眼动追踪被认为可以实现新的输入方式，且可以提供注视点渲染。不过，目前为止，仅确认Cambria眼动追踪将用于头像功能，是否允许开发人员将其用于输入和注视点渲染还有待观察。

　　面部追踪：Cambria 拥有传感器来记录面部动作，同时面部追踪也会与眼动追踪共同用于头像功能，在VR社交中3D化身将会更加真实。

　　手柄无跟踪环：根据最先爆料视频及渲染图，Cambria手柄并无追踪环，但在手柄本身拥有多个摄像头，有可能用于光学追踪。

　　届时Project Cambria将与目前Quest系列区分开，Project Cambria将主打高端市场，Quest系列则将成为平民VR设备。

　　Project Cambria最为重要的是眼动追踪及面部追踪，且目前Meta同时正在研发全身追踪。有开发者发现，Quest 2 Tracked Keyboard SDK Getting Started文档页面上出现了身体跟踪支持的新选项。

　　2.Meta如何看待两项技术？

　　Meta XR主管Andrew Bosworth近期针对眼动追踪和全身追踪发表看法，其认为眼动追踪和全身追踪是VR的两大技术障碍。

　　Andrew Bosworth表示眼动追踪还远未成熟。Meta长期以来一直在研发眼动追踪，以提高人们表达自己的能力，同时也用于注视点渲染。人与人之间的生物学差异非常大，尤其是散光或其他人的眼睛很难获得全面覆盖。覆盖率意味着眼动追踪适用于 100% 的用户，对中心点渲染的要求特别高。

　　捕捉所有身体动作并将其转移到虚拟现实中会有很多优势，与眼动追踪一样，可以实现更逼真的化身和新的交互形式。Bosworth表示对于人们设想的一些用例，可能需要对身体进行外部跟踪。这里最大的缺点是需要更多组件，这意味着额外的成本和额外的设置时间。

　　针对Quest 2 Tracked Keyboard SDK Getting Started文档页面上出现了身体跟踪支持的新选项，Andrew Bosworth称其为时过早。

　　3.两大技术难度

　　眼动追踪与全身追踪研发难度正如Andrew Bosworth所说，Meta正在全力研发，但是难度极高。Meta需要面对全球的VR用户，需要考虑到不同国家不同人群的眼睛覆盖率。

　　目前眼动跟踪方法可以分为探查线圈记录法、红外线法、电流记录法和视频记录法等等，每一种方法都拥有其优缺点。足以证明眼动追踪本身具有一定的难度和差异性，该技术已经发展到可以屏幕、网络摄像头和眼镜中的眼动追踪器来捕捉和测量眼睛位置和运动的程度。

　　运用在VR领域主要是瞳距的问题以及注视点渲染拥有难度，目前注视点渲染已经有Tobii等厂商研发成功。瞳距则成为了最难的研发障碍，目前还无法得知Meta会采用什么方案解决眼睛覆盖率问题。

　　全身追踪目前可以通过一些传感器进行完成，但是大都采用外部设备连接进行追踪，或者需要单独摄像头进行追踪。

　　采用外部跟踪设备操作过程繁琐，并不适用于C端体验，且外部设备一般很难实现轻量化等问题。而使用单个摄像头捕捉画面追踪，极易造成跟踪失败。

　　4.Meta眼动追踪及全身追踪

　　未来Meta将会在眼动追踪及全身追踪进行不断地完善，目前已知Meta正在研发触觉手套等设备，以实现更加真实的VR体验。但是原型手套目前是使用半自动化工艺制造的，需要熟练的工程师和技术人员制造子系统并大部分手工组装手套。

　　Meta提醒说，大规模生产这样的手套需要全新的自动化制造技术。理想情况下，为了获得最大的触觉精确度和舒适度，应根据买家的特定手型和尺寸定制手套。

　　所以触觉手套的成本居高不下，而眼动追踪及全身追踪则很有可能更早用于VR设备。

　　Andrew Bosworth既然已经提及，说明眼动追踪及全身追踪极有可能全部运用在Project Cambria，不过依旧存在技术障碍。Meta产品发布需要面向全球用户，所以定会在产品及技术成熟之后推出。

　　5.全文总结

　　目前的眼动追踪和全身追踪已经在多个领域应用，爱荷华州立大学商学教授乔伊·F·乔治表示：“如果人们 无法专注 于会议上正在发生的事情，那么也许有一种方法可以改进平台的设计，以保持他们的注意力并使会议更有成效。”

　　该教授进行了一项眼动追踪研究，根据眼动追踪技术表明参与者会注意说话的人，但与大型小组会议相比，在小组视频通话期间，他们的视线更多地从电脑屏幕上移开。

　　眼动追踪也被用于市场研究、网站测试、游戏和用户体验、学习和教育、神经科学和心理学、医学研究等领域。而在XR领域，据称PSVR2也将应用眼动追踪技术。

　　未来的眼动追踪和全身追踪会更多的应用在XR领域，除了上述的功能之外，眼动追踪和全身追踪会更加丰富VR/AR体验。同时，眼动追踪和全身追踪也会应用在其他领域，包括办公、娱乐等等。

　　随着人工智能的不断前进，眼动追踪和全身追踪也会与AI技术结合，但是全面使用眼动追踪和全身追踪的那一天还需要走很长的路，这不仅仅是Meta需要面对的技术障碍，同时是我们需要面对的技术障碍。