从数字孪生到未来AR基础架构——AR Cloud是把双刃剑吗？

从数字孪生到未来AR基础架构——AR Cloud是把双刃剑吗？_VR陀螺

文/VR陀螺 小钻风

近年来，云计算、云服务在微软、亚马逊、腾讯、阿里、华为等众多大厂的竞争与参与下，成为了人们的关注焦点。

AR Cloud，连接虚拟世界与物理世界，被描述为真实世界的数字孪生，或者说是现实世界的数字副本，也是大厂默默发力的重点。

AWE创始人，同时也是Flyby（2016年被苹果收购，成为ARKit基础技术来源之一）联合创始人的Ori Inbar，曾在Super Ventures投资博客中这样评价AR Cloud：

“能实现移动AR大规模使用的，不是ARKit、ARCore，而是AR Cloud。”

可见AR Cloud在移动AR大规模应用中，扮演的角色之重要。近几年，在AR Cloud上看似寂寂无声的大厂其实都有动作。

比如苹果发布AR Cloud，ARKit 4.0版本增加核心功能Location Anchor；微软推出新AR平台Spatial Anchors，今年还与ARwayKit合作构建AR Cloud；Facebook收购AR云地图公司Space；Niantic收购AR Cloud公司6D.ai等等。不仅如此，还出现了与大厂们操作风格不一致的Open AR Cloud。

为什么说能实现移动AR大规模使用的是AR Cloud？大厂近期在AR Cloud上又有何具体动作？又为何会引起Open AR Cloud的出现？

移动AR缺的不仅是ARKit

而是虚拟与现实的连接介质AR Cloud

2017年，ARKit、ARCore由苹果、谷歌相继推出后，似乎一夜之间，开发者便可以轻松实现AR应用程序的免费创建。ARKit发布半年，便超1300万下载。

然而开发者经历过初期的新奇与追捧后，AR应用程序并未迎来预期的快速传播。2017年10月，App Store中在ARKit上线应用约300款，之后这一数字却快速减少，开发者的兴趣逐渐退烧。

图源：网络

这样几近沉默的状态，从2017年至今仍未有大的起色，有人这样形容：“基于ARKit & ARCore创建的应用程序，就像90年代没有网友的网上冲浪”。

AWE创始人Ori Inbar说：“ARKit的发布虽然对AR产业意义重大，但它无法承载AR应用程序的广泛采用。”

AWE创始人Ori Inbar（图源：网络）

开发者们单依靠ARKit开发出的体验，被限制在单人体验，不具备互联网的社交性与互通性，而且AR体验并不持久，无法在真实世界与虚拟世界之间持续。

想要实现AR应用程序的广泛采用，需要的是AR Cloud，让AR体验实现跨空间、时间与设备的持续存在。

在Ori Inbar的设想中，想要实现这一点，他对iPhone X的期待不是ARKit，而是后置深度摄像头，用于感知周围环境并创建用户间可共享的丰富、精确的3D世界地图。

去年9月，苹果发布的iPhone 12 Pro搭载的雷达扫描仪LiDAR，终于契合了Ori Inbar对后置深度摄像头的期待。

什么是AR Cloud？

有没有玩过MMO（大型多人在线游戏）？在MMO的开放世界中，充斥着由游戏制作者设定的各类角色、故事情节与内容，玩家与其他玩家在这个世界中协同战斗。

我们可以将AR Cloud想象成MMO，只是这个开放世界并非由游戏制作者设定，而是真实世界的数字版，所呈现的信息是与真实世界完美匹配的真实信息，玩家则是真实的伙伴。

正如前文所述，AR Cloud是真实世界的数字孪生，是地球上所有地点的数字副本。

AR Cloud系统需包含三大要素：

与现实世界坐标对齐的持久点云；

能够实现在任何地点，多个设备上进行即时本地化，即让虚拟世界与真实世界对齐；

能够将虚拟内容放置在真实/虚拟世界中，并能通过设备与之实时进行远程交互。

所谓点云，是指某个坐标系下点的数据集，点包含丰富的信息，比如三维坐标、颜色、分类值等等。

AR Cloud就是由这些点云数据构成，这些点云数据如何得来？通过类似LiDAR的激光扫描仪、深度摄像头等本地设备从真实世界获取后上传共享。

AR Cloud由不同的用户通过手机摄像头获取不同的数据，这些数据集合起来才能形成真正完整的AR Cloud。

在点云数据的采集中，会涉及一个关键性工具——深度摄像头。深度摄像头是非常重要的一个组件，它可以很大程度上帮助3D地图的创建，这是普通摄像头做不到的。

深度摄像头搭配人工智能算法，可以更好地理解场景的几何形状，其算法的工作方法与常规智能手机类似，但捕获的点云更密集、更精确，能产生更高质量的AR Cloud。

曾有少数设备提供这一功能但却并未被大面积采用，Tango仅销售数千台，Occpital传感器仅出售几千套，基于Tango的联想Phab 2 Pro是第一款带有深度摄像头的商用智能手机，同样采用率不高，Asus ZenFone AR设备更轻薄，但采用率同样理想。

也这是Ori Inbar为什么那么期待iPhone X搭载深度摄像头的原因。

此外，为使AR应用能够按创建者意图将虚拟内容放置到真实世界中，设备需要理解摄像头相对于环境的几何位置。

为了找到合适的位置，设备需要将摄像视野中的关键特征与AR Cloud中的点云进行匹配。

为了实现即时定位，AR Cloud定位设备必须基于设备的方向以及GPS定位（或是Wifi、蜂窝信号等其他信号）缩小搜索范围。搜索过程可通过使用更多的上下文数据与AR进行优化。

一旦设备被定位后，ARKi t& ARCore可利用IMU、计算机视觉接管并执行稳定的追踪。

现在已有多种解决方案用于像Google Tango、Occipital Sensor、ARKit & AR Core这样的设备定位，但这些开箱即用的解决方案，只能一次针对一个本地点云进行本地化。微软的HoloLens可以针对一组点云进行本地化，但仅限于HoloLens。

AR Cloud能做什么？

AR云能让整个世界变成一个共享空间，可实现多用户参与和协作。

基于ARKit & ARCore构建的应用均为单用户体验，而AR Cloud则可以实现共享体验，让用户可以像是在真实世界中一样，共同体验交流，比如共同学习、讨论、完成设计等等。

而且AR世界与真实世界相比，能实现更加快速的信息匹配。目前世界上大多数信息均以数字文档、视频等形式组织起来，存储在服务器上，但这些信息需要通过某种形式的搜索去发现。

此前谷歌有数据显示，超过50%的搜索是通过移动端实现的，人们对信息的及时性需求已经越来越强。

AR Cloud充当现实世界的3D副本，其自动识别与匹配能力可简化搜索，面对识别物体呈现相对应的信息。

因此，有说法认为，谁控制了AR Cloud，谁就控制了下一代计算平台组织与访问世界信息的方式。

然而AR Cloud的构建并不容易。首先，用户量得大，否则采集的范围与AR Cloud的数据完整度会大大受限，目前能实现这一用户量的设备，首选手机。

但数据采集有硬件上的要求，手机需搭载深度摄像头，否则基于算法的AR始终难做到真实的虚实融合，目前看到能将LiDAR做到如此小型搭载到手机上的也仅苹果一家。此外，三维空间重建所涉及的信息非常敏感，需要极高的安全保障。

那AR Cloud作为整个世界的数字孪生，谁有能力去建造如此大的项目？Ori认为只有苹果、谷歌、微软有这样的实力去推出完整的AR Cloud。

AR Cloud创企呢？13th Lab被Facebook收购，Obvious Engineering/Seene与Cimagine被Snap收购，Flyby被苹果收购，Georg Klein被Microsoft纳入......

AR创企有前瞻性的眼光，但却并不具备这样的实力，优秀的创企多被大厂直接收割。AR Cloud终究还是大型玩家们的游戏。

苹果、微软等一众大厂

均围绕AR平台、硬件深耕AR Cloud

自Facebook以20亿美元价格收购Oculus后，VR/AR产业迎来热潮，不少创企开始从事类似ARKit & ARCore的研究，但在作为大厂的苹果与Google推出ARKit、 ARCore后，他们的发展空间被挤压。

在这样的背景下，这些创企开始争相调整自己在AR中的定位，其中一些创企寻找的方向便是AR Cloud。AR研究员与部分行业内部人士早已预见，世界实时空间地图AR Cloud将成为计算中最为重要的软件基础架构。

然而就如前文所述，当中不少优秀的创企直接被大厂收购，ARKit也是在苹果收购Flyby后，在其基础上研发的。

苹果在AR上最引人注目的举动是ARKit与LiDAR。2020年，继iPad Pro搭载LiDAR后，iPhone 12 Pro/Pro MAX也搭载LiDAR，这直接降低了消费级设备可进行深度信息捕获的门槛，实现了Ori对苹果手机的设想。在iOS系统中，可通过ARKit获取LiDAR的数据。

在推出iPhone 12系列的同时，苹果将ARKit更新至4.0版本，其核心功能是Location Anchor（锚定位点）与深度API。

图源：Apple

锚定位点可将AR体验放置在特定的地方，例如某个地标。通过位置锚定点算法，用户可以将AR创建锚定在特定的纬度，经度和海拔坐标上。用户可以在虚拟对象周围移动，并从不同的角度查看它们，就像通过摄像机镜头看到的真实对象一样。

（“锚”的作用在于确保对象在空间中保持相同的位置与方向，每个锚点都有一个坐标系统，可以根据需要相对于其他锚点或参考系进行调整，以维持放置在现实世界中虚拟对象的视觉效果。）

深度API，在配备了LiDAR的设备上可理解周围环境的每像素深度信息，比如实现周围现实环境对AR虚拟物体的遮挡。ARKit 4.0版本加上激光雷达LiDAR，将能轻松实现三维重建、动捕以及虚实遮挡。

不仅如此，2020年6月，苹果还发布AR Cloud，并对迈阿密、洛杉矶、旧金山、芝加哥和纽约这五个城市进行了本地化图像描述，因此苹果的AR Cloud只能在这五个区域使用。苹果的AR Cloud可提高苹果地图的精度。

据了解，苹果的AR Cloud最可能来自于Apple Look Around（苹果地图的环顾功能），部分原因是他们收购了一家名为C3 Technologies的公司，该公司几乎无需使用人工输入便可创建高质量与精细的3D地图。

谷歌2017年推出ARCore对标ARKit，ARcore早已具备AR Cloud能力，官方将其称为Cloud Anchors（云锚点）于2018年推出。

图源：Google

通过 Google 的云服务托管锚点，可以让多人在同一虚拟世界共享与互动，但受政策限制，其持久化功能限定在24小时，之后数据会清空。

之后更新的全新持久云锚点则加强了这一功能，让用户将虚拟内容“储存”到任意现实场景中，将文字、影像信息，或3D人物虚拟内容的和现实世界地点关联起来，永久保存共享。

不仅如此，在苹果搭载LiDAR后，谷歌似乎有意为Pixel旗舰机型增加双摄像头立体深度支持。

微软与苹果、谷歌不同，它在AR上拥有领先的设备HoloLens，HoloLens很早便能实现世界锚点（World anchor）与持久化功能，这意味着微软很早便看中AR Cloud市场。

2019年2月，微软推出新的云AR平台Microsoft Azure Spatial Anchors，Spatial Anchors使用户可创建云锚，应用程序可在多个HoloLens，iOS和Android设备之间共享空间锚点。通过让每个设备使用相同的空间锚点渲染全息图，所有用户都将看到全息图出现在现实世界中的同一位置。这样可以实现实时共享体验。

图源：微软

还可以在HoloLens，iOS和Android设备之间实现异步全息图的持久。通过共享持久的云空间锚，多个设备也可以随时间观察相同的持久全息图，即使这些设备未同时出现。

今年3月，微软还与ARwayKit合作构建AR Cloud，ARwaykit能提供AR软件套件，让开发者在短时间内构建数字世界，此外，ARWAY通过AI增强摄像头设备让需要能提供超精确定位的应用识别周围环境。

图源：ARWAY

开发人员可利用Azure Spatial Anchors使用ARwayKit创建高度可扩展的和位置持久的AR体验。

Facebook也于去年2月收购AR云地图公司Scape，据了解收购规模为4000万美元；《Pokemon Go》开发商Niantic收购AR Cloud公司6D.ai ......

AR Cloud成为大厂的重要布局方向，但目前尚未有真正的胜利者出现。然而被私有大厂所掌握的AR Cloud却也有显而易见的弊端，隐私的不安全性与高度封闭性。

为此，一个名为Open AR Cloud的组织走出来，站在了大厂私有的AR Cloud对立面。

封闭or开放，大厂策略下的Open AR Cloud

Open AR Cloud，从名字可以看出它与AR Cloud的不同之处，它想要的是AR Cloud的开放性。

其使命是推动计算、数据、标准的开放性与可互操作性的发展，让物理世界与数字世界更好的连接在一起，造福全人类。

微软、苹果、谷歌以及Facebook等大厂所构建的AR Cloud与其他竞争者之间竖立了围墙。而Open AR Cloud恰恰相反，它试图通过分布式体系结构与互操作性而构建的系统，将重点放在用户隐私上。

这是一个很少人讨论但是非常了不起的项目。与私有的AR Cloud相比，它能够解决几大关键性问题。

1、可访问性

苹果、微软、Facebook已经在构建AR Cloud，但并非人人都能使用。用户无法在AR中创建跨城市的AR体验，仅能使用AR Cloud部分功能，比如共享锚点或是基于地理位置的应用程序，但无法在大的空间开发自己的共享持久性体验。

图源：The Ghost Howls

Open AR Cloud却可以，AR Cloud的功能由创作者自己掌握。举个例子，如果想使用Facebook将来的AR Cloud，想要在自己的城市做一个AR的安装，需等待Facebook对自己的城市进行扫描，或者某些同样使用Facebook AR Cloud用户来到这个城市，进行扫描，Facebook将这位用户的点云信息进行整合并批准，通过其API为该区域的每个人提供信息。

这个过程的控制权不在用户手中。

Open AR Cloud却可以，用户可以直接去想要创建点云数据的地点，使用Augmented.City扫描应用程序，将扫描信息上传至AR Cloud，随后便可以使用。既无需征求任何形式的批准，也无需任何公司的人员来替她进行扫描。这对于在短时间内授权需要特定位置的内容创建者非常重要。

2、隐私问题

被巨头所掌握的AR Cloud未来可能会受广告的驱动，这可能会给用户带来巨大隐私问题。

Open AR Cloud建立在高标准的隐私保护基础之上，不会将用户数据出售给第三方，并会尽最大努力保证其存储数据的安全性。

图源：Open AR Cloud

分布式AR将引起巨大的隐私问题，如果我们都使用开放式系统，那么我们所有人都可以过上更安全的生活。我还询问了私人场所的问题，弗拉德回答我，可以从AR Cloud系统中禁止某个位置，以便无法对其进行扫描（这对于私人场所，政府建筑物，军营等都非常有用） …）。如果在禁止请求之前已经对系统进行了扫描，则系统会禁止将其用于本地化，因此无法再使用。

3、互操作性

Open AR Cloud的生态系统是开放的，只要用户支持该组织的创建协议，便可成为系统的一部分。

目前Open AR Cloud中的AR Cloud并非由一个提供商提供，而是由Augmented.City、Immersal两家公司提供。这两公司共同遵循Open AR Cloud协议，因此两个系统可以协作，互相开放，具有互操作性。

基于Open AR Cloud构建的游戏

4、收益共享

据介绍，用户扫描某个位置并将其上传到云中，Open AR Cloud可以将收到的有关该位置的所有呼叫收益分享给用户。

当前世界上大部分地区尚未进行扫描，第一个扫描某区域的人，可能会获得该区域所有AR操作的奖励。因此一旦Open AR Cloud普及并建立了系统，或许是赚钱（奖励的）好机会。

不过，目前该收益共享机制尚未确定下来。

5、扫描上传过程简单

使用Open AR Cloud相应的应用程序，用户完成扫描后，系统将直接在云中与世界数字孪生的其他部分进行合并。目前该应用程序还处于公开测试阶段。

结语

谷歌的卫星地图让用户从卫星上鸟瞰地球已经令人咋舌，基于全球地理位置的AR Cloud如果构建完成并投入实际应用，随时随地浏览任意地点，并显示相关信息，那将是更令人惊叹的存在。

现在AR Cloud之所以暂时无法大力推行的一个重要原因，或许就在于安全问题而非技术。

Open AR Cloud为AR Cloud提出了新的解决方案，用以降低隐私问题的危害，并尽可能的将控制权交还给用户。但面对多位强势的大厂，这条路最终会走向何方并不清楚。

从陀螺君的角度来看，AR Cloud或许很长一段时间内或者是永远，都将在限制下前行，难以完成全球数字孪生的宏大愿景。

如果人人都是信息的获取者，能将信息自由保存、上传至云端共享，即使有协议，有监管，一旦开启，如果没有得到好的利用，将又是一扇难以关闭的大门。

参考链接：

https://skarredghost.com/2021/03/28/open-ar-cloud-pros/

https://medium.com/super-ventures-blog/arkit-and-arcore-will-not-usher-massive-adoption-of-mobile-ar-da3d87f7e5ad