深度学习 + 众包重现历史街景，在线体验“时间旅行”

文 / Raimondas Kiveris，Google Research 软件工程师

城市的老照片，可以让人倍感怀念与感叹……漫步在二十世纪四十年代的曼哈顿街头会是一种怎样的体验？儿时生活的街道经历了怎样的变迁？人们可以通过 Google 街景来查看某一区域的当前场景，但如何才能浏览某地的历史景象呢？

为了打造一种兼具研究和娱乐价值的“时光旅行”体验，我们推出了一款 名为 rǝ 的基于浏览器的工具集 （发音为 re”turn"），它是一款运行在 Google Cloud 和 Kubernetes 上的开源可扩展系统，可以基于历史地图和照片来重建城市，这是我们今年早些时候推出的开源工具套件的一种实现。 rǝ   取自英语中常表示再次或重新含义的前缀，表达了在众包研究工作背后的重建、研究、娱乐和纪念意义，它由以下三部分组成：

• 众包平台：用户可通过该平台上传城市的历史地图，进行地理校正（即将其与现实世界中的坐标相匹配），并对这些数据执行矢量化转换

• 临时地图服务器：用于展示随时间的变化的城市地图

• 3D 体验平台：该平台在 rǝ 地图服务器上运行，使用深度学习技术基于有限的历史图像和地图数据重建 3D 建筑物，从而打造 3D 体验。

• 名为  rǝ 的基于浏览器的工具集

  http://re.city

• Google Cloud
  https://cloud.google.com/
  

• Kubernetes

  https://kubernetes.io/

我们的目标是使 rǝ 成为一种综合型工具集，让历史爱好者能够以虚拟的方式体验到世界各地城市的历史，为研究人员、政策制定者和教育工作者的工作提供帮助，以及慰藉普通用户的怀旧之情。

rǝ 工具套件的子模块

rǝ 地图模块的入口点为 Warper ，它是一款网络应用，支持用户上传历史地图图像并通过找到历史地图上的控制点和基础地图上的对应点来对其进行地理校正。接下来将使用到名为 Editor 的应用，可加载经过地理校正的历史地图作为背景，然后追踪其地理特征（例如，建筑物轮廓、道路等）。追踪数据以 OpenStreetMap (OSM) 矢量格式存储。然后，这些数据将在矢量图块服务中被转换为矢量图块。最后，我们的地图渲染器 Kartta 将对时空矢量图块进行可视化处理，使用户能够在历史地图中浏览不同时间和空间下的场景。这些工具以包括 OpenStreetMap 在内的众多开源资源为基础构建而成，我们也要将我们的工具和数据打造成完全开放源代码的资源。

• OpenStreetMap

  https://www.openstreetmap.org/

上图为 rǝ 的 3D 重建流水线的高级概览，该流水线会获取标注后的图像和地图，并对其进行处理以进行 3D 渲染

首先是从地图中的建筑物轮廓和历史图像中的立面区域开始（均通过众包获得标注或通过自动算法进行检测），将某一输入建筑物的轮廓向上拉伸以生成粗糙的 3D 建筑物结构。高度根据地图数据库中相应元数据所提供的楼层数进行拉伸。

与此同时，3D 重建流水线会识别所有单独的组成部分（例如窗户、入口、楼梯等），并根据这些组成部分的类别来分别重建其 3D 结构，并非直接将每个立面包含细节的 3D 结构作为一个实体进行推断。然后，将这些包含细节的 3D 结构与粗糙的 3D 结构进行融合，从而形成最终的 3D 网格。结果将存储在 3D 仓库中用于后续的 3D 渲染。

多种先进的深度学习模型技术是实现这种功能的关键：

• 更快的基于区域的卷积神经网络 (RCNN)：该神经网络针对对应于每个目标语义类（例如窗户、入口、楼梯等）的立面组件标注进行了训练，这些标注用于定位历史图像中的边界框级实例。

• DeepLab ：它是一种语义分割模型，经训练可为每个语义类提供像素级标签。

• 经专门设计的神经网络：该神经网络经训练可在同一语义类内部强制执行高级规则。这样，可以确保立面上生成的窗户彼此之间距离相等且形状一致。另外，这也改善了不同语义类（例如楼梯）之间的一致性，从而确保它们放置位置合理且尺寸一致（相对于关联入口）。

• DeepLab

  https://arxiv.org/pdf/1606.00915.pdf