基于双目事件相机的视觉里程计

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

论文标题：Zhou, Yi, Guillermo Gallego, and Shaojie Shen. "Event-based Stereo Visual Odometry." arXiv preprint arXiv:2007.15548 (2020).

论文地址：在公众号「3D视觉工坊」，后台回复「双目事件相机」，即可直接下载。

"Event-based Stereo Visual Odometry" 是港科大沈劭劼老师组的一篇新工作。其基于双目的 Event Camera 来实现 Visual Odometry。本文仅作分享，如有不当之处请多多指正！

Overview

文章主要贡献：

• 一个基于双目 Event Camera 的 Visual Odometry，同时实现 semi-dense 的建图。
• 提出一种新的基于优化的方法来实现逆深度的估计，基于 event 的 spatio-temporal 一致性。
• 基于估计出的逆深度的概率分布，提出一种 fusion 的方式，来提升三维重建的密度和精度。
• 通过 3D-2D 进行 registration 来进行 tracking。

系统概述：系统流程：下面从几个主要模块来进行梳理。

Event Representation

使用 Time-surface map (TS) 来表征 events，从而将时间信息加入了考虑。示意图如下：即选一个时间点，离当前时刻越近，越亮。计算公式如下：

可知，其区间为，然后将其归一化到区间。一个 TS 图示例如下：

Mapping: Stereo Depth Estimation

Mapping 部分的描述，首先描述了如何对 Event 进行逆深度估计，然后描述了如何进行完整的 semi-dense 的建图。按照一定的时间频率合成 TS 图，计算每一个 TS 的时间内每一个 event 的逆深度（local depth map），然后选取一个窗口进行合成 semi-dense 的地图。其中，作者提到在实现时，TS 图的合成频率为 100Hz，窗口大小为20。

Inverse Depth Estimation for an Event

首先，如何对一个 Event 进行深度估计的几何示意图：构造一个 objective function（基于一个event在两个相机中触发时的时间一致性）：然后对其优化即可。这个优化过程论文中还提到了很多细节，如如何给一个初始化的逆深度等，具体请见论文。也就是说，进行逆深度估计的算法流程为：

Semi-Dense Reconstruction

作者首先拟合出前面步骤估计出的逆深度的概率分布，然后推导出一种两个概率分布 fusion 后进行更新的方式，最后提出 fusion 的策略。首先，根据上文通过优化方式计算出逆深度的过程，以及根据实验数据，拟合出逆深度服从 Student's t-distribution。一些详细的数学解释请见原论文。在一些数据集中，拟合出的参数：有了上述的概率分布，这个时候就可以在前面的逆深度估计的优化函数中再加入一些 tricks，以来增强其鲁棒性质，具体请见原论文与引用。有了概率分布，就可以进行两个之间的 fusion 了。见论文公式12a-12d。有了以上的基础，为了得到更为稠密的地图，将多个已估计出逆深度的 TS 进行 fusion 的操作。Fusion 的策略如下图所示：

Camera Tracking

进行 Tracking 部分的主要思想是，首先每一个 event 对应的 camera 的 pose 都可能是不同的，但其实无需在这个时间分辨率上做，按照 TS 的频率来即可。然后通过将 TS 与 深度图进行 align 即可。

Experimental

作者做了丰富大量的实验，以及算法中是否加一些 trick 的对比。这里截取一些：本文仅做学术分享，如有侵权，请联系删文。下载1在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。下载2在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计汇总等。下载3在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款 圈里有高质量教程资料、可答疑解惑、助你高效解决问题觉得有用，麻烦给个赞和在看~