双目视觉惯性里程计的在线初始化与自标定算法

Amber 3D视觉工坊 3/15

计算机视觉工坊

专注于计算机视觉、VSLAM、目标检测、语义分割、自动驾驶、深度学习、AI芯片、产品落地等技术干货及前沿paper分享。这是一个由多个大厂算法研究人员和知名高校博士创立的平台，我们坚持工坊精神，做最有价值的事~

108篇原创内容

Official Account

标题：An Online Initialization and Self-Calibration Method for Stereo Visual-Inertial Odometry期刊：IEEE TRANSACTIONS ON ROBOTICS（SCI 2区）【摘要】视觉惯性里程计(VIO)的在线初始化和自标定方法大多只能估计一个相机和惯性测量单元(IMU)对之间的外部参数(方向和平移)。其并不适用于双目VIO（相机-IMU和相机-相机同时存在）。这篇论文中，通过利用多传感器之间的几何约束解决了这个问题。论文提出了一种在线的算法用于估计速度、重力、IMU偏置的初始化，同时标定相机-相机和相机-IMU之间的外参。算法包括一个三步过程，用粗-精的方式增量地求解了几个线性方程。算法反向传播历史估计结果，以更新权重因子和删除离群值，并使用收敛标准来监视和终止进程。同时包括一个可选的全局优化用于进一步的细化。该方法在精度、鲁棒性、收敛性、一致性和可调参数方面使用模拟和公共数据集进行评估。实验结果表明，该方法能够准确地估计初始值和外部参数。【主要内容】1、论文贡献1）我们首先提出了一种在线引导基于平滑的双目-VIO系统的方法，可同时估计初始值和标定相机-相机、相机-IMU的外部参数；2）提出了一种三步渐进求解约束的方法，并利用反向传播机制更新权重和处理离群值；3)为了使估计误差最小化，提出了一种全局优化方案。4)提出了一种判别收敛性和触发终止的通用收敛准则。论文的算法在ORB-SLAM上进行改进，同时可应用于任何基于关键帧的VO2、整体系统结构分析
算法结构如下图所示：

算法主要包括三个模块：关键帧生成模块、在线初始化模块、尺度更新和全局BA模块。关键帧生成模块：包括两个并行的单目VO前端，该模块对捕获的图像进行处理，并输出基于稀疏映射点的同步关键帧。在线初始化模块：包括3步过程，在每一步都求解了几个线性方程。第一个过程：解耦了陀螺仪偏差估计和外部方向标定，并进行迭代求解；第二个过程：大致估计两个前端的视觉尺度因子，重力，以及相机- imu和相机-相机对的外部平移；第三个过程：进一步考虑了加速度计的偏置和重力加速度的大小，从而改进了第二个过程的结果尺度更新和全局BA模块：检索所有关键帧的速度，更新关键帧姿态的比例和构造的映射，并重新计算预积分项，以纠正加速度计的偏差，同时，提供了全局优化选项(GBA)来优化系统状态3、在线初始化模块剖析1)迭代陀螺仪偏置估计和方向标定假定初始化阶段，陀螺仪偏置为常数（一般通过最小化相机旋转和IMU旋转之间的差来估计）步骤：

重复迭代过程，直至收敛超定线性方程：

求解（SVD分解求最小二乘）： 640?wx_fmt=png

求解超定方程：

优化尺度、重力和平移参数：

4、实验分析
进行了仿真实验和真实世界的实验来对算法进行测评。1）仿真实验在仿真实验中，设计了一种以3米为半径的圆周运动轨迹为垂直正弦运动轨迹的IMU。通过计算参数化轨迹的解析导数，加上白噪声和缓慢时变偏置，得到仿真的IMU输出。模拟的相机姿态是通过使用模拟的相机- imu和相机-相机外部参数的变换获得的。

2）现实世界实验

备注：作者也是我们「3D视觉从入门到精通」特邀嘉宾：一个超干货的3D视觉学习社区本文仅做学术分享，如有侵权，请联系删文。下载1在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。下载2在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。下载3在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

640?wx_fmt=jpeg

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：

双目视觉惯性里程计的在线初始化与自标定算法