7

单目深度估计方法:算法梳理与代码实现

 2 years ago
source link: https://zhuanlan.zhihu.com/p/424939678
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

单目深度估计方法:算法梳理与代码实现

应用背景介绍

在自动驾驶中,如何获取车辆行人等目标的深度信息,是当前很多研究中较为重要的技术点,如3D重建,障碍物检测,SLAM等等。传统上,获取高精度目标深度信息的方法,通常是利用激光雷达或结构光在物体表面的反射获取深度点云,但因其价格昂贵和同步的困难,在自动驾驶领域大规模应用和部署还有一定的距离。

随着特斯拉纯视觉方案的成功以及Tesla AI日惊艳的效果,相机因为其价格低廉、获取信息内容丰富,体积小巧等优点,成为自动驾驶领域较为热门的传感器技术之一。相应地,单目视觉深度估计也受到了研究的热捧,受到了更多的关注。

课程链接:单目深度估计方法:算法梳理与代码实现

v2-935876d8d9ceaff99ed90a184c0e447a_720w.jpg

v2-4931ba02401bddfc60f49320873eda3c_720w.jpg

v2-5cbaa42206f032585d2ec38b1309d78f_720w.jpg

v2-23854c46e785b4821b4d18f9aab7860a_720w.jpg

相关岗位要求及待遇

自动驾驶持续受到资本青睐。2021年以来,陆续收到多家自动驾驶公司获得4亿美元以上的投资的好消息,如独角兽公司Momenta,专注重卡领域的图森科技、智加科技等。目前,重卡无人驾驶汽车图森科技已经成功上市,智加科技也传来即将上市的消息,可见自动驾驶这条赛道是非常具有潜力的。

相关企业对深度估计相关岗位的需求也日益增加,华为、百度、图森、滴滴、Momenta、小鹏、蔚来等公司更是开出高薪聘请相关人才,助力相关产品的落地研发,下面几个截图是某招聘网站上对深度估计相关岗位的要求及待遇:





如何快速从入门到精通

随着AI技术的发展,深度学习的入门门槛越来越低,但关于单目深度估计的课程还是相对较少,尤其是深度估计工程化方向的课程更少,令许多对该领域感兴趣的同学无从下手。因此,我们借助工坊这个平台,推出《单目深度估计方法:理论与实战》,希望能够凭借自己的一些工程经验帮助大家快速进入该领域。

《单目深度估计方法:理论与实战》课程主要分为两大部分:理论篇和实战篇,由两位知名自动驾驶公司的高级算法工程师教授。由于有监督方法的深度真值获取困难,且无监督方法的效果与有监督方法几乎相当,我们将课程的重心放在了无监督方法上。

其中,理论篇主要包括:深度估计相关的损失函数、评价指标等基础理论,传统深度估计方法、无监督深度估计方法等理论知识。实战部分包括:传统深度估计方法和深度学习方法,偏向于无监督深度估计以及相关应用等等。

课程大纲

课程的第一章针对单目深度估计的背景和研究现状展开详细的叙述,随后是与深度估计相关的计算机视觉基础和深度学习基础。

虽然本课程内容主要是单目深度估计,但你同样可以在这里学习到双目深度估计的相关理论:对极几何学。本课程中某些基于单目的方法同时也可以适配双目数据集,比如Monodepth2,FeatDepth, ......

在第三章中,我们会为你详细解读最近几年state-of-art无监督单目深度估计论文的原理,分析每篇论文实际解决的问题,并评价它们的优缺点。



你是否遇到过在公开数据集上训练的效果还不错,但转移到自己数据集上训练就翻车?你是否需要将训练好的模型泛化到不同的数据集上?

如果是,那么第四章的实战部分就是为你准备的!在实战部分,我们不仅会手把手地教你如何在自己数据集上训练模型,而且会传授大量调参技巧和改进优化经验,让你少走弯路,高效掌握深度估计算法的应用。



在第五章里,针对模型预测的深度图,我们会为你介绍Boosting的优化方法,提高深度图的细节信息,最后我们会介绍相对深度的尺度恢复和伪激光的可视化。





1. 深入浅出,循序渐进,为你从理论到实战逐个攻破;

2. 讲师多年的工程经验倾情奉献,数据、源码开源帮助你更好地理解每处细节;

3. 理论结合实践,课时结束后布置练习项目,答疑群内,讲师和你在线交流遇到的难题;

4. 优质的学习圈子,你可以和来自清华大学、慕尼黑工业大学,上海交通大学、南京大学、华中科技大学、西北工业大学等高校学子一起讨论学习,你踩过的坑他们大概率也踩过;

5. 真正能面向工业落地的内容分享;

1. 对深度估计相关理论有较深的理解

2. 能够掌握传统方法以及state-of-art无监督深度估计方法的核心理论

3. 能够在自有数据集上实现深度估计模型的训练和调参

4. 针对深度学习实战中遇到的各种问题,掌握分析原因、解决问题的技能

5. 能够真正对接企业对视觉算法工程师在深度估计方向的技术栈要求

课程要求及面向对象

1. 主要面向自动驾驶领域、SLAM领域相关的在读本科生、硕士、博士,以及正在工作岗位上的一线工程算法人员,也欢迎想要转入该领域的其它方向的同学;

2. 需要有一定的计算机视觉相关基础知识,对camera和Lidar等硬件和模型有一定了解;

3. 对线性代数、矩阵论、概率论有一定的了解;

4. 熟悉Python编程,对深度学习框架Pytorch和Tensorflow有一定的基础

课程链接:单目深度估计方法:算法梳理与代码实现


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK