8

SDOD：基于depth的实时3D检测与分割

 3 years ago
source link: https://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ%3D%3D&mid=2247485749&idx=1&sn=dcee0a0a13c70252159dbf154f26fc03&chksm=fbff2201cc88ab17c88140e836e32fe7fff60d68fcb8166910c75a9ae9be1d4d671fe32ba8f1&token=1955067221&lang=zh_CN
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

SDOD：基于depth的实时3D检测与分割

原创 Tom Hardy 3D视觉工坊 2月24日
收录于话题
#3D目标检测

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

图片

主要思想与创新点

大多数现有的实例分割方法只关注2D对象，不适用于三维场景，如自动驾驶。本文提出了一种将实例分割和目标检测分为两个并行分支的模型，将对象深度离散为“深度类别”（背景设置为0，对象设置为[1，K]），将实例分割任务转化为像素级分类任务。mask分支预测像素级的“深度类别”，3D分支预测实例级的“深度类别”，通过给每个实例分配具有相同“深度类别”的像素来生成实例掩模。另外，为了解决KITTI数据集（200为mask，7481为3D）中mask标签与3D标签不平衡的问题，本文采用其它实例分割方法生成的unreal mask来训练mask分支。

尽管使用了不真实的mask labels，但在KITTI数据集上的实验结果仍然达到了车辆实例分割的最佳性能。

本文创新点主要包括三点：

1. 通过离散深度将实例分割任务转化为语义分割任务

2. 提出一个结合3D检测和实例分割的网络，并将其设置为并行分支以加快速度

3. 结合unreal的mask和真实的深度来训练mask分支，以解决标签不平衡的问题

SDOD框架的总体结构如下图所示，它由两个并行分支：3D分支和mask分支组成。

640?wx_fmt=png

针对3D检测：

本文参考了MonoGRNet的设计，将3D对象检测分解为四个子网：2D检测、实例级深度估计、3D位置估计和角点回归。2D检测采用类似于YOLO结构的方式，Instance Depth是从RGB图像中回归出来的离散深度图。

针对Mask分支：

采用ASPP+FCN方式。FCN模块最终输出C个图像（C代表类别），每个图像是目标的像素级深度类别图，如上图所示。像素的颜色越深，像素的深度值就越大，像素离我们越远。这个分支完成了像素级别的分割+depth估计。

Mask分支完成了基于像素级别的深度和类别分割，3D分支完成了目标的3D检测，两者进行结合，完成实时检测和分割。

针对损失函数：

主要包括2D Detection loss、实例级深度损失、像素级深度损失以及3D box的角度损失和位置损失。

主要针对KITTI数据集进行试验分析，并和其它模型进行了性能对比：

640?wx_fmt=png
640?wx_fmt=png
实例检测分割效果：
640?wx_fmt=png

原文地址：https://arxiv.org/abs/2001.09425

上述内容，如有侵犯版权，请联系作者，会自行删文。

重磅！3DCVer-知识星球和学术交流群已成立

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导，550+的星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款640?wx_fmt=jpeg 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

欢迎加入我们公众号读者群一起和同行交流，目前有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

640?wx_fmt=jpeg▲长按加群或投稿

report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK