![](/style/images/good.png)
![](/style/images/bad.png)
CVPR 2020 oral 首次提出VPSnet用于分割界新问题-视频全景分割
source link: https://mp.weixin.qq.com/s/Y_ncy9tIkrua7_hFGZ12IA
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
CVPR 2020 oral 首次提出VPSnet用于分割界新问题-视频全景分割
点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
1. 根据以往的工作来看,这是第一次正式定义和探索视频全景分割。2. 通过重新改造VIPER数据集和基于Cityscapes创建新的视频全景标签来构建第一个VPS数据集,而且两个数据集是互补的。3. 提出了一种新的VPSNet,它在Cityscapes和VIPER上达到了最先进的图像全景质量(PQ),并与我们的新数据集上的几个基准进行了比较。4. 提出了一个视频全景质量(VPQ)度量预测和GT全景分割掩模的时空一致性。通过VPQ评估验证了该方法的有效性。定义问题:视频全景割的目标是精确定位整个视频的所有语义和实例边界,并为这些分割的视频管分配正确的标签。评价指标:在数据集层面,收集所有预测视频的切片级IoU、|TP|、|FP|和|FN|值。然后,根据每个类计算数据级别的VPQ度量,并在所有类中求平均值:
DatasetCollection:RevisitingVIPER datasetCityscapes-VPS
方法:VPSNet在两个级别使用视频上下文: 像素级和目标级。第一种是利用相邻的框架特征作为下游的多任务分支,第二种是针对跟踪的模跨框架实例关联。特征融合和目标跟踪模块并不是孤立的新模块,而是首次将两者联合用于视频全景分割的任务。将它们分别称为融合和跟踪模块。整个模型架构如下图所示。
本文提出了一种基于两类相关数据集的视频全景分段传输任务。第一种是将合成的VIPER数据集转换成我们的VPS格式,它可以提供最大数量和高质量的全景注释。第二步是创建一个新的视频全景分割基准——Cityscape-vps,它扩展了图像级Cityscapes数据集。将时间特征融合模块和目标跟踪分支与单帧全景分割网络相结合,提出了一种新的算法VPSNet。最后,提出一种视频全景质量评估方法,为这项任务的早期探索提供依据。本文仅做学术分享,如有侵权,请联系删文。推荐阅读:
重磅!3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近1000+星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK