EF-Net一种适用于双流SOD的有效检测模型（Pattern Recognition）

明泽danny 3D视觉工坊 1/13

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

640?wx_fmt=jpeg

论文地址：在公众号「3D视觉工坊」，后台回复「EF-Net」，即可直接下载。

简介显著目标检测(SOD)在计算机视觉领域得到了广泛的关注。但面临低质量的深度图，现有模型的检测结果都不是很理想。为了解决这一问题，该文提出了一种新型多模态增强融合网络(EF-Net)，用于有效的RGB-D显性检测。具体来说，首先仅仅利用RGB图像提示映射模块来预测提示映射，编码突出对象的粗略信息。然后利用得到的提示图经过深度增强模块来增强深度图，从而抑制噪声并锐化对象边界。最后，该文构造了分层聚合模块，用于融合增强后的深度图与RGB图像中提取的特征，以精确地检测突出对象。该文提出的EFNet利用增强和融合框架进行显着性检测，充分利用了RGB图像和深度图中的信息，有效地解决了深度图的低质量问题，显著提高了显着性检测性能。在五个广泛使用的基准数据集上的广泛实验表明，该方法在五个关键评价指标方面优于12种最先进的RGB-D显着性检测方法。主要贡献

该文提出了一种新型深度增强和融合框架来解决深度地图的低质量问题，它利用RGB图像的颜色提示映射模块提供的先验知识，有效地提高了深度地图的质量。
该文提出了一个有效的分层聚合模块，充分利用多模态数据用以融合从RGB图像和增强深度图中提取的特征。
该文提出的EF-Net在五个广泛使用的基准数据集上的评价指标优于12种SOTA方法。通过进一步评价RGB-T数据表明，EF-Net是一般多模态显着性检测的有效解决方案。

与其他方法比较的可视化图片：

模型：

1）首先将RGB图像输入ResNet-50编码架构，得到四层编码特征，再利用一个1×1和两个3×3卷积层提取显着性特征{Hi0, i = 1, 2, 3, 4}和边缘特征{Ei0, i = 1, 2, 3, 4}，同时将特征通道数变为32通道。2）将显着性特征{Hi0, i = 1, 2, 3, 4}和边缘特征{Ei0, i = 1, 2, 3, 4}输入CRUs模块，具体公式如下：

下载链接：http://openaccess.thecvf.com/content_ICCV_2019/html/Wu_Stacked_Cross_Refinement_Network_for_Edge-Aware_Salient_Object_Detection_ICCV_2019_paper.html）附图如下：

3）将特征Hi和Ei分别输入U-Net网络，即利用U-Net解码结构将特征Hi和Ei得进行一系列卷积、上采样和级联，以自顶向下的方式融合四个层得到初步的显著性预测图hint map Sh与边缘预测图edge map Se。4）将Sh 与深度图depth输入深度增强模块DEM，模块图如下：

得到增强的深度初始图，再输入ResNet-18进行训练，得到增强的深度图 {EDi, i = 1, 2, 3, 4}。初始深度图与增强后的深度图对比如下，可以看到质量明显提升。

5）将增强的深度图 {EDi, i = 1, 2, 3, 4}与步骤2）得到的显著特征图{Hi, i = 1, 2, 3, 4}输入跨模态融合模块，模块图如下：

公式为：

在特征聚合之后，再次使用U-Net来组合和细化{DHi，i=1、2、3、4}来预测最终的显着性映射Sf。损失函数：该文利用多监督提升模型的性能，损失函数为交叉熵损失。将深度监督应用于初步的显著性预测图 Sh 与边缘预测图 Se，用GT图Gs监督Sh，用GT取梯度得到的边界图Ge监督Se，用GT图Gs监督最终的显着性映射Sf。公式如下：

实验结果EF-Net和其他8种最先进的方法在四个基准数据集上的F-测度和精度-回归曲线：

定量评价结果：

除了在RGB-D数据集上训练测试网络之外，该文还在RGB-T上训练测试网络，结果如下：

总结该文提出了一种有效的RGB-D显性检测方法EF-Net，它首先利用从高质量RGB图像中学习到的先验知识增强深度图，然后在增强和融合框架中融合RGB和增强的深度特征。EF-Net由三个主要模块组成，包括用于生成提示图的CHMM、用于增强带有颜色提示图的深度图的DEM和用于聚合多模态特征的LAM。该方法有效地解决了深度图的低质量问题，并解决了与多模态融合相关的挑战，这最终导致了有希望的显着性检测性能。在四个流行的基准上的广泛实验表明，EFNet明显优于现有的SOTA方法。此外，在两个RGB-T数据集上进行了额外的实验，以探索EF-Net进一步扩展到RGB-T显性检测。实验结果表明，EF-Net能够准确地从RGB-T数据中检测出突出物体，这意味着EF-Net是一种有效的双流显著物体检测解决方案。备注：作者系我们「3D视觉从入门到精通」特邀嘉宾：一个超干货的3D视觉学习社区本文仅做学术分享，如有侵权，请联系删文。下载1在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。下载2在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。下载3在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

640?wx_fmt=jpeg

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

EF-Net一种适用于双流SOD的有效检测模型（Pattern Recognition）