CVPR2021 | PAConv：一种位置自适应卷积，点云分类、分割任务表现SOTA

Mino 3D视觉工坊 4/19

导读：由香港大学CVMI Lab和牛津大学合作提出了一种点云上具有动态内核组装的位置自适应卷积——PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on Point Clouds，论文已被CVPR2021接收。PAConv的卷积核由多个基本权重矩阵组装而成，而在组装过程中，这些权重矩阵的系数是通过点的位置关系自适应学习得到的。这种以数据驱动构建卷积核的方式赋予了PAConv很强的灵活性，以更好地处理不规则和无序的点云数据。此外，与现有点云卷积高度工程化的网络结构不同，作者将PAConv直接集成到基于MLP的经典点云网络架构中，而无需更改原有的网络配置。即使建立在简单的网络架构上，PAConv仍然以很高的效率在点云分类、部件分割和场景分割的任务中表现SOTA。目前全部的代码和模型都已开源，欢迎大家follow!

论文、代码地址：在公众号「3D视觉工坊」，后台回复「PAConv」，即可直接下载。

一、引言

近年来，深度学习在三维点云处理上取得了显着进步，但鉴于点云的稀疏性、不规则性和无序性，这仍然是一项具有挑战性的任务。现有方法大致分为三类：第一类是对点云进行体素化以便可以采用三维网格卷积处理，然而重要的几何信息可能由于量化而丢失，体素化通常也会带来额外的存储和计算成本；第二类是用共享MLP处理所有点，这种方式难以表征点云空间复杂的变化关系；第三类则是设计可以直接处理点云的卷积核，现有方法亦受限于计算复杂度或灵活性，本文中也特别对现有的点云卷积与本文方法的关系和区别进行了详尽的讨论。本文提出了一种即插即用的位置自适应卷积PAConv，通过动态组装基本权重矩阵来构造内核，这些权重矩阵的组合系数由ScoreNet自适应地学习点的相对位置关系得到。PAConv以数据驱动的方式灵活地对三维点云的复杂空间变化和几何结构进行建模，同时保持很高的效率。另外值得一提的是，最近的点云卷积工作大多采用其量身定制的复杂网络架构，使得我们难以评估到底是其自身卷积操作还是网络设计而带来性能的提升。所以，作者直接将PAConv集成到最简单的MLP点云网络中，旨在最大程度地降低网络结构的影响，以更好地评估PAConv本身的性能。

二、方法概述

接下来，作者设计了一个ScoreNet，根据点的位置关系学习一个系数向量以组合权重矩阵。具体地，ScoreNet的输入为点云中某一个局部区域的中心点pi和其相邻点pj之间的相对位置关系向量，作者在实验部分也探讨了不同的输入表征。输出为一个归一化的系数向量：最终，通过将Weight Bank中的权重矩阵与ScoreNet预测出的相应系数进行组合，得出PAConv的卷积核函数：PAConv以动态数据驱动的方式构造卷积核，其中权重矩阵的系数是从点的位置关系自适应学习的，该内核组装策略可以灵活地对点云的不规则几何结构进行建模。此外，由于权重矩阵是随机初始化的并且可能会收敛为彼此非常相似，因此无法保证权重矩阵的多样性。为了避免这种情况，作者设计了一个权重正则化函数来惩罚不同权重矩阵之间的相关性，其定义为：

从而不同的权重矩阵将更分散和独立，进一步确保了所生成卷积核的多样性。至此，本文还将PAConv与现有主流的几种点云卷积PointCNN，PointConv和KPConv进行了详细的对比论述。

三、简单的网络结构

虽然最近的点云网络结构差异较大，但是大多数可以视为经典的MLP点云网络的不同变体。为了评估PAConv的有效性并最大程度地减少复杂网络架构的影响，作者针对不同的点云任务采用了三个基于MLP的经典且简单的网络主干来集成我们的PAConv，而不修改原始的网络架构（如网络层数、特征通道数）。对于物体分类和物体部件分割任务，作者直接使用PAConv替换了DGCNN中的EdgeConv 和PointNet编码器中的MLP。而对于室内场景分割任务，作者采用了PointNet++最简单的单尺度分组（SSG）版本，并用PAConv直接替换PointNet ++编码器中的MLP。

四、实验

对于物体分类任务，作者采用了ModelNet40数据集，取得了现有方法中最高的分类准确率，并且在不改变原始骨干网络PointNet和DGCNN的结构的情况下，分别带来了明显的提升。其次，本文还在物体部件分割任务的数据集ShapeNet Part上对PAConv进行了评估，同样也给DGCNN带来了显著的提升。最后，作者进一步在大规模室内场景分割数据集S3DIS上测试了PAConv的性能。值得一提的是，KPConv和PosPool都对输入点云进行了体素化（Grid-sampling）预处理以获得更规则的输入结构和更多的背景信息来提升性能，然而这种方式不可避免地带来更多的训练内存开销，所以作者直接参考PointNet++采用了更简单的块采样（Block-sampling）来进行数据预处理。PAConv依然为骨干网络PointNet++带来了明显的提升，并保持着较少的计算开销（FLOPs）。此外，论文还可视化了ScoreNet学到的系数在空间中的分布。可以看出，对于每个权重矩阵，其系数的分布是不同的，表明不同的权重矩阵捕获了不同的点位置关系。

五、总结

本论文提出了PAConv，一种具有动态内核组装的位置自适应卷积，用于点云处理。PAConv通过结合Weight Bank中的基本权重矩阵以及通过ScoreNet从点位置学习的相关系数来构造卷积核。通过将PAConv集成到简单的MLP点云网络而无需修改网络配置时，它依然可以表现SOTA，并且保持着很高的模型效率。大量的实验和可视化证明了PAConv的有效性。备注：作者也是我们「3D视觉从入门到精通」特邀嘉宾：一个超干货的3D视觉学习社区本文仅做学术分享，如有侵权，请联系删文。下载1在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。下载2在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。下载3在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款 圈里有高质量教程资料、可答疑解惑、助你高效解决问题觉得有用，麻烦给个赞和在看~