第二十二届中国虚拟现实大会 (ChinaVR 2022)

91 / 2022-10-09 10:46:26

用于 3D 物体检测的多级上下文感知和几何感知网络

基于 PointNet++的 Hough 投票对 3D 对象检测有效，已被 VoteNet、H3DNet等工作验证。但是，我们发现在两个方面仍有改进的空间。首先是大多数现有方法忽略了不同格式输入和几何图元预测对象建议的特殊意义。其次是PointNet++提取的特征忽略了每个对象的上下文信息。在本文中，为了解决上述问题，我们引入 MCNet 来学习用于 3D 对象检测的多级几何感知和尺度感知上下文信息。具体来说，我们的网络主要由基于 H3DNet 的基线模块、几何感知模块和上下文感知模块组成。具有四种类型输入（点、边缘、表面和线）的基线模块专注于提取多样化的几何图元（BB 中心、BB 面中心和 BB 边缘中心）。提出了几何感知模块来学习四种类型的特征图和三种几何图元之间的不同贡献。上下文感知模块旨在为四种类型的特征图或三种几何图元建立长期依赖特征。在具有真实 3D 扫描的两个大型数据集 SUN RGB-D 和 ScanNet 数据集上的广泛实验表明，我们的方法对 3D 对象检测是有效的。