[发明专利]一种基于动态卷积的单目3D目标检测方法

说明书

本发明是一种基于动态卷积的单目3D目标检测方法，提出了基于深度图生成的动态卷积层，采用以RGB图像数据作为输入，然后采用densedepth网络生成深度图，将生成的深度图经过滤波器生成网络训练生成动态卷积层的卷积核，并将其运用到特征提取网络的动态卷积层中，使特征提取可以考虑到深度信息。将生成的最终特征图作为2D‑3D检测器的输入，预测得到2D、3D框坐标值，然后经过非极大值抑制和数据转换来完成2D、3D框回归以得到最终结果。本发明利用动态卷积网络代替传统的2D全卷积，动态卷积的卷积核由输入图像的深度图中自动学习。解决了不能同时利用了深度信息和语义信息的问题。提高了单目3D目标检测的精度。

技术领域

本发明属于3D目标检测技术领域，具体涉及一种基于动态卷积的单目3D目标检测方法。

背景技术

3D目标检测是机器感知物理环境不可或缺的前提，在无人驾驶和机器人导航中得到了广泛应用。利用激光雷达传感器获取3D点云信息或利用立体摄像机进行立体深度估计的3D目标检测方法所使用的激光雷达传感器和立体摄像机的价格昂贵，使3D目标检测的门槛过高。单目3D目标检测的实现成本低，但精度有待提高。我们致力于提升单目3D目标检测的精度以达到激光雷达传感器的精度。目前，基于图像的单目3D目标检测方法需要借助几何约束来学习，忽略图片中的深度信息，导致此方法过于复杂、效率过低。基于伪雷达点云的单目3D目标检测方法是利用估计的深度将2D图片信息投射到3D空间以完成伪点云的转换，这一过程会出现转化的偏差，同时这一方法忽略了图片中的语义信息，会使最终的结果有偏差。

近年来，学者们提出了大量基于图像和基于伪点云的3D目标检测方法。这类方法根据输入的RGB图像信息和伪点云信息，利用不同方法提取特征，根据提取出的特征进行3D框回归，就可以输出3D目标检测的最终效果图。

现有的基于RGB图像的3D目标检测方法主要是对场景的几何形状做出假设，并将其作为训练2D信息到3D空间映射的约束条件。基于语义分割与上下文信息为先验条件来产生3D候选簇的方法在一定程度上提高了3D框定位精确度，但这种方法需要额外的网络进行语义与实例分割，这使得训练与预测的时间花费更多。为了解决这一问题，基于预训练的视差估计模型引导几何信息推理来完成3D目标检测任务，有效的降低了训练和花费的时间，但是小区域的目标往往被忽略，这大大降低了3D检测精度。基于稀疏监督的方法，通过直接预测目标3D包围盒中心的深度，估计水平和垂直维度中的位置，进一步实现3D定位，但是这种方法及其依赖预测的深度信息的准确性，导致3D目标检测的效果并不理想。有学者引入了深度空间感知卷积这一概念，使用行空间中的非共享核来学习空间感知特征，更好的利用输入图像的空间信息以提高3D目标检测的精度。然而，这种粗糙而固定的空间划分存在偏差，无法捕捉物体的尺度和局部结构。

现有的基于伪雷达点云的方法首先从2D图片中估计出单目深度信息，然后利用单目深度将2D图片投射到3D空间，从而模拟雷达点云信号，之后可以利用基于点云的3D目标检测算法进行3D目标检测。伪点云是近些年来刚被提出的概念，随着伪点云的提出，有学者提出融合RGB图像和伪点云数据作为模型的输入，利用这些融合的特征预测了目标的类别，同时回归固定方向的3D框，进一步提升了检测的精度，但采用融合机制使得计算过程较为繁琐。为简化计算过程，有学者提出先获取深度信息和2D目标位置先验，之后将2D深度信息映射到3D空间，以点云数据形式进行后续处理，效果得到有效提升，但是2D信息向3D点云信息转化过程中可能会引入一些错误信息，导致后续检测过程的错误判断。

发明内容

本发明的目的是提供一种基于动态卷积的单目3D目标检测方法，解决现有同类方法对深度信息和语义信息不能同时感知的问题，提高单目3D目标检测的精度。

本发明解决其技术问题的方案为：一种基于动态卷积的单目3D目标检测方法，其特征在于：包括以下步骤

S1:将3D目标检测数据集中的RGB图像大小缩放为512×1760，分别作为特征提取网络和深度图生成网络的输入；