[发明专利]一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统

说明书

本发明公开了一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统，首先对车道原始激光雷达点云数据进行预处理，获得与RGB图像对齐的三通道伪点云数据；将得到的车道三通道伪点云数据与对应的RGB图像数据进行多模态数据融合；在多模态数据融合后的卷积过程中，用多尺度卷积再次计算融合特征通道，以校正融合后的特征通道权重；将校正后的车道多模态融合数据输入预先建立和训练好的车道目标检测模型，对车道目标进行预测，以获得车道目标检测结果。上述方法能提升不同模态数据优势特点的利用率，有效提高目标检测模型的精度，具有良好的实时性，在不同的目标检测模型上均可适用。

技术领域

本发明涉及目标检测技术领域，尤其涉及一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统。

背景技术

近年来，目标检测在人脸识别、图像识别、视频识别、自动驾驶等方面取得了令人瞩目的进展。目标检测在自动驾驶中尤为重要，为了确保上路安全，需要能够精确检测出路面上的所有行人和车辆，行人是路面上的高危群体，也是交通事故中最容易受到伤害的群体，行人识别和行人移动轨迹预测都是当前安全驾驶领域的研究热点。车辆是驾驶场景中的主体，检测道路上行驶的其他车辆是障碍物检测的重中之重，对车辆的安全行驶、紧急避撞等具有重要意义。

当前自动驾驶中目标检测的主流方法是对相机图像进行检测，其他传感器的数据，如体现深度信息的激光雷达点云数据，由于其计算复杂度高，在应用上存在很大的困难。然而在自动驾驶中仅使用相机图像进行目标检测有很大的局限性，如光照变化会影响检测效果，人群、车辆密集时检测精度低，对与背景颜色相似的目标误检、漏检可能性大等问题。当前依靠纯视觉图像的目标检测方法丢失了深度信息，也很容易受到环境、天气的影响，这样的检测模型在应用场景中不仅精度提升困难，也缺乏鲁棒性。相比之下，激光雷达点云数据带有每一个点的深度信息，在解决上述问题时具有天然的优势，因此，在自动驾驶中用多模态融合来完成目标检测是合理且有必要的，但目前的多模态融合方案有以下几项弊端：

1、计算成本高昂：点云数据计算复杂度高，直接计算点云需要消耗大量时间和计算资源，对实时性造成极大的影响，无法满足自动驾驶的要求。

2、未关注多模态数据的特点：一种可行的方法是将点云中的深度信息投影到二维平面，用深度图像与相机图像进行融合，但是相机图像与激光雷达点云是不同模态的数据，差异性很大。将多模态数据粗暴地放到一个特征空间里融合，会抑制多模态数据各自的优势，甚至可能产生噪声的效果。

3、未计算多模态数据的重要性：现有多模态融合通常将两种模态的数据以一个固定的比例直接融合，事实上，在深度学习网络提取特征的过程中，部分特征通道对目标检测结果贡献较大，部分特征通道的贡献很小，用固定的比例进行融合是不合理的。

发明内容

本发明的目的是提供一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统，该方法能提升不同模态数据优势特点的利用率，有效提高车道目标检测模型的精度，具有良好的实时性，在不同的目标检测模型上均可适用。

本发明的目的是通过以下技术方案实现的：

一种基于多尺度卷积的多模态数据融合车道目标检测的方法，所述方法包括：

步骤1、首先对原始激光雷达点云数据进行预处理，获得与RGB图像对齐的三通道伪点云数据；

步骤2、将步骤1得到的三通道伪点云数据与对应的RGB图像数据进行多模态数据融合；其中，在多模态数据融合过程中，对不同模态数据的特征通道进行权重赋值，并根据各自特征通道的重要程度自适应地获取所有特征通道的融合权重；

步骤3、在多模态数据融合后的卷积过程中，用多尺度卷积再次计算融合特征通道，以校正融合后的特征通道权重；

步骤4、将步骤3校正后的车道多模态融合数据输入预先建立和训练好的车道目标检测模型，对车道目标进行预测，以获得车道目标检测结果。