[发明专利]一种基于自动驾驶场景多模态融合的抗干扰目标检测方法

说明书

本发明属于目标检测技术领域，涉及一种基于自动驾驶场景多模态融合的抗干扰目标检测方法，采用可见光和近红外图像互补多模态结合的探测手段，从特征层面多模态数据进行充分利用，针对近红外和可见光的不同表观特征，设计不同的主干网络分别用于提取可见光和近红外图像的基础特征，用于提取基础特征；并针对两组图像信息丰富程度不一、学习困难程度不一致的问题，在不同的分支使用学习速率约束模块，用于控制不同模态分支的更新速率；然后使用模态融合模块将两组特征进行融合，实现相似特征和互补特征的保留，即求同存异，实现两个模态的信息的充分利用，检测精度高，降低了在复杂干扰场景的检测漏检率。

技术领域

本发明属于目标检测技术领域，涉及一种基于自动驾驶场景多模态融合的抗干扰目标检测方法。

背景技术

随着城市进程的加快，城市中车辆数量急剧增多，伴随而来的交通问题愈加明显。随着人工智能和大数据技术的发展，自动驾驶可以将驾驶员从繁重且机械化的驾驶中脱离出来，降低驾驶员等人为因素造成的交通事故，提升道路通行效率。而自动驾驶目前的难题就是“感知”，虽然自动驾驶在清晰场景下的有较好的性能，而在复杂场景中仍然存在诸多局限，尤其是在夜晚低光照以及雨、雪、雾等复杂天气干扰条件下，导致能见度急剧下降，目标背景反差劣化。

自动驾驶技术需要依靠多种传感器来实现，以弥补单模态数据的信息缺失，通常使用激光雷达、可见光摄像头、毫米波雷达等来了解周围的交通情况。在面对雨、雪、雾、霾等复杂天气干扰时，虽然可见光图像虽然具有丰富的纹理信息，但是复杂天气干扰也会降低图像质量，影响检测结果，因此现有的解决方法多是使用激光雷达，但是远距目标尺寸小、细节少，与雨、雪等颗粒干扰表观相似而难以区分，具有特有的结构形态和运动模式，并且不均匀雨雾将于产生的团状雾会让激光雷达产生虚警，从而判断成障碍物，对系统的造成较大影响，因此复杂天气会影响激光点云的准确性和完整性。

近红外传感器具有较好的透射率，在受到雨雪雾以及夜间低光照场景等恶劣条件下，均有良好的成像效果，对于在可见光图像中呈现稀疏、高亮特点的雨雾天气，在近红外中几乎不可见，此外其可以采用与可见光同样的常规低成本的透镜，可以与可见光同时集成在同一传感器中，因此可以实现与可见光图像共光轴，不需要配准和对齐，减少了不必要工作量的同时，降低了设备采集的成本，同时对近红外图像处理的计算量远小于激光雷达的3D点云数据，有利于在车载资源受限平台的部署实现。同时近红外没有丰富的纹理色彩信息，对于目标的识别缺乏优势，因此与可见光结合可以弥补单模态数据的信息缺失，如何将两个模态的不同表观特征的图像有机结合用于目标的探测识别是一项较大的难题。

由此可见，自动驾驶场景的目标检测存在恶劣天候干扰条件下的突出挑战，急需更有效的方法提升检测的抗干扰能力。

发明内容

为了克服现有技术的不足，本发明提供一种基于自动驾驶场景多模态融合的抗干扰目标检测方法，用来应对自动驾驶场景的目标检测存在的夜晚低光照以及雨、雪、雾等复杂天气的干扰，可同时可用于其他存在复杂干扰条件下的目标检测任务，突破单一模态的的探测瓶颈，提升目标检测的性能。

为了实现上述目的，本发明对抗干扰目标进行检测的具体过程为：

（1）数据集构建：

使用可见光近红外同光轴相机采集不同场景下的自动驾驶场景图像数据，并对数据进行标注后构建数据集，并将数据集按照6：2：2的数量比分为训练集、验证集和测试集；

（2）差异化特征提取：

将可见光图像和近红外图像分别输入不同的差异化特征提取网络提取特征，得到两组基础特征；

（3）学习速率约束：

将步骤（2）得到的两组基础特征分别输入学习速率约束模块，用于控制不同模态分支的更新速率；

（4）模态特征融合：