[发明专利]一种基于自动驾驶场景多模态融合的抗干扰目标检测方法

权利要求书

1.一种基于自动驾驶场景多模态融合的抗干扰目标检测方法，其特征在于，具体过程为：

（1）数据集构建：

使用可见光近红外同光轴相机采集不同场景下的自动驾驶场景图像数据，并对数据进行标注后构建数据集，并将数据集按照6：2：2的数量比分为训练集、验证集和测试集；

（2）差异化特征提取：

将可见光图像和近红外图像分别输入不同的差异化特征提取网络提取特征，得到两组基础特征；其中提取可见光图像特征的差异化特征提取网络包括五个卷积模块，每个卷积模块包含两个卷积层、三个激活层和一个最大池化层；提取近红外图像特征的差异化特征提取网络包括五个卷积模块，每个卷积模块包含一个卷积层、两个激活层和一个平均池化层；

（3）学习速率约束：

将步骤（2）得到的两组基础特征分别输入学习速率约束模块，用于控制不同模态分支的更新速率；

（4）模态特征融合：

将步骤（3）经过学习速率约束模块的基础特征输入模态特征融合模块，将两个模态的特征融合得到模态融合特征用于后续的目标检测；所述模态特征融合模块由两个分支组成，其中一个分支将两个模态的特征对应相乘，增加相似特征的显著性，即“求同”；另一个分支是将两个模态的特征进行相加，保留差异性特征，即“存异”；

（5）目标检测：

将步骤（4）得到的模态融合特征输入目标检测模块，在提取的特征后连接两层卷积核为3×3的卷积层，在输出特征图的每一个位置设定三个不同长宽比的锚框，然后使用两个参数不共享的全连接层学习目标框位置信息和分类信息，其中目标框位置信息为真实目标位置与锚框的偏差，分类信息为目标框的不同类别；

（6）训练和测试网络，输出检测结果：

使用步骤（1）采集到的训练数据进行训练，将尺寸为640×512的近红外图像和可见光图像依次输入差异化特征提取网络、学习速率约束模块、学习速率约束模块和目标检测模块，最终输出预测的目标位置和类别，使用真实目标位置和类别与预测的结果进行误差计算，使用Focal损失计算类别误差，使用平滑L1损失来计算预测目标位置与真实目标位置的误差，通过反向传播更新参数，经过200个完整迭代后，保存最好的模型参数，作为最终模型训练好的参数，即得到训练好的抗干扰目标检测网络参数，然后将步骤（1）采集到的测试数据进行测试，得到目标的位置和类别。

2.根据权利要求1所述基于自动驾驶场景多模态融合的抗干扰目标检测方法，其特征在于，步骤（1）所述不同场景包含夜晚低光照以及雨、雪、雾天气场景，不同模态图像采集各1500张，对数据标注的内容包含目标的位置和类别，其中位置包含目标的中心点和长宽，类别包含车辆和行人两个类别。

3.根据权利要求2所述基于自动驾驶场景多模态融合的抗干扰目标检测方法，其特征在于，步骤（3）所述学习速率约束模块由一层全连接层组成，在反向梯度传播时，针对不同的模态其梯度乘以不同的系数，以控制不同模态的学习速率，同时全连接层增加网络的非线性拟合能力。