[发明专利]一种基于多光谱图像融合的复杂场景识别方法及系统

权利要求书

1.一种基于多光谱图像融合的复杂场景识别方法，该方法包括以下步骤：

将场景数据集的图像划分为训练数据集和测试数据集，所述场景数据集的图像为将红外光和可见光融合后的图像；

根据所述训练数据集构建场景识别的DL-FME卷积神经网络，利用所述DL-FME卷积神经网络对所述融合后的图像进行分割，得到分割后的图像；

利用所述DL-FME卷积神经网络对所述分割后的图像进行训练以生成场景识别训练模型；

将所述测试数据集的图像输入所述训练模型以生成场景识别模型；

利用所述场景识别模型对待识别的场景进行识别。

2.根据权利要求1所述的复杂场景识别方法，其特征在于，所述训练数据集和测试数据集通过以下子步骤获得：

对所述融合后的图像进行预处理以获得场景数据集；

标记并划分所述场景数据集中的图像以获得所述训练数据集和测试数据集。

3.根据权利要求2所述的复杂场景识别方法，其特征在于，所述融合后的图像通过以下子步骤获得：

对相机的摄像头进行畸变校正；

将校正后的摄像头所拍摄的红外光图像和可见光图像进行配准操作；

将配准后的红外光和可见光图像进行融合以获得所述融合后的图像。

4.根据权利要求3所述的复杂场景识别方法，其特征在于，所述配准操作包括以下子步骤，

采用计算标定板法计算所述红外光图像和可见光图像之间的像素差，根据所述像素差得到图像尺度因子；

根据标定板中圆形的坐标位置在红外图像中的像素坐标位置以及标定板中圆形的坐标位置在可见光图像中的像素坐标位置，以获得标定板中的圆心在红外和可见光图像的偏移距离；

根据所述偏移距离将红外光图像与可见光图像进行对齐以完成所述配准操作。

5.根据权利要求3所述的复杂场景识别方法，所述将配准后的红外光和可见光图像进行融合以获得融合后的图像包括以下子步骤获得：

将含有多个细节特征的可见光图像和含有多个伪装目标图像强度特征的红外光图像在Y通道进行融合叠加；

根据预设的填充系数对可见光图像的U通道或V通道进行填充，并根据预设的补强强度对填充后的可见光图像进行补强以获得所述融合后的图像。

6.根据权利要求1所述的复杂场景识别方法，其特征在于，所述网络架构DL-FME以Xception网络作为该网络架构的骨架网络。

7.根据权利要求1所述的复杂场景识别方法，其特征在于，所述分割后的图像通过以下子步骤获得：

将融合后的图像输入所述网络架构DL-FME中，以获得第一批特征图，

利用特征增强函数对所述第一批特征图的特征进行增强以得到第二批特征图；

将所述第一特征图的特征与第二批特征图连接，以得到所述分割后的图像。

8.根据权利要求1所述的复杂场景识别方法，其特征在于，所述场景识别训练模型是通过以下子步骤获得的：

在训练初期，采用Warmup策略对所述分割后的图像进行训练；

在训练后期，采用余弦衰减策略对所述分割后的图像进行训练；

逐层对所述DL-FME卷积神经网络进行微调，以获得所述场景识别训练模型。

9.一种基于多光谱图像融合的复杂场景识别系统，包括：

划分模块，用于将场景数据集的图像划分为训练数据集和测试数据集，所述场景数据集的图像为将红外光和可见光融合后的图像；

分割模块，用于根据所述训练数据集构建场景识别的DL-FME卷积神经网络，利用所述DL-FME卷积神经网络对所述融合后的图像进行分割，得到分割后的图像；

训练模块，用于利用所述DL-FME卷积神经网络对所述分割后的图像进行训练以生成场景识别训练模型；

生成模块，用于将所述测试数据集的图像输入所述训练模型以生成场景识别模型；

识别模块，用于利用所述场景识别模型对待识别的场景进行识别。