[发明专利]基于模态差异特征引导的红外可见光融合识别系统和方法

权利要求书

1.一种基于模态差异特征引导的红外可见光融合识别系统，其特征在于，包括双流骨干网络模块、光照热度感知模块和级联区域提议模块，其中，

所述双流骨干网络模块包括红外特征提取单元、可见光特征提取单元以及特征引导单元，其中，所述红外特征提取单元用于获取原始红外图像的不同尺度红外特征，所述可见光特征提取单元用于获取与所述红外图像为同一场景的可见光图像的不同尺度可见光特征；所述特征引导单元用于对当前尺度的红外特征和可见光特征进行融合和加权，获得加权的红外特征和加权的可见光特征，以交叉引导所述红外特征提取单元和所述可见光特征提取单元中下一尺度红外特征和可见光特征的形成；

所述光照热度感知模块用于根据原始红外图像的图像热度值、原始可见光图像的图像照明值，获得可见光特征的可信度权值和红外特征的可信度权值；

所述级联区域提议模块用于根据不同尺度的红外特征、不同尺度的可见光特征、以及可见光特征的可信度权值和红外特征的可信度权值，获得目标的识别结果。

2.根据权利要求1所述的基于模态差异特征引导的红外可见光融合识别系统，其特征在于，所述红外特征提取单元包括多个级联的红外特征提取卷积层，以获得不同尺度的红外光特征；所述可见光特征提取单元包括多个级联的可见光特征提取单元，以获得不同尺度的可见光特征；

所述特征引导单元包括多个级联的模态差异引导子单元，其中，所述模态差异引导子单元利用当前尺度的红外光特征和可见光特征以及上一个模态差异引导子单元获取的红外可见光融合向量，获得加权的红外特征、加权的可见光特征以及红外可见光融合向量，并将加权的红外特征传输至下一尺度的可见光特征提取单元，将加权的可见光特征传输至下一尺度的红外特征提取单元，以交叉引导所述红外特征提取单元和所述可见光特征提取单元中下一尺度红外特征和可见光特征的形成，同时将所述红外可见光融合向量传输至下一个模态差异引导子单元。

3.根据权利要求2所述的基于模态差异特征引导的红外可见光融合识别系统，其特征在于，所述模态差异引导子单元具体用于：

对当前可见光特征、当前红外特征以及前一模态差异引导子单元输出的可见光红外融合特征进行融合，并通过三个并行的3×3卷积层进行特征分离，获得包括更多语义信息的可见光特征、红外特征以及可见光红外融合特征，随后利用Sigmoid激活函数得到当前可见光特征和当前红外特征对应的权值，从而形成加权的可见光特征和加权的红外特征。