[发明专利]一种基于遥感电磁辐射和红外图像的目标检测方法

说明书

本发明公开了一种基于遥感电磁辐射和红外图像的目标检测方法，包括以下步骤：S1、获取区域内的电磁辐射信号和红外图像，并将电磁辐射信号二维化；S2、将二维结构的电磁辐射和红外图像作为输入，馈送到多模态特征融合Transformer中，通过注意力机制将两个输入源的特征向量进行整合，得到电磁辐射检测结果和红外图像检测结果；S3、将电磁辐射检测结果和红外图像检测结果经融合张量后，输入到检测融合网络中，输出得到目标检测结果；该发明通过给定一块目标区域在某一时刻的电磁辐射信号和红外图像数据作为输入，能够通过两个模态之间的信息交互和增强，提高目标检测的性能和置信度。

技术领域

本发明涉及遥感目标检测技术领域，具体的说是一种基于遥感电磁辐射和红外图像的目标检测方法。

背景技术

随着我国卫星通信技术的发展，遥感技术在农业、气象、军事等领域发挥着越来越重要的任务。尤其在瞬息万变的军事领域，使用实时准确的目标检测技术分析遥感数据尤为重要。在现代信息战中，只有充分掌握敌我双方的态势，才能及时采取相应的应对措施，充分发挥我方武器和兵力的效能。

在基于遥感技术的目标检测中，传统的检测方法往往只依赖于电磁辐射或者只依赖于红外图像。然而这两个数据源各有其限制和不足。电磁辐射的定位具有较大的误差，而且在目标无线电静默阶段将丢失这部分的数据；红外图像作为目标检测的对象，更加直观，但是易受到区域、天气、光照等各方面的影响，而且遮挡将会大大影响基于图像检测算法的性能。

发明内容

本发明的目的在于提出了一种基于遥感电磁辐射和红外图像的目标检测方法，通过给定一块目标区域在某一时刻的电磁辐射信号和红外图像数据作为输入，能够通过两个模态之间的信息交互和增强，提高目标检测的性能和置信度。

为实现上述目的，本发明采用以下技术方案：

一种基于遥感电磁辐射和红外图像的目标检测方法，包括以下步骤：

S1、获取区域内的电磁辐射信号和红外图像，并将电磁辐射信号二维化；

S2、将二维结构的电磁辐射和红外图像作为输入，馈送到多模态特征融合Transformer中，通过注意力机制将两个输入源的特征向量进行整合，得到电磁辐射检测结果和红外图像检测结果；

S3、将电磁辐射检测结果和红外图像检测结果经融合张量后，输入到检测融合网络中，输出得到目标检测结果。

优选地，步骤S1中电磁辐射信号二维化的过程如下：

S11、将带经纬度坐标的电磁辐射数据投影到红外数据的图像坐标系上；

S12、根据红外图像，获得其投影参考系和地理参考系；

S13、将给定区域的经纬度坐标，由GDAL库内置函数将其转换为UTM坐标。

优选地，步骤S13的具体过程为：令(x,y)为图像坐标，(E,N)为UTM坐标，则两个坐标的转换关系如下：

其中，是平移坐标，是旋转和拉伸系数，给定图像，参数可通过GDAL的库函数直接获得，最后求解该二元一次方程组即可得到图像坐标。

优选地，步骤S2通过以下步骤实现：

S21、令输入特征为其中N为当前特征图的大小，并且特征图上的每个位置都是一个长度为D_f的特征向量；

S22、自注意力机制使用线性映射计算出三个矩阵，分别是Q，K和V，其具体计算公式如下：

Q＝FⁱⁿM^q

K＝FⁱⁿM^k