[发明专利]一种基于遥感电磁辐射和红外图像的目标检测方法

权利要求书

1.一种基于遥感电磁辐射和红外图像的目标检测方法，其特征在于，包括以下步骤：

S1、获取区域内的电磁辐射信号和红外图像，并将电磁辐射信号二维化；

S2、将二维结构的电磁辐射和红外图像作为输入，馈送到多模态特征融合Transformer中，通过注意力机制将两个输入源的特征向量进行整合，得到电磁辐射检测结果和红外图像检测结果；

S3、将电磁辐射检测结果和红外图像检测结果经融合张量后，输入到检测融合网络中，输出得到目标检测结果。

2.如权利要求1所述的一种基于遥感电磁辐射和红外图像的目标检测方法，其特征在于，步骤S1中电磁辐射信号二维化的过程如下：

S11、将带经纬度坐标的电磁辐射数据投影到红外数据的图像坐标系上；

S12、根据红外图像，获得其投影参考系和地理参考系；

S13、将给定区域的经纬度坐标，由GDAL库内置函数将其转换为UTM坐标。

3.如权利要求2所述的一种基于遥感电磁辐射和红外图像的目标检测方法，其特征在于，步骤S13的具体过程为：令(x,y)为图像坐标，(E,N)为UTM坐标，则两个坐标的转换关系如下：

其中，是平移坐标，是旋转和拉伸系数，给定图像，参数可通过GDAL的库函数直接获得，最后求解该二元一次方程组即可得到图像坐标。

4.如权利要求1所述的一种基于遥感电磁辐射和红外图像的目标检测方法，其特征在于，步骤S2通过以下步骤实现：

S21、令输入特征为其中N为当前特征图的大小，并且特征图上的每个位置都是一个长度为D_f的特征向量；

S22、自注意力机制使用线性映射计算出三个矩阵，分别是Q，K和V，其具体计算公式如下：

Q＝FⁱⁿM^q

K＝FⁱⁿM^k

V＝FⁱⁿM^v

其中，和为权重矩阵；

S23、计算value向量的加权作为输出，其中权重是矩阵Q和K的点乘，再除以一个尺度标度，通过softmax函数对权重向量进行归一化操作，计算公式为：

S24、对该特征矩阵施加非线性函数和残差连接得到当前尺度的输出特征：

F^out＝MLP(A)+Fⁱⁿ

经过若干次降采样和卷积特征的抽取过后的特征图，将被馈送到无锚定框的检测器中，得到两个模态下的电磁辐射检测结果和红外图像检测结果。

5.如权利要求1所述的一种基于遥感电磁辐射和红外图像的目标检测方法，其特征在于，步骤S3通过以下步骤实现：

S31、令电磁辐射检测结果为集合其中，r_i^RAD＝[x_i1,y_i1,x_i2,y_i2]为第i个检测框，x_i1,y_i1为检测框的左上角，x_i2,y_i2为检测框的右下角，为电磁辐射检测结果的置信度；令红外图像检测结果为集合其中，r_i^IR＝[x_i1,y_i1,x_i2,y_i2]为第i个检测框，x_i1,y_i1为检测框的左上角，x_i2,y_i2为检测框的右下角，为红外图像检测结果的置信度；

S32、根据步骤S31中的两个检测集合，构建一个k×n×3的张量T，其中其中

S33、将张量T送入卷积神经网络中，经过二维卷积、最大池化、压缩操作，得到一个n维的得分向量，表示红外图像检测框更新后的置信度；

S34、设定阈值，保留置信度高于阈值的检测结果。