[发明专利]一种变压器多源异构数据多尺度特征融合方法

权利要求书

1.一种变压器多源异构数据多尺度特征融合方法，其特征在于，包括如下步骤：

S1，分别对变压器进行红外图像拍摄和可见光图像拍摄，得到红外图像和可见光图像；

S2，利用卷积编码网络，分别从红外图像和可见光图像中提取细节特征，产生在不同维度上包含源图像各项信息的红外特征图和可见光特征图；

S3，对红外特征图和可见光特征图利用融合规则进行融合，得到包含两类源图像信息的融合特征图；

S4，利用卷积解码网络对融合特征图进行重建，最终得到包含两类源图像信息的融合图像。

2.根据权利要求1所述的一种变压器多源异构数据多尺度特征融合方法，其特征在于，S2中，卷积编码网络提取源图像的深层特征，使用卷积计算的方式，利用卷积的平移不变性，对图像上的每个像素进行卷积运算，在训练过程中，每层的卷积核会根据损失函数进行训练修正，以此降低损失，卷积计算公式如下表示：

其中，表示卷积运算，该公式表示卷积核Q在输入图像I上的空间滑动，Conv(i,j)表示卷积核Q对应的输出矩阵所对应位置的元素值，Q(m,n)表示卷积核的参数，经过多层的卷积编码网络得到源图像的卷积特征图。

3.根据权利要求2所述的一种变压器多源异构数据多尺度特征融合方法，其特征在于，所述损失函数为针对于红外与可见光图像融合任务的损失函数，其由两部分构成，如公式(2)所示:第一项的目的是将输入图像的全局显著性信息保留在融合图像中；第二项的目的是将输入图像的梯度纹理信息保留在融合图像中:

I_in代表输入卷积编码网络的图像，I_out代表卷积解码网络输出的图像，代表梯度算子，·_F代表矩阵Frobenius范数，ξ为经过实验设置的权重参数，设置为5。

4.根据权利要求1所述的一种变压器多源异构数据多尺度特征融合方法，其特征在于，S3中，融合规则为等权重相加的融合策略；

其定义如下：

P₁^m(·)和分别表示编码器从红外图像与可见光图像提取的卷积特征图，f^m(·)表示融合后的卷积特征图，其中(x,y)表示提取的特征图和融合后的特征图中对应的位置，α、β分别为红外权重系数与可见光权重系数，α＝β＝0.5。