[发明专利]一种具有区域注意力的红外与可见光图像融合方法

权利要求书

1.一种具有区域注意力的红外与可见光图像融合方法，其特征在于，包括：

步骤1，训练自编码器，所述自编码器包括编码器和解码器；

步骤1.1：以RGB格式读取训练集中的图像I，调整图像尺寸，再将其转换到YCbCr颜色空间；

步骤1.2：将图像的亮度通道I_Y输入至编码器，得到高维特征图F；

步骤1.3：将高维特征图F输入至解码器，输出亮度通道图O_Y；

步骤1.4：根据损失函数计算I_Y和O_Y之间的特征损失，然后优化梯度并反向传播，更新自编码器的模型参数；

步骤1.5：重复步骤1.1到步骤1.4，直到在整个训练集上迭代次数达到设定阈值，得到训练好的自编码器；

步骤2：制作融合图像训练集

获取用于训练的红外与可见光图像对，并进行子图裁剪扩充数据集，裁剪尺寸与步骤1调整后的图像尺寸一致，得到融合图像训练集；

步骤3：训练融合网络

步骤3.1：将融合图像训练集中的红外与可见光图像对(I_R,I_V)分别转换到YCbCr颜色空间，并分别提取各自的亮度通道图，得到(I_RY,I_VY)；

步骤3.2：分别将(I_RY,I_VY)输入步骤1中训练好的编码器，计算得到特征图(F_R，F_V)；

步骤3.3：将(F_R，F_V)在特征维度连接，输入融合网络，计算得到融合特征图F_F；

步骤3.4：将F_F输入解码器解码，得到亮度通道的融合图像O_FY；

步骤3.5：根据损失函数计算损失值，然后优化梯度并反向传播，更新融合网络的模型参数；

步骤3.6：重复步骤3.1到3.5，直到在整个融合图像训练集上计算次数达到设定值，得到训练好的融合网络；

步骤4，获取融合图像

步骤4.1：将待融合的红外与可见光图像对按照步骤3.1到3.4的方法，得到亮度通道的融合图像O_FY；

步骤4.2：将O_FY和可见光图像的CbCr通道在特征维度连接，得到YCbCr格式的图像，再转换为RGB格式，得到融合图像。

2.根据权利要求1所述具有区域注意力的红外与可见光图像融合方法，其特征在于，所述编码器具有四层卷积层，采用密集连接；所述解码器采用四层卷积层直接连接；编码器和解码器中，卷积核尺寸为3×3，step为1，padding为1，采用ReLu激活函数。

3.根据权利要求2所述具有区域注意力的红外与可见光图像融合方法，其特征在于，所述步骤1.2，输入尺寸为256×256×1，得到的高维特征图F尺寸为256×256×128，所述步骤1.3，亮度通道图O_Y尺寸为256×256×1。

4.根据权利要求1所述具有区域注意力的红外与可见光图像融合方法，其特征在于，在步骤1.5之后，将训练数据改成测试数据，执行步骤1.1到1.3，得到O_Y，然后将O_Y与步骤1.1中的CbCr通道在特征维度连接，得到YCbCr格式的图像，再转换为RGB格式，得到输出图像O；主观验证O是否与I一致。