[发明专利]一种基于多模态特征与极化注意力的图像去雾方法

权利要求书

1.一种基于多模态特征与极化注意力的图像去雾方法，其特征在于，包括如下步骤：

S1：选取合成带雾图像和清晰图像，并对数据进行处理以制作数据集；数据处理包括图像配对，图像裁剪、数据增广；数据处理后将图像划分为训练集、验证集和测试集；

S2：添加极化自注意力机制，组建多模态特征融合模块，基于可变性卷积和差分卷积搭建图像特征增强模块，构建单幅图像去雾网络，损失方面采用内容损失和感知损失来作为网络约束；

S3：调整网络训练参数，利用S1得到的训练数据对S2得到的图像去雾网络进行最后的网络参数调整得到较好的去雾模型；

S4：根据S1得到的测试集、验证集与S3得到的训练网络进行图像去雾模型训练；

S5：根据S1得到的测试集、验证集与S4得到的图像去雾模型进行图像去雾的测试；

S6：根据S5测试结果来判断模型是否输出和进行参数设置继续训练与测试，循环此操作直到得到去雾模型；

S7：根据S6得到的基于多模态特征与极化注意力的图像去雾模型对图像进行去雾。

2.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法，其特征在于，所述的步骤S1中数据处理主要包括：图像配对是将合成带雾图像和清晰图像的名称一一对应起来形成正负样本的配对；数据裁剪使用Python程序将有雾和无雾图像对裁剪到128*128的相同大小；数据增广主要利用Python程序对数据集进行旋转、平移、缩放等操作来增加数据的多样性以及避免过拟合；编程语言为Python3.6。

3.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法，其特征在于，所述的步骤S2中添加基于极化自注意力机制和空间变换特征层的多模态融合模块，在不引入额外噪声的情况下融合两种模态的信息，诱导网络在去雾的过程中可以结合场景深度不平等的处理雾浓度不同的图像区域；其次添加基于可变性卷积和差分卷积的特征增强模块，使得网络在图像恢复过程中保留更多的纹理信息和边缘信息；损失包括内容损失L_c和感知损失L_prep，损失函数采用计算量较小的均方差误差，上述公式可以表示为:

空间变换特征层：SFT(F|d)＝γ⊙F+β (1)

训练损失：L＝L_c+λL_prep (2)

损失函数：

其中：☉表示逐元素相乘，γ、β表示仿射变换因子，由深度图分别经过两个卷积层学习得来，λ表示感知损失的权重系数，J_i和I_i分别表示预测图像和相应真实无雾图像在第i个颜色通道的像素值，N代表单个通道中像素的总个数。

4.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法，其特征在于，所述的步骤S3中调整网络参数：最大迭代次数为20000，批次大小设为16(根据计算机性能来设)，动量参数β₁与β₂分别采用默认值0.9和0.999，学习率为0.0002为了使模型尽快收敛，减少过拟合，在迭代次数为10000、15000时调整学习率。

5.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法，其特征在于，所述的步骤S4根据步骤S3得到调整好参数的网络进行图像去雾的模型训练。

6.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法，其特征在于，所述的步骤S5根据步骤S1得到的测试集、验证集与步骤S4得到的图像去雾模型进行去雾测试。

7.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法，其特征在于，所述的步骤S6根据步骤S5测试结果来判断模型是否输出和进行参数设置、训练与测试，循环此操作直到得到图像去雾模型。

8.根据权利要求1所述的一种基于多模态特征与极化注意力的图像去雾方法，其特征在于，所述的步骤S7根据步骤S6得到的基于多模态特征与极化注意力的图像去雾模型对图像进行去雾。