[发明专利]一种基于多模态特征与极化注意力的图像去雾方法

说明书

本发明公开了一种基于多模态特征与极化注意力的图像去雾方法。该方法包括数据集制作、网络搭建、参数设置、模型训练、去雾验证和模型输出。基于单一模态的特征进行图像去雾，可能会导致丢失图像部分退化信息，使得去雾效果不好。针对这些问题，本发明提供了一种结合多模态特征图像去雾的方法，利用多模态融合模块在不添加额外噪声的情况下融合两种模态的信息，并通过极化自注意力机制有效避免了信息的缩减，最后通过特征增强模块对图像的边缘和纹理信息进行提取，实验结果表明，与现有去雾方法相比，提出的去雾方法在合成有雾图像数据集上有较为理想的效果，有效解决了去雾不彻底、色彩退化的问题，为后续高级图像任务提供了支持。

技术领域

本发明属于图像处理技术领域，尤其是涉及一种基于多模态特征与极化注意力的图像去雾方法

背景技术

在有雾、霾的天气条件下，空气中的悬浮颗粒会对大气光线的投射造成影响，导致传感器在捕捉图像时出现对比度下降、细节丢失、色彩失真等图像退化问题，进而影响目标检测、语义分割等高级视觉任务的应用，所以图像去雾是目前计算机视觉领域中较为重要的研究方向。

目前的图像去雾方法主要分为两类，一种是基于先验知识的去雾算法，另一种是基于深度学习的去雾算法。基于先验知识的去雾算法通常需要对大量有雾、无雾的图像进行统计对比来获取相关的先验知识，然后去估计大气散射模型中的透射率与大气光，最后代入大气散射模型达到去雾的效果。He等提出一种暗通道先验去雾方法(参考：He K,JianS,Fellow,et al.Single Image Haze Removal Using Dark Channel Prior[J].IEEETransactions on Pattern AnalysisMachine Intelligence,2011,33(12):2341-2353)，该方法提出了暗原色原理，认为绝大多数有雾图像的像素点的三个通道中，R、G、B中至少有一个的值是接近于0的，而这些像素点则为图像的暗原色像素点，并以此来估计大气透射率t(x)来达到去雾效果。Zhu等人经过统计发现有雾图像中像素的亮度和饱和度随着雾浓度的变化而变化明显，而雾的浓度与场景深度成正相关的特性，所以以场景深度、图像亮度、图像饱和度建立线性模型，提出了一种基于颜色衰减先验的去雾方法(参考：Zhu Q S andMai J M and Shao L.A Fast Single Image Haze Removal Algorithm Using ColorAttenuation Prior.[J].IEEE transactions on image processing:a publication ofthe IEEE Signal Processing Society,2015,24(11):3522-33)。Tian等人观察发现有雾图像的对比度要小于无雾图像，且大气光与图像中物体到观察者的距离有关，在全局而言是趋于平滑的。Tian基于这两点建立马尔可夫随机场下的代价方程，通过最大化有雾图像的局部对比度来达到去雾的效果(参考：Tan R T.Visibility in bad weather from asingle image[C]//2008 IEEE Computer Society Conference on Computer Vision andPattern Recognition(CVPR 2008),24-26June 2008,Anchorage,Alaska,USA.IEEE,2008)。基于先验的算法可以在不引入额外参数的条件下达到去雾效果，但是算法非常依赖于统计的先验知识，而先验知识的不稳定性容易对去雾造成误差。