[发明专利]一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法

说明书

本发明涉及基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，属图像处理领域。本发明设计了一种将真实场景下的有雾图像中的雾迁移到清晰图像上以生成数据集，然后再利用一种以特征聚合为基础的去雾网络实现图像去雾的方法。在雾迁移的过程中，设计了一种多层次特征分块鉴别方法将真实场景中的雾迁移到清晰图像上以生成有雾图像训练数据集，该数据集中图像拥有与真实有雾场景下的雾图像相似的风格和在雾图像中的雾的分布特性。此外，通过细粒度细节信息和语义信息聚合的方式实现提取特征的补充以实现图像去雾。该方法在真实场景下的有雾图像上取得了良好的去雾效果，极大克服了合成数据集训练的去雾模型在真实有雾图像上泛化性能较差的问题。

技术领域

本发明涉及图像处理领域，特别是涉及一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法。

背景技术

图像去雾是一种用于改善图像质量的图像处理技术，优质的图像质量能够为高水平计算机视觉任务如图像识别和分类、语义分割、目标检测等任务起到良好的辅助作用。在图像去雾中，研究者考虑到雾的成像原理—图像质量退化的主要原因一方面是目标物体反射的光受到大气中悬浮粒子的吸收和散射作用，使物体反射的光衰减，一方面是太阳光等环境光受大气中散射介质的散射作用形成背景光，且这部分背景光强度大于目标物体反射的光。因此导致采集到的图像亮度降低、对比度下降且结果模糊不清。根据这一成像原理，早期的研究者们利用图像中存在的统计规律设计先验来实验图像去雾。然而，该方法因为受到图像先验准确性的限制，经常导致去雾过度(局部区域颜色失真)或者去雾不足(有大量的雾残留)的情况。

近年来，随着深度学习技术的发展和大规模数据的出现，研究者们开始用深度学习和机器学习技术解决各种各样的问题。图像处理技术也不例外，然而，在图像去雾中，我们不可能同时从同一时间，同一地点获取一对既有雾又无雾的图像。因此有研究者根据雾的成像原理设计了大气散射模型，并根据大气散射模型合成有雾图像数据集来训练深度神经网络去雾模型，以这种方式训练的模型虽然在合成测试集上取得了良好的去雾效果，但在真实场景中的雾图像上并不友好。

因此，本发明设计了一种能够适应真实场景下有雾图像域的有雾图像合成方法并设计了相应的特征提取模块来实现图像去雾。设计的有雾图像合成方法以真实场景中的雾图像作为辅助信息，联合多层次特征分块鉴别器通过对抗训练的方式来合成更加适应真实场景有雾图像域的有雾图像。此外，设计细节纹理信息和深层语义信息互补的细粒度特征补偿模块和残差密集注意力模块以实现特征的聚合，从而能够更好的实现图像去雾。

发明内容

本发明提供了一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，本方法在真实场景下的有雾图像上取得了良好的去雾效果，在一定程度上克服了合成公开数据集训练去雾模型后在真实有雾图像域上泛化性能较差的问题。

本发明所采用的技术方案是：一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法，包括如下步骤：

Step1预训练透射图估计网络：通过室内有雾图像和与之相对应的透射图预训练透射图估计网络；

Step2估计真实有雾图像的全局大气光:通过暗通道先验的原理,首先找到真实有雾图像的暗通道,再找到暗通道中最亮的像素作为大气光；

Step3利用大气散射模型生成有雾图像：利用透射图估计网络估计出真实场景有雾图像的透射图，然后结合Step2中的全局大气光和清晰图像生成有雾图像；

Step4对透射图估计网络进行微调：通过多层次特征分块鉴别器与透射图估计网络进行对抗训练，使Step3中生成的有雾图像风格和真实场景下的有雾图像尽可能相似；

Step5设计清晰图像特征提取器和去雾网络的结构：设计了残差密集注意力模块和细粒度特征信息补偿模块实现特征聚合；

Step6训练清晰图像特征提取器：将清晰图像作为清晰图像特征提取器的输入，最终重建出清晰图像，保证清晰图像提取到的中间特征尽可能准确；