[发明专利]一种基于图像高频信息融合的多尺度特征去雾网络及方法

说明书

本发明提供一种基于图像高频信息融合的多尺度特征去雾网络及方法，它包含有主干网络、频率分支网络和提升模块，主干网络使用多个不同比例尺度的图像输入并特征融合，学习不同尺度的特征表达能力；频率分支网络由六个残差密集块组成，同时每一个残差密集块的输出都与主干网络最精细尺度一层的特征图特征融合，帮助频率分支网络重建高频信息；所述提升模块级联主干网络和频率分支网络的输出，得到清晰的图像。本发明应用于单幅图像去雾，通过融合雾图衍生的高频信息，并自适应学习频率信息特征的权重，达到去雾的效果。网络整体框架清晰，能够在恢复高频信息区域时，性能显著，不论在定性还是定量上的对比也展现了显著的优越性，取得了很好的效果。

技术领域

本发明属于计算机视觉研究技术领域，更具体地说，特别涉及一种基于图像高频信息融合的多尺度特征去雾网络及方法。

背景技术

雾霾是一种常见的大气现象。由于大气中存在烟雾、尘土等悬浮粒子，在这种环境中拍摄的图像往往会出现色彩失真、模糊、对比度低等可见质量下降。因此，对于许多需要清晰图像的的计算机视觉高级任务(例如分类、目标检测等任务)来说，使用低质量的图像输入会导致无法得到预期的效果。所以近二十多年来，图像去雾成为一个重要的计算机视觉研究领域。

鉴于图像分类、目标检测等高级视觉等任务的需要，图像去雾便是将这些可见度低的图像恢复成清晰图像。

在过去的几十年里，越来越多的研究者投入图像去雾领域，提出了许多先进的去雾算法。

早期的图像去雾方法大多都是基于大气散射模型，解决方案是通过估计介质透射率和全球大气光照值，然后通过公式计算最终结果。虽然这些方法取得了一定的效果，但仍有一些局限性。众所周知，雾霾的形成跟海拔、温度、湿度等因素有关，在实际场景中，雾霾的分布是不均匀的，所以很难通过一个公式表达雾图的产生过程。

随着大数据的发展，以及科技进步带来的高性能计算机普遍化，研究者们提出了许多基于深度学习的方法来处理图像去雾任务，对比基于先验的方法都展现出极大的优越性，然而，这些方法需要依赖大气退化模型，依然存在许多局限性，使用效果不好。

发明内容

为了解决上述技术问题，本发明提供一种基于图像高频信息融合的多尺度特征去雾网络及方法，本发明的模型建立于一个端到端可训练的多尺度融合方法，通过空间域锐化函数得到雾图的高频信息，模型融合高频信息实现去雾。本发明的模型主要由以下四个关键组成部分组成：1)本发明提出了一个多尺度去雾网络，在此基础上设计了一个频率网络分支，频率网络分支接收由原图衍生的高频信息作为输入。2)本发明增加了L1 norm损失函数对频率分支的输出进行约束，更好地恢复图像高频信息。3)本发明设计了一个频率注意力机制模块，自动学习高频信息的权重，以增强图像恢复能力。4)设计了一个提升模块，用于融合频率分支网络和主干网络的输出，提升图像去雾能力。经过本发明大量的实验结果表明，本发明的模型可以生成更自然真实的去雾图像，尤其在图像边缘区域。不论在定性还是定量上，本发明的方法许对比大多SOTA去雾算法都有更好的表现，有效的解决了上述存在的技术问题。

本发明一种基于图像高频信息融合的多尺度特征去雾网络及方法的目的与功效，由以下具体技术手段所达成：

一种基于图像高频信息融合的多尺度特征去雾网络，它包含有主干网络、频率分支网络和提升模块，所述主干网络使用多个不同比例尺度的图像输入并特征融合，学习不同尺度的特征表达能力；所述频率分支网络由六个残差密集块组成，同时每一个残差密集块的输出都与主干网络最精细尺度一层的特征图特征融合，帮助频率分支网络重建高频信息；所述提升模块级联主干网络和频率分支网络的输出，得到清晰的图像。

所述主干网络由三个层次组成，图像质量依次由精细到粗略，每一层都由六个残差密集块组成。