[发明专利]基于深度估计辅助的图像去雾方法

说明书

本发明公开了一种基于深度估计辅助的图像去雾方法，主要解决现有技术对雾气分布估计差和恢复图像纹理细节丢失的问题。其方案是：在Pytorch框架下分别构建深度估计网络和去雾网络；获取一组无雾图像集J，对J进行深度估计和人工加雾得到深度图像集D和有雾图像集I；利用深度图像集和有雾图像集分别训练深度估计网络和去雾网络，得到训练好的深度估计网络和去雾网络；将需要去雾的图像I_c输入至训练好的深度估计网络，输出估计的深度值D_c；将需要去雾的图像I_c和深度值D_c输入至训练好的去雾网络，输出清晰图像。本发明能很好的恢复图像的细节和色调，且峰值信噪比和结构相似性均高于或接近现有技术，可用于有雾图像的清晰化处理。

技术领域

本发明属于数字图像处理技术领域,特别涉及一种图像去雾方法,可用于对雾天环境下成像系统拍摄的单幅有雾图像的清晰化处理。

背景技术

介质的散射和吸收是一种常见的引起图像降质的原因，在雾霾影响下，图像采集设备受到空气中的大量悬浮颗粒对光线的散射和吸收的作用，摄得的图像往往可见度低、对比度低，部分物体无法分辨。由此令各类基于图像的信息处理系统的有效性受到严重影响。因此，研究雾霾条件下的图像去雾具有重要的意义和应用前景。

早期的去雾算法大多基于先验知识和大气散射模型，其关键问题是如何估计大气光和透射率。此类方法以雾图的形成原理作为根据，通过各种先验假设来提取雾图的特征，然后利用该特征对大气散射模型中的参数进行估计，进而代入模型公式实现图像去雾。如He等人提出的著名暗通道先验去雾方法(Dark ChannelPrior，DCP)，见HE K,SUN J,TANGX.Single image haze removal using dark channel prior[J].//IEEE transactionsonpattern analysis and machine intelligence,2011,33(12):2341–2353.该方法对于多数雾图能够取得良好的效果，但对于图像中包含大片天空区域时，该方法会产生图像失真和色彩扭曲。

随着深度学习技术的兴起，基于深度学习的去雾方法逐渐成为当前图像去雾领域的研究热点。Cai等人提出的率先将卷积神经网络应用于图像去雾领域——DehazeNet网络，见CAI B,XU X,JIAK,et al.Dehazenet:An end-to-end system for single imagehaze removal[J]//IEEE Transactions on Image Processing,2016,25(11):5187–5198.其利用卷积神经网络逐层提取雾图的普遍特征，解决了人工设计特征提取算法的难点，该方法虽然取得了不错的效果，但其训练时选用了基于Patch的数据，针对某些场景的雾图会出现颜色失真现象。随后，Ren等人提出了基于卷积神经网络的多尺度估计算法来估计大气散射模型中的透射率——MSCNN网络，见REN W,LIU S,ZHANG H,et al.Single imagedehazing via multi-scale convolutional neural networks[C]//Europeanconference on computer vision.2016:154–169.其设计了两个阶段分别对应透射率的粗粒度估计和细粒度估计，最终得到了更清晰的透射率图像，但是其网络使用了室内的合成数据进行训练，室内环境和真实的雾图环境有一定的差距，所以该算法在真实图像上的去雾效果不够理想。

为了解决大气光估计不准造成的颜色差异和光线在传输过程中出现的衰减现象，最近出现的去雾方法大都统一采用卷积神经网络直接估计去雾后的图像，实现从雾图到去雾图的端到端的处理。典型的方法包括：