[发明专利]一种基于时空域残差生成对抗网络的视频湍流移除方法

说明书

本发明一种基于时空域残差生成对抗网络的视频湍流移除方法，步骤如下：步骤一：由湍流移除网络G实现高质量湍流移除图像的生成；步骤二：利用湍流存在性判别网络D对生成湍流移除图像进行分类判别；步骤三：构造序列感知损失函数L_series。本发明引入三维视频处理单元提升对于时域特征的提取能力和质量，利用残差模块和全局残差连接提升信息流的传递效率，加速网络的训练和收敛。通过序列感知损失函数对湍流图像的几何畸变、光闪烁和模糊等现象进行校正，利用基于序列输入的生成对抗损失保持图像细节特征和时域上的连续性，生成清晰的湍流移除图像。本发明可以与视频监控系统、远距离监视系统等应用密切结合，具广阔的市场前景与应用价值。

技术领域

本发明涉及一种基于时空域残差生成对抗网络(TSR-WGAN)的视频湍流去除方法，属于数字视频处理、模式识别和计算机视觉领域。它主要涉及卷积神经网络(CNN)和生成对抗策略(GAN)，具体涉及一种视频序列湍流移除模型。

背景技术

图像复原是利用单张或多张退化图像以及相应退化过程中的先验知识得到退化前理想图像的技术。图像的退化将严重影响相关顶层视觉处理任务的进行如目标探测、识别和解析等。因此图像复原是计算机视觉和模式识别领域当中一项具有重要意义的预处理技术。导致图像退化的主要原因包括两方面：成像设备的影响和成像外部环境的影响。退化的主要形式为噪声、模糊、几何畸变以及低分辨率等。针对图像具体退化原因和退化形式的差异，不同数学模型被应用于图像的复原中如高斯混合模型和各类贝叶斯框架等。湍流是引起图像退化的常见原因之一。由于不同物质吸收热辐射以及其比热容性质的不同，在一定的天气条件下，地面与其上层气体间将存在明显的温度差异，在热传递效应下，靠近地面的空气温度不断升高，性质稳定的空气流层不断变薄，下层热空气快速上升，导致局部空气在折射率上发生剧烈的变化，进而使光线传输路径发生变化，在成像上呈现出几何畸变同时伴随时变-空变的模糊效应。此类问题是高温环境下的常见问题，对远距离监视等相关军事领域应用有较大的影响。

目前，针对湍流影响下的退化图像，多数传统方法的基本框架是利用仅包含静态目标的退化图像序列恢复单帧高质量图像，主要包括图像融合和盲反卷积方法两类。M.A.Vorontsov提出了一种基于结合各向异性增益的非线性发展偏微分方程的图像合成算法(参见文献：沃龙佐夫,卡哈特.扰动介质条件下的非等晕成像:基于短曝光序列局部融合的图像恢复.美国光学协会,卷18,1312-1327,2001.(M.A.Vorontsov and G.W.Carhart,“Anisotropic imaging through turbulent media:image recovery by localinformation fusion from a set of short-exposure images,”J.Optical Soc.Am.A,vol.18,no.6,pp.1312-1324,2001))，该算法考虑各向异性增益且对短曝光视频帧序列中的lucky region同步进行提取和融合操作，得到不包含湍流的合成图像。M.Shimizu等人提出以消除了局部运动和全局运动的平均帧为基准，利用非严格配准算法对序列图像进行配准，之后使用多帧超分辨率重建对平均帧的细节细节进行恢复得到复原图像(清水,吉村,田中,奥富.湍流成像序列的超分辨率重建方法.美国电子电气工程师学会计算机视觉与模式识别国际会议.2008.(M.Shimizu,S.Yoshimura,M.Tanaka and M.Okutomi,“Super-Resolution from Image Sequence under Influence of Hot-Air OpticalTurbulence,”Proc.IEEE Conf.Computer Vision and Pattern Recognition,2008))。该算法通过平均帧消除湍流带来的几何畸变，利用多帧超分辨率重建消除平均帧中的模糊效应，得到了图像细节。N.Anantrasirichai等人在传统的配准-融合框架下，在进行感兴趣区域提取前进行高质量帧选取操作，并提出了基于对偶树复数域小波变换的区域级融合算法恢复退化图像(安南,阿希姆,金斯伯里,布尔.基于复数域曲波变换的湍流图像恢复方法.美国电子电气工程师学会图像处理汇刊.卷22,2398-2408,2013.(N.Anantrasirichai,A.Achim,N.G.Kingsbury,D.R.Bull,“Atmospheric Turbulence Mitigation UsingComplex Wavelet-Based Fusion,”IEEE Trans on Image Processing,vol.22,no.6,pp.2398-2408,2013))。M.Hirsch等人将湍流导致的图像退化作为一种空变的卷积运算，并提出了一种高效的反卷积运算框架对退化卷积核及原始图像的估计进行计算(赫希,斯拉,斯科尔科普夫,哈梅林.针对空域变化多框架反卷积的高效滤波算法.美国电子电气工程师学会计算机视觉与模式识别国际会议,2010.(M.Hirsch,S.Sra,B.Scholkopf andS.Harmeling,“Efficient Filter Flow for Space-Variant Multiframe BlindDeconvolution”,Proc IEEE Computer Vision and Pattern Recognition,pp.607-614,2010))。X.Zhu等人则基于配准后的序列图像利用时域核回归得到单帧近衍射受限的结果，建立空不变的退化模型并使用反卷积方法从图像中移除衍射受限模糊(朱,米拉法.基于空不变反卷积的湍流图像复原.美国电子电气工程师学会模式分析与机器智能汇刊.卷35,157-170，2013.(X.Zhu and P.Milanfar,“Removing Atmospheric Turbulence viaSpace-Invariant Deconvolution,”IEEE Trans.Pattern Analysis and MachineIntelligence,vol.35,no.1,pp.157-170,2013))。