[发明专利]基于多尺度密集特征融合卷积网络的管道视频去雾方法

权利要求书

1.一种基于多尺度密集特征融合卷积网络的管道视频去雾方法，其特征在于，包括以下步骤：

步骤(1)、在实验管道模型里用双目相机采集管道清晰图像和深度图像，利用大气散射模型生成管道带雾图像。大气散射模型是带雾图像生成的经典描述，它认为带雾图像是由被雾削弱的物体反射的光线和被雾反射的大气光进入摄像机共同组成的，其表达式为：

H(x)＝C(x)t(x)+A(1-t(x))         (1)

公式(1)中，参数x表示图像中像素点的位置，H(x)表示利用管道清晰图像和深度图生成的管道带雾图像，C(x)表示管道清晰图像，A表示全局大气光，通常情况下假设为全局常量，t(x)表示透射率，描述物体反射光线经过衰减能够到达观测点的比例，在公式(1)中，t(x)公式如下：

t(x)＝e^-βd(x)    (2)

公式(2)中，β表示散射系数，d(x)表示物体和相机之间的距离。深度图像是指将图像采集器到场景中各点的距离作为像素值的图像，因此，通过公式(1)和公式(2)，可以由管道清晰图像和深度图生成管道带雾图像，从而构建管道带雾/清晰图像对作为管道数据集，并把管道数据集划分为训练集和测试集；

步骤(2)、基于U-net架构，引入SOS图像细节增强策略和密集特征融合模块，构建基于多尺度密集特征融合卷积网络的去雾方法；

基于多尺度密集特征融合的去雾网络包含三个组件，一个编码器模块，一个特征恢复模块，一个增强的解码器模块。整体网络结构基于U-net架构，在解码器中结合了SOS增强策略，在编码器和解码器中各引入了一个密集特征融合模块，一个在编码器的残差组之前，另一个在解码器的SOS增强模块之后；

解码器第n层级的DFF模块由公式(3)定义：

公式(3)中，jⁿ表示解码器第n层级的增强特征(即SOS增强模块的输出)，表示通过特征融合的融合特征(即第n层级DFF模块的输出)，L表示网络层级数，而表示解码器中前面所有(L-n)层级DFF模块输出的融合特征。关于每次用一个融合特征增强jⁿ特征的更新过程如下所示：

计算在第t次迭代，和的差异如公式(4)所示：

公式(4)中，表示投影算子，该算子将增强特征下采样到和相同的维度；

再用反投影差异更新如公式(5)所示：

公式(5)中，表示反投影算子，该算子将第t次迭代的差异上采样到和相同维度；

迭代完前面的所有融合特征得到现在最终的融合特征

该过程中的和采用卷积/反卷积层学习相应的下采样/上采样操作。为了避免引入太多参数，我们堆叠(L-n-t)个步长为2的卷积/反卷积层去实现的下采样/上采样操作。

相应的，编码器第n层级的DFF模块可由公式(6)定义：

公式(6)中，iⁿ是编码器第n层级的潜在特征，表示编码器中前面所有(n-1)层级DFF模块输出的融合特征，与解码器第(L-n)层级的具有相同的体系结构，只是需要互换其中下采样操作和上采样操作的位置。

在去雾的U-Net网络中，将解码器解释为无雾图像恢复模块，为了逐步完善特征恢复模块中的特征j⁵，在网络的解码器中加入了SOS增强策略。在第n层级的SOS增强模块中，首先对上一层级得到的特征图iⁿ⁺¹进行上采样，用同一层级对应的编码器得到的特征图iⁿ进行相加来增强它，然后送入到修复单元中，再减去上采样后的jⁿ⁺¹，结果为第n层级SOS增强模块输出的增强特征jⁿ，如公式(7)所示：

公式(7)中，U₂表示比例因子为2的上采样操作，iⁿ+U₂(jⁿ⁺¹)表示强化后的特征，表示第n层参数为θ_n的可训练修复单元，使用编码器中使用的残差组来实现每个修复单元。在解码器的最后一层中，使用一个步长卷积层从最后的特征图中得到最终的管道无雾图像。

步骤(3)、将步骤(1)中构建的训练数据集送入步骤(2)中构建的基于多尺度密集特征融合的增强去雾网络，以训练去雾网络模型，使用Adam优化算法更新神经网络权重。

基于多尺度密集特征融合的增强去雾网络包含五个卷积层和五个反卷积层，在每个卷积层和反卷积层之后使用负斜率为0.15的激活函数和实例归一化函数。残差组由3个残差块组成，在特征恢复模块中使用了18个残差块。在编码器模块的第一个卷积层中，将卷积核大小设置为11×11，在所有其他卷积和反卷积层中，将卷积核大小设置为3×3。用训练数据集训练去雾网络模型，用Adam优化算法更新神经网络权重；

步骤(4)、使用步骤(1)中构建的测试数据集测试训练好的去雾网络模型，实现管道视频的去雾，并对去雾效果进行客观评价。

采用的客观质量评价标准为：均方误差、峰值信噪比和结构相似度。其中，均方误差(Mean square error，MSE)表示输入图像和输出图像的均值方差，它是对图像处理的有效信息保留能力的度量，其计算公式为：

公式(8)中，N为训练集的样本数，H和W为训练集图像的高和宽，表示原始清晰图像，J_i表示生成的去雾图像。

峰值信噪比(Peak signal-to-noise ratio，PSNR)是描述最大像素值与噪声的比值，值越高，抗噪能力越强。其计算公式为：

公式(9)中，MAX为图像的最大像素值，通常取值为255，MSE为均方误差。

结构相似度指数测量(structural similarity，SSIM)用向量表示图像，用向量之间的余弦距离表示两幅图像之间的相似度。设给定的两幅图像X和Y的尺寸均是M×N，它们的均值分别为μ_x和μ_y，它们的方差分别为σ_x和σ_y，它们的协方差为σ_xy，定义亮度对比函数l(X，Y)、对比度对比函数c(X，Y)和结构比较函数s(X，Y)分别如下：

公式(10)、公式(11)和公式(12)中的c₁、c₂和c₃是常数，用来避免公式中的分母为0的情况。综合考虑亮度对比函数、对比度对比函数以及结构比较函数之间的权重影响，定义结构相似度函数如下：

SSIM(X，Y)＝[l(X，Y)]^α[c(X，Y)]^β[s(x，Y)]^γ    (13)

公式(13)中的α、β和γ均是大于0的数，用于调整三个参数的不同权重值。一般情况，为了简化，取α＝β＝γ＝1，且令c₂＝2c₃，于是可以得到简化的结构相似度函数如下：

通常情况下，可以按照c₁＝(k₁L)²，c₂＝(k₂L)²的方式对c₁和c₂进行取值，其中常取k₁＝0.01，k₂＝0.03，L是像素值的动态范围，例如8位灰度图像的像素值最大动态范围是255。