[发明专利]一种基于图像高频信息融合的多尺度特征去雾网络及方法

权利要求书

1.一种基于图像高频信息融合的多尺度特征去雾网络，其特征在于：它包含有主干网络、频率分支网络和提升模块，所述主干网络使用多个不同比例尺度的图像输入并特征融合，学习不同尺度的特征表达能力；所述频率分支网络由六个残差密集块组成，同时每一个残差密集块的输出都与主干网络最精细尺度一层的特征图特征融合，帮助频率分支网络重建高频信息；所述提升模块级联主干网络和频率分支网络的输出，得到清晰的图像。

2.根据权利要求1所述的基于图像高频信息融合的多尺度特征去雾网络，其特征在于：所述主干网络由三个层次组成，图像质量依次由精细到粗略，每一层都由六个残差密集块组成。

3.根据权利要求1所述的基于图像高频信息融合的多尺度特征去雾网络，其特征在于：所述频率分支网络还包含有频率注意力模块，所述频率注意力模块通过引入了原始雾图的高频信息来提供有用的信息，帮助频率分支网络拟合清晰图像的高频信息生成注意力图，学习频率信息的有用程度与原有特征融合，抑制频率分支不重要的特征，只允许有用的特征向下传播。

4.根据权利要求1所述的基于图像高频信息融合的多尺度特征去雾网络，其特征在于：所述提升模块由带跳连接的编解码网络结构组成。

5.根据权利要求1-4任一项所述的基于图像高频信息融合的多尺度特征去雾网络的去雾方法，其特征在于：所述方法步骤为：一、将输入雾图下采样得到不同尺度的输入，送到主干网络中提取不同比例尺度的特征；二、以图像的频率信息作为考量，对于给定的雾图，再经过拉普拉斯算子锐化后得到高频信息；三、将高频信息作为频率分支网络的输入，采用六个残差密集块逐次提取频率特征；四、采用频率注意力模块，抑制频率特征中不重要的特征信息，只允许有用的特征向下传播，增强对边缘信息的恢复能力；五、将主干网络提取的特征和频率分支重建后的高频信息送入到提升模块中进行提升，得到清晰的图像。

6.根据权利要求5所述的基于图像高频信息融合的多尺度特征去雾网络的去雾方法，其特征在于：所述步骤三中，频率分支网网络不仅接收高频信息作为输入，还对主干网络中最精细尺度的一层产生的特征图进行融合，用Xⁿ表示主干网络最精细一层n-th输出，Fⁿ表示频率分支网络中n-th输出，得如下公式：

表示带通道权重的特征矩阵逐元素加和，频率分支中的n-th频率残差密集块都接收频率分支(n-1)-th模块的输出以及来自主干网络最精细一层n-th的输出，可以帮助频率分支拟合清晰图像的高频信息。

7.根据权利要求5所述的基于图像高频信息融合的多尺度特征去雾网络的去雾方法，其特征在于：所述步骤四中，频率注意力模块的输入特征图是频率分支网络中最后一个残差密集块的输出特征图F_in和雾图的高频信息I_HF，F_n表示n个卷积层的输出特征图，F_in经过第一个卷积层得到F₁，F₁与I_HF逐元素加和再由第3个卷积层得到F₃，F₃与F₂再次逐元素加和，最后采用sigmod激活函数处理F₄后得到频率注意力权重图F_map，即：

σ表示sigmoid函数，Conv表示卷积核为1x1且stride为1的卷积操作，表示矩阵逐元素的加法计算；

最后，将F₅与权重图F_map逐元素进行点乘得到中间频率特征图F_mid，通过点乘计算，频率注意力模块能够逐元素地对特征图加权，加权后结果与F_in融合得到F_out，F_out能够优越地表征频率特征，计算过程为如下公式：

8.根据权利要求5所述的基于图像高频信息融合的多尺度特征去雾网络的去雾方法，其特征在于：所述步骤五中，提升模块由带跳连接的编解码网络结构组成，F_out为频率分支网络的输出，I_out为主干网络的输出，J_out为提升模块的输出，同时也是去雾网络的输出，即目标去雾图像，具体如下列公式：

F_unet＝UNet(Conv_k3n40s1(F_cat))

其中，表示Concatetation操作。Conv_k3n3s1表示kernel size为3，输出通道为3，stride为1的卷积层：Conv_k3n40s1表示kernel size为3，输出通道为3，stride为1的卷积层，UNet(·)表示U-Net网络。