[发明专利]基于掩码检测的多帧图像融合的视频图像去噪方法

权利要求书

1.一种基于掩码检测的多帧图像融合的视频图像去噪方法，其特征在于，包括以下步骤：

步骤S1：采集彩色视频图像作为目标视频集，并进行退化处理，得到对应的退化视频集；

步骤S2：对两个视频集进行抽取yuv视频帧，得到yuv视频帧图像，并预处理，得到高清图像数据集和退化图像数据集，作为训练数据集；

步骤S3：将训练数据集裁剪为图像块；

步骤S4：构建图像噪声掩码生成网络，并获取图像噪声的掩码；

步骤S5：构建视频图像去噪网络，并基于高清图像、退化图像和图像噪声的掩码训练，得到去噪结果。

2.根据权利要求1所述的基于掩码检测的多帧图像融合的视频图像去噪方法，其特征在于，所述步骤S1具体为：

步骤S11：采集彩色视频图像作为目标视频集；

步骤S12：进行退化处理，增加ISO噪声、椒盐噪声、压缩噪声得到对应的包含噪声的退化视频集。

3.根据权利要求1所述的基于掩码检测的多帧图像融合的视频图像去噪方法，其特征在于，所述步骤S2具体为：

步骤S21：对两个视频集进行抽取yuv视频帧，得到yuv视频帧图像；

步骤S22：对得到的得到yuv视频帧图像进行随机旋转和翻转，得到增广帧数据，并以匹配数据对的方式进行存储，作为深度学习的训练数据集。

4.根据权利要求1所述的基于掩码检测的多帧图像融合的视频图像去噪方法，其特征在于，所述图像噪声掩码生成网络基于U-net[3]的结构，核心网络中特征提取阶段由16个卷积模块组成，每个卷积模块包括一个卷积层，和一个ReLU激活函数，其中一个大卷积块的计算公式是：

F_n＝R{W_n*F_n-1+B_n} (1)

其中R表示非线性激活函数Relu，W_n，B_n分别表示特征提取阶段中卷积层的权重和偏置，F_n-1表示上一次卷积输出的特征图，F_n表示当前卷积模块提取的特征；

经过16个卷积模块之后，噪声检测网络最终输出为一张视频噪声的掩码N_mask，宽高与输入视频相同，每个像素位于在(0，1)之间，反映噪声强度，值越大噪声强度越高。

5.根据权利要求4所述的基于掩码检测的多帧图像融合的视频图像去噪方法，其特征在于，所述图像噪声掩码生成网络获取图像噪声的掩码N_noise的网络loss为L₁：

L₁＝λ₁*||mean(N_mask)-θ||²+λ₂*||V_g-V_n||² (2)

其中，mean(N_noise)为取掩码N_noise的均值。

6.根据权利要求1所述的基于掩码检测的多帧图像融合的视频图像去噪方法，其特征在于，所述视频图像去噪网络由4个去噪模块组成，每个去噪模块，采用3个视频帧作为输入，并经过16个卷积模块的运算处理；获得每个模块对应的去噪结果；并最终由前三个模块的输出结果，汇总到一个卷积模块，输出最后的去噪结果。

7.根据权利要求6所述的基于掩码检测的多帧图像融合的视频图像去噪方法，其特征在于，所述视频图像去噪网络采用了同时能够保留原始图像信息和关注保留图像细节的loss，包括L₁ loss、前后帧联合防抖L_pn loss与perceptual loss，具体如下：

其中，j表示网络的第j层，C_jH_jW_j表示第j层特征图的大小；损失网络使用在ImageNet上训练好的网络，用φ_j表示网络第j层

最终的loss如下：

L_total＝α*L₁+β*L_pn+γ*L_feature (6)

其中，α、β、γ为预设值。