[发明专利]基于掩码检测的多帧图像融合的视频图像去噪方法

说明书

本发明涉及一种基于掩码检测的多帧图像融合的视频图像去噪方法，包括以下步骤：步骤S1:采集彩色视频图像作为目标视频集，并进行退化处理，得到对应的退化视频集；步骤S2:对两个视频集进行抽取yuv视频帧，得到yuv视频帧图像，并预处理，得到高清图像数据集和退化图像数据集，作为训练数据集；步骤S3:将训练数据集裁剪为图像块；步骤S4:构建图像噪声掩码生成网络，并获取图像噪声的掩码；步骤S5:构建视频图像去噪网络，并基于高清图像、退化图像和图像噪声的掩码训练，得到去噪结果。本发明构建基于前后帧融合的图像去噪算法，并且构建了专门的图像防抖动模块，减少输出图像中存在的抖动。

技术领域

本发明涉及图像去噪和图像修复领域，具体涉及一种基于掩码检测的多帧图像融合的视频图像去噪方法。

背景技术

当前随着科技的进步，在电影电视、视频监控、医学影像为代表的多媒体应用场景中，视频图像的应用越来越广泛。不过视频图像的获取过程中，从摄像头拍摄，ISO曝光，视频压缩，视频传输。每个过程都可能为视频图像引入噪声。其中，主要包含高斯噪声、ISO噪声、视频压缩噪声。怎么通过当前的算法，把视频图像中存在的噪声去除干净，同时保留原有的视频细节，成为当前视频图像研究的热点。

发明内容

有鉴于此，本发明的目的在于提供一种基于掩码检测的多帧图像融合的视频图像去噪方法，能够有效减少输出图像中存在的噪声。

为实现上述目的，本发明采用如下技术方案：

一种基于掩码检测的多帧图像融合的视频图像去噪方法，包括以下步骤：

步骤S1:采集彩色视频图像作为目标视频集，并进行退化处理，得到对应的退化视频集；

步骤S2:对两个视频集进行抽取yuv视频帧，得到yuv视频帧图像，并预处理，得到高清图像数据集和退化图像数据集，作为训练数据集；

步骤S3:将训练数据集裁剪为图像块；

步骤S4:构建图像噪声掩码生成网络，并获取图像噪声的掩码；

步骤S5:构建视频图像去噪网络，并基于高清图像、退化图像和图像噪声的掩码训练，得到去噪结果。

进一步的，所述步骤S1具体为：

步骤S11:采集彩色视频图像作为目标视频集；

步骤S12:进行退化处理，增加ISO噪声、椒盐噪声、压缩噪声得到对应的包含噪声的退化视频集。

进一步的，所述步骤S2具体为：

步骤S21:对两个视频集进行抽取yuv视频帧，得到yuv视频帧图像；

步骤S22:对得到的得到yuv视频帧图像进行随机旋转和翻转，得到增广帧数据，并以匹配数据对的方式进行存储，作为深度学习的训练数据集。

进一步的，所述图像噪声掩码生成网络基于U-net[3]的结构，核心网络中特征提取阶段由16个卷积模块组成，每个卷积模块包括一个卷积层，和一个ReLU激活函数，其中一个大卷积块的计算公式是：

F_n＝R{W_n*F_n-1+B_n} (1)

其中R表示非线性激活函数Relu，W_n，B_n分别表示特征提取阶段中卷积层的权重和偏置，F_n-1表示上一次卷积输出的特征图，F_n表示当前卷积模块提取的特征；

经过16个卷积模块之后，噪声检测网络最终输出为一张视频噪声的掩码N_mask，宽高与输入视频相同，每个像素位于在(0,1)之间，反映噪声强度，值越大噪声强度越高。