[发明专利]深度伪造视频检测分割识别系统、终端及存储介质

说明书

本发明属于计算机视觉领域，具体公开了一种深度伪造视频检测系统、终端及存储介质，包括数据预处理模块、特征提取模块、重要区域定位模块、局部随机消除模块、多尺度特征融合模块及分类器模块，重要区域定位模块能够根据CNN提取出的特征图，动态地从原始训练样本中提取并选择最具判别意义的区域，局部区域消除模块利用定位出的若干重要区域，对随机消除的策略做出指导和改进。多尺度特征融合模块将卷积神经网络提取出的特征分化为不同尺度，并组成新特征图的不同通道。本发明提出一种动态复合特征增强的深度伪造视频检测算法，提高了模型在遇到不同压缩率的数据集或者陌生数据集时的泛化能力。

技术领域

本发明属于计算机视觉领域，具体涉及一种深度伪造视频检测分割识别系统、终端及存储介质。

背景技术

随着深度学习算法的发展和各种硬件计算能力的提高，以生成对抗网络为代表的一系列生成模型如雨后春笋般出现在人们面前。这项技术逐渐被应用到了生活中的很多领域，例如图像风格迁移、图像高分辨率重建、图片修复、3D打印。

然而，近些年来，这项技术出现了被滥用的趋势，深度伪造技术便是其中一项很有争议的应用。“深度伪造”一词翻译自英文单词“deepfake”，这个单词由“deep learning”和“fake”两个单词组合而成，意指由深度学习模型生成的虚假图像或者视频。一些提供换脸视频生成功能软件降低了使用这项技术的门槛，这意味着任何人都能够以极低的成本将一段视频中的人物换成其他指定对象。这些软件的出现引发了人们对这项技术的担心和科研界的关注。在此之后，深度伪造视频生成技术和深度伪造视频检测技术都在不断发展着，两项技术呈现出一种博弈的状态，前者旨在生成视频质量更佳且更加真实的视频，而后者旨在准确分辨出一段视频是由真实的物理设备录制而成的还是由算法生成的。

深度伪造视频检测的一大难点在于——一个在A数据集上训练得到的模型，在B数据集上的准确率明显下降。这主要是因为在由不同生成算法得到的视频中，伪影存在的区域和尺寸均有着较大差异。此外，即使使用与训练集相同的数据集进行测试，如果测试集中的视频经过一定程度的压缩，模型的性能同样会出现较大幅度的下降。这主要是因为视频在经过压缩时一部分信息发生了丢失，而这会直接导致伪造视频中的伪影区域的尺度发生变化，从而使得检测模型更难捕捉到这部分特征。此外，经过压缩的真实视频有可能会出现一些不清晰或者不连续的局部区域，这些在视频处理过程中产生的脏信息可能会使得检测模型误将真实视频鉴别为深度伪造视频。

发明内容

针对现有的深度伪造视频检测技术泛化性能较低的问题，本发明提出了一种深度伪造视频检测分割识别系统、终端及存储介质，通过学习多种尺度的特征，提升模型在跨压缩率或跨数据集测试时的准确率。

本发明采用的技术方案如下：

一种深度伪造视频检测系统，包括：

数据预处理模块，用于从视频中提取人脸区域，其输入为视频文件，输出为多张经过增强的包含人脸区域的图像，增强策略为加入高斯噪声与实际场景中不同视频质量压缩变化的模拟。

特征提取模块，用于从人脸的全局或局部区域中提取特征。输入为完整的人脸图像或者局部区域，输出为尺寸为14×14的特征图。

重要区域定位模块，用于在训练的过程中从样本中提取最具判别意义的区域，即定位出最重要的若干区域，包含非最大值抑制(NMS)筛选层。深度伪造视频中的伪影大多分布在人脸的五官周围，眼睛周围的伪影大小受到眼睛尺寸的限制，而鼻子、下巴作为人脸中比较立体的区域，容易产生较大尺寸的伪影。定位过程中选用不同大小的滑动窗口，根据实际场景中深度伪造视频中伪影的分布和尺度特性进行模拟。其输入为人脸图像经过特征提取模块提取出的14×14的特征图，输出为提取出的多个区域的顶点坐标和特征图，定位过程中选用不同大小的滑动窗口，对实际场景中深度伪造视频中伪影的分布和尺度特性进行模拟。