[发明专利]深度伪造视频检测分割识别系统、终端及存储介质

权利要求书

1.一种深度伪造视频检测系统，其特征在于，包括：

数据预处理模块，用于从视频中提取人脸区域，其输入视频文件，输出多张经过增强的包含人脸区域的图像，增强策略为加入高斯噪声与实际场景中不同视频质量压缩变化的模拟；

特征提取模块，用于从人脸的全局或局部区域中提取特征，其输入为完整的人脸图像或者局部区域，输出深度神经网络提取出的特征图；

重要区域定位模块，用于在训练的过程中从样本中提取最具判别意义的区域，其输入为人脸图像经过特征提取模块提取出的特征图，输出为提取出的多个区域的顶点坐标和特征图，定位过程中选用不同大小的滑动窗口，根据实际场景中深度伪造视频中伪影的分布和尺度特性进行模拟；局部随机消除模块，用于在训练的过程中在重要区域定位模块的指导下，对训练样本的局部区域进行遮挡，其输入为原始的训练样本和重要区域定位模块输出的多个区域的顶点坐标，输出为经过局部消除的新训练样本；

多尺度特征融合模块，用于融合不同尺度的特征，包含多个“池化-卷积-上采样”形式的子结构，其输入为重要区域定位模块输出的特征图，输出为经过融合的新特征图；以及

分类器模块，用于给出样本的分类结果，由全局平均池化层、全连接层、激活函数组成，其输入为多尺度特征融合模块输出的特征图，输出为最终的分类结果。

2.根据权利要求1所述一种深度伪造视频检测系统，其特征在于，所述数据预处理模块的处理过程包括：从视频文件中等间隔地提取N帧，并使用经过训练的MTCNN提取每一帧中的人脸区域，最终保存的图像经过人脸对齐，其中N根据所需的数据量确定。

3.根据权利要求1所述一种深度伪造视频检测系统，其特征在于，所述特征提取模块使用修改后的ResNet-50作为特征提取网络，与原始ResNet-50网络结构相比，ResBlock_4层中卷积核的步长调整为1，该层最终输出的特征图的大小为14×14。

4.根据权利要求1所述一种深度伪造视频检测系统，其特征在于，所述重要区域定位模块的处理过程包括：图像经过ResNet-50提取出的特征图为F∈R^C×H×W，其中C,H,W分别代表特征图的通道数、高度和宽度，激活图A由对F的每个通道进行累加得到，其中f_i代表特征图F在第i个通道的分量，如下方公式表示：

对于激活图中一块指定区域r，该区域的激活程度可以用如下公式计算得到，该区域的左上角的坐标为(x₀,y₀)，右下角的坐标为(x₁,y₁)；

接着，使用Soft-NMS算法计算出最重要的K个区域，其中A代表激活图，t为Soft-NMS算法中使用的阈值，K为选取的区域数量，和分别代表第i个区域左上角和右下角的坐标，

5.根据权利要求1所述一种深度伪造视频检测系统，其特征在于，所述局部随机消除模块的处理过程包括：从特征图中选择多个尺寸的窗口，从得到的K个关键区域中随机选择一块，消除这块区域对应的像素值。

6.根据权利要求1所述一种深度伪造视频检测系统，其特征在于，所述多尺度特征融合模块的处理过程包括：利用多个不同池化层得到多个对应尺度的包含细小的伪影区域的特征图，然后使用1×1的卷积核对池化后的特征图进行降维，接着，将每个尺度的小特征图上采样至与原特征图相同尺寸，并与原特征图拼接成新特征图的不同通道。

7.一种终端设备，其特征在于，所述终端设备包括：

至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-6中任一项所述深度伪造视频检测系统。

8.一种计算机可读存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6中任一项所述深度伪造视频检测系统。