[发明专利]基于rPPG信号的深度人脸伪造视频检测方法

权利要求书

1.一种基于rPPG信号的深度人脸伪造视频检测方法，其特征在于，包括以下步骤：

步骤1：从视频中获取人脸序列；

步骤2：选择特定的人脸感兴趣区域并采用基于绿色单通道的方法来提取rPPG信号；

步骤3：通过使用基于CNN的分类器来根据获取的rPPG信号来进行伪造鉴别。

2.根据权利要求1所述的基于rPPG信号的深度人脸伪造视频检测方法，其特征在于：步骤1中，从视频中获取人脸序列的方法为：

将待检测视频输入进人脸提取模块，人脸提取模块使用FaceMesh的方法从视频的每一帧中提取人脸，生成128帧的人脸序列。

3.根据权利要求2所述的基于rPPG信号的深度人脸伪造视频检测方法，其特征在于：步骤2中，从人脸特定的感兴趣区域提取rPPG信号的方法如下：

步骤2.1：利用步骤1中提取出的人脸和人脸地标点，在rPPG信号较为丰富的区域选取n个人脸地标点，根然后分别以选取的n个地标点为中心来构建大小相等的正方形方格，n个方形方格区域来作为人脸感兴趣区域；

步骤2.2：基于三通道像素值绿色通道中的rPPG信号最强的先验知识，计算每个所选择的正方形区域内绿色通道的像素均值；

步骤2.3：对连续的128帧人脸图像都使用步骤2.1和步骤2.2进行处理，最终可以的到一个n*128的信号矩阵；

步骤2.4：对于提取出的像素信号矩阵，对其进行滤波处理以减少噪声信号，获取更加干净的rPPG信号；

步骤2.5：对于经过滤波处理后的rPPG信号矩阵，通过将信号矩阵中的值以图像的形式保存为rPPG信号图。

4.根据权利要求3述的基于rPPG信号的深度人脸伪造视频检测方法，其特征在于：步骤2.3中，信号阵的每一列的值为单帧人脸图像上选取的n个正方形区域的像素均值，每一行上的值为人脸上的一个正方形区域在连续128帧上的像素均值。

5.根据权利要求1所述的基于rPPG信号的深度人脸伪造视频检测方法，其特征在于：步骤2.4中，使用带通滤波器对rPPG信号进行进一步滤波，保留频率位于0.6HZ至10HZ的信号。

6.根据权利要求1所述的基于rPPG信号的深度人脸伪造视频检测方法，其特征在于：步骤3中，基于CNN的分类器来根据获取的rPPG信号来进行伪造鉴别，其具体方式如下：

通过使用一个基于CNN的分类器来对步骤2中生成的n*128的rPPG信号图进行分类，获取该信号图属于真实类别和伪造类别的分数，若分类器输出的伪造得分高于真实得分，则认为该视频中的人脸为伪造人脸。