[发明专利]基于rPPG信号的深度人脸伪造视频检测方法

说明书

本发明公开一种基于rPPG信号的深度人脸伪造视频检测方法，属于人工智能安全领域。包括从视频获取人脸序列；选择特定的人脸感兴趣区域并采用基于绿色单通道的方法来提取rPPG信号；通过使用基于CNN的分类器来根据获取的rPPG信号来进行伪造鉴别。本发明利用当前大多数伪造方法难以模拟人体的心率信号这一特点，通过提取视频人脸特定部位的rPPG信号来进行伪造人脸检测，能够对多种伪造方法生成的人脸伪造视频进行有效检测，同时通过采用具有一定抗视频压缩能力的rPPG信号提取方法提高本发明对高压缩伪造视频的检测的性能。

技术领域

本发明属于人工智能安全技术领域，具体涉及一种基于rPPG信号的深度人脸伪造视频检测方法。

背景技术

近些年来伴随着人工智能技术的不断发展，人脸伪造技术也取得了巨大的进步。目前这项技术已经被广泛用于各类文化娱乐产业，大大丰富了的日常生活。但是令人担忧的是，这项技术在社会带来一些好处同时也给整个社会带来了极大风险。因此如何有效地去检测这类技术所产生的人脸伪造视频就成为了亟须去解决的问题。

目前的深度人脸伪造检测技术主要分为三类：基于伪影的检测方法、基于数据驱动的检测方法和基于信息不一致的检测方法。其中基于伪影的检测方法是里现有的伪造方法在生成人脸伪造视频时会产生一些肉眼不可见的伪影，可以利用深度学习的方法对这些伪影进行提取并鉴别，但这类往往泛化性差，往往只能够对特定人脸伪造方法生成的人脸伪造视频进行检测，同时随着人脸伪造技术的迭代升级，伪造的视频中伪影也越来越难以被发现，因此这类方法很有可能在未来失去作用。基于数据驱动方法通过使用现有的图像分类网络来进行伪造检测，该类方法通过神经网络自动去寻找真实与伪造之间存在区别特征，能够取得不错的检测性能，但是该类方法所使用的网络结构比较复杂，因此需要耗费大量的时间空间资源。基于信息不一致的检测方法主要分为基于生物信号不一致性、基于时间序列的不一致性和与真人行为的不一致性。

发明内容

本发明解决的技术问题：提供一种能够对多种深度人脸伪造方法生成的伪造人脸视频进行检测，同时该方法应具备一定的抗压缩能力的基于rPPG信号的深度人脸伪造视频检测方法。

技术方案：为了解决上述技术问题，本发明采用的技术方案如下：

一种基于rPPG信号的深度人脸伪造视频检测方法，包括以下步骤：

步骤1：从视频中获取人脸序列；

步骤2：选择特定的人脸感兴趣区域并采用基于绿色单通道的方法来提取 rPPG信号；

步骤3：通过使用基于CNN的分类器来根据获取的rPPG信号来进行伪造鉴别。

进一步地，步骤1中，从视频中获取人脸序列的方法为：

将待检测视频输入进人脸提取模块，人脸提取模块使用FaceMesh的方法从视频的每一帧中提取人脸，生成128帧的人脸序列。

进一步地，步骤2中，从人脸特定的感兴趣区域提取rPPG信号的方法如下：

步骤2.1：利用步骤1中提取出的人脸和人脸地标点，在rPPG信号较为丰富的区域选取n个人脸地标点，根然后分别以选取的n个地标点为中心来构建大小相等的正方形方格，n个方形方格区域来作为人脸感兴趣区域；

步骤2.2：基于三通道像素值绿色通道中的rPPG信号最强的先验知识，计算每个所选择的正方形区域内绿色通道的像素均值；

步骤2.3：对连续的128帧人脸图像都使用步骤2.1和步骤2.2进行处理，最终可以的到一个n*128的信号矩阵；

步骤2.4：对于提取出的像素信号矩阵，对其进行滤波处理以减少噪声信号，获取更加干净的rPPG信号；

步骤2.5：对于经过滤波处理后的rPPG信号矩阵，通过将信号矩阵中的值以图像的形式保存为rPPG信号图。