[发明专利]一种基于神经网络的单人换脸短视频的识别方法和系统

说明书

本申请提供一种基于神经网络的单人换脸短视频的识别方法和系统。所述识别方法包括：从待识别单人短视频中抽取出单帧图像后，提取每个单帧图像中人脸区域对应的面部图像，利用神经网络模型确定面部图像经过面部修正的伪造概率，最后根据伪造概率大于预设伪造判定阈值的伪造图像的数量、每个面部图像的伪造概率以及多个预设阈值，确定待识别单人短视频的视频换脸概率。如此，仅对视频中部分单帧图像进行识别，提高了识别效率；同时，并不是一概而论地直接将所有面部图像的伪造概率的平均值作为视频换脸概率，而是根据伪造图像数量以及每个面部图像伪造概率的不同情况确定视频换脸概率，与待识别单人短视频的真实情景更为贴合，识别的准确性较高。

技术领域

本申请涉及视频监测技术领域，特别涉及一种基于神经网络的单人换脸短视频的识别方法和系统。

背景技术

随着计算机视觉和图像处理技术的不断发展，现在人们已经能够做到通过深度学习的方法在视频中生成极其逼真的面部图像，进而替换掉视频中原有的面部图像。随着一些换脸程序的开源，比如Deepfake，换脸技术的应用门槛越来越低，目前通过手机即可实现一键换脸。然而，换脸技术的滥用也造成了很多不良影响，严重威胁了社会的和谐稳定，因此需要对换脸视频进行有效地识别。

视频本身的场景复杂度以及人物数量均存在差异，因此针对不同类型的视频，需要采用不同的识别方法来对换脸视频进行识别。而单人短视频是视频类型中的重要一类，单人短视频是指时间较短（比如30秒至1分钟）且只具有单一人物的视频，对单人短视频进行识别，通常是将单人短视频划分为多个单帧图像后，利用神经网络模型对每个单帧图像进行识别，确定单帧图像中人脸区域为伪造的概率，根据所有单帧图像伪造概率的平均值，确定单人短视频的伪造概率，进而确定单人短视频中人物的脸部图像是否为伪造。采用此种方法识别单人换脸短视频，需要对所有单帧图像进行识别，因此耗时相对较长、效率较低，此外，直接利用所有单帧图像伪造概率的平均值来对单人短视频进行判定，准确性也较低。

发明内容

本申请提供了一种基于神经网络的单人换脸短视频的识别方法和系统，可用于解决现有识别方法对单人换脸短视频的识别效率较低、准确性也较低的技术问题。

第一方面，本申请实施例提供一种基于神经网络的单人换脸短视频的识别方法，所述一种基于神经网络的单人换脸短视频的识别方法包括：

获取待识别单人短视频；

从所述待识别单人短视频中抽取多个单帧图像；

从各个单帧图像中提取人脸区域对应的面部图像；

将所述面部图像输入预设的伪造脸部检测模型进行特征提取和伪造预测，得到所述面部图像的伪造概率；所述伪造预测为识别所述面部图像是否经过面部修正；

确定所有面部图像中的伪造图像，所述伪造图像是指伪造概率大于预设伪造判定阈值的面部图像；

如果所有伪造图像的数量大于预设的目标阈值，则将所有伪造图像的伪造概率的平均值作为所述待识别单人短视频的视频换脸概率；所述视频换脸概率用于反映所述待识别单人短视频中的人脸区域为伪造的可能性；

如果所有伪造图像的数量小于或等于所述目标阈值，则根据每个面部图像的伪造概率、预设的目标范围以及所有面部图像的数量，确定伪造概率位于所述目标范围之内的目标面部图像的数量比例；

如果所述数量比例大于或等于预设的目标比例，则将所有目标面部图像的伪造概率的平均值作为所述视频换脸概率；否则，将所有面部图像的伪造概率的平均值作为所述视频换脸概率。

结合第一方面，在第一方面的一种可实现方式中，所述从各个单帧图像中提取人脸区域对应的面部图像，包括：

对各个单帧图像进行尺寸调整，得到多个输入图像；

提取每个输入图像中人脸区域对应的人脸位置坐标；