[发明专利]一种基于多特征融合的深度伪造识别方法和装置

说明书

本发明公开了一种基于多特征融合的深度伪造识别方法和装置。主要步骤包括：(1)对视频进行分段提帧并进行人脸对齐预处理；(2)采用RGB输入流和可学习SRM输入流共同对视频帧进行处理；(3)RGB输入流对视频帧进行特征提取并进行帧间融合；(4)可学习SRM输入流去除经典SRM算法的不可导部分，将超参数q替换成30个5*5的可学习矩阵并初始化；(5)将经典SRM算法中的30个预设参数的SRM滤波器转换为可学习的SRM卷积核并插入到(3)中的识别网络，构成可学习SRM网络；最后对RGB流和可学习SRM流的输出进行融合，得到最终识别结果。本发明可以有效提高在低清晰度视频上的深度伪造识别效果。

技术领域

本发明属于计算机视觉深度伪造识别领域，特别涉及一种基于多特征融合的深度伪造识别方法和装置。

背景技术

深度伪造一词来源于一款名为Deepfakes的换脸软件，后被引申为指代所有利用计算机图形学或者深度学习技术实现的AI换脸技术。深度伪造技术的滥用在近些年为社会带来了许多负面影响，对深度伪造的有效视频。深度伪造识别的一般流程是，首先对给定深度伪造视频进行人脸检测，然后对提取出的人脸进行特征提取，最后根据提取的特征判断给定视频是否为深度伪造。

目前常见的深度伪造识别算法有FWA(Y.Li and S.Lyu,“Exposing deepfakevideos by detecting face warping artifacts,”in IEEE Conference on ComputerVision and Pattern Recognition Workshops,CVPR Workshops.Computer VisionFoundation/IEEE,2019,pp.46–52.)、Xception(F.Chollet,“Xception:Deep learningwith depthwise separable convolutions,”in Proceedings of the IEEE conferenceon computer vision and pattern recognition,2017,pp.1251–1258.)等算法。其FWA主要是对深度伪造视频生成的最后一步即将真实人脸替换为伪造人脸时产生的拼接痕迹进行检测；而Xception则是对整个深度伪造生成过程中产生的伪造痕迹进行检测。

深度伪造识别的一个难点是，当伪造视频的清晰度较低时，伪造痕迹如人脸边缘的拼接痕迹、视频帧间的不一致性和伪造人脸的生成痕迹等将更加难以发现，这大大增加了深度伪造识别的难度。目前的深度伪造方法在低清晰度视频上并不能取得很好的效果。

发明内容

本发明主要解决的技术问题是提供一种深度伪造识别方法和装置，能够解决现有识别方法在低清晰度深度伪造视频上效果不好的问题。

为解决上述技术问题，本发明提出一种基于多特征融合的深度伪造识别方法，包括以下步骤：

将输入视频平均分成若干视频段，对于每个视频段随机采样若干视频帧，对选取的各视频帧进行人脸检测和人脸对齐，作为输入视频帧；

采用RGB输入流和可学习SRM输入流分别对输入视频帧进行处理，其中RGB输入流提取视频帧中可疑伪造部位的语义特征并根据语义特征得到深度伪造识别的预测结果，可学习SRM输入流拟合视频帧中可疑伪造部位的噪音特征并根据噪音特征得到深度伪造识别的预测结果；

将RGB输入流的预测结果与可学习SRM输入流的预测结果进行融合，得到最终的深度伪造识别结果。

进一步地，所述对于每个视频段随机采样若干视频帧，在提取视频帧时尽量使用png格式，以减少图片压缩对篡改痕迹的影响。

进一步地，所述RGB输入流提取视频帧中可疑伪造部位的语义特征并根据语义特征得到深度伪造识别的预测结果，包括：