[发明专利]一种基于多特征融合的深度伪造识别方法和装置

权利要求书

1.一种基于多特征融合的深度伪造识别方法，其特征在于，包括以下步骤：

将输入视频平均分成若干视频段，对于每个视频段随机采样若干视频帧，对选取的各视频帧进行人脸检测和人脸对齐，作为输入视频帧；

采用RGB输入流和可学习SRM输入流分别对输入视频帧进行处理，其中RGB输入流提取视频帧中可疑伪造部位的语义特征并根据语义特征得到深度伪造识别的预测结果，可学习SRM输入流拟合视频帧中可疑伪造部位的噪音特征并根据噪音特征得到深度伪造识别的预测结果；

将RGB输入流的预测结果与可学习SRM输入流的预测结果进行融合，得到最终的深度伪造识别结果。

2.如权利要求1所述的基于多特征融合的深度伪造识别方法，其特征是，所述对于每个视频段随机采样若干视频帧，在提取视频帧时尽量使用png格式，以减少图片压缩对篡改痕迹的影响。

3.如权利要求1所述的基于多特征融合的深度伪造识别方法，其特征是，所述RGB输入流提取视频帧中可疑伪造部位的语义特征并根据语义特征得到深度伪造识别的预测结果，包括：

对于RGB输入流，将人脸对齐后的各视频帧分别用Xception网络进行特征提取，Xception网络提取出各视频帧中可疑伪造部位的语义特征，最后对提取出的所有特征求平均并通过Softmax函数进行激活，得到RGB输入流的输出，整个过程中的Xception网络共享参数。

4.如权利要求1所述的基于多特征融合的深度伪造识别方法，其特征是，所述可学习SRM输入流拟合视频帧中可疑伪造部位的噪音特征并根据噪音特征得到深度伪造识别的预测结果，包括：

对于可学习SRM输入流，首先去除经典SRM算法中的不可导部分，即round函数和truncate函数，然后将超参数q替换为30个5*5的可学习矩阵以对应经典SRM算法中的30个SRM滤波器，并分别初始化为所有元素都相等且等于其对应SRM滤波器中元素的最大绝对值；

将30个SRM滤波器分别与其对应的可学习矩阵相除，得到维度为30*5*5的可学习矩阵，然后将该矩阵扩展为30*3*5*5的SRM卷积核，作为神经网络的第一层插入原有的Xception网络架构，并对原有的Xception网络的第一层进行微调，构成可学习SRM网络；对于可学习SRM输入流，将人脸对齐后的各视频帧分别用可学习SRM网络进行特征提取，可学习SRM网络对K*T帧中可疑篡改部位的噪音特征进行拟合和分析，最后对提取出的所有特征求平均并通过Softmax函数进行激活，得到可学习SRM输入流的输出；整个过程中可学习SRM网络共享参数。

5.如权利要求3或4所述的基于多特征融合的深度伪造识别方法，其特征是，所述RGB输入流和可学习SRM输入流中，流内的网络共享参数，而流间网络则独立训练。

6.如权利要求4所述的基于多特征融合的深度伪造识别方法，其特征是，通过设置可学习矩阵，保证网络训练过程不会对SRM滤波器的本质特征造成破坏；采用可学习矩阵保留预设的30个SRM滤波器中的0值元素，从而保留其计算噪音信息的特征；通过初始化可学习矩阵的方式，保证将SRM卷积核的所有参数初始化为属于[-1,1]的值。

7.如权利要求4所述的基于多特征融合的深度伪造识别方法，其特征是，将30*5*5的可学习矩阵扩展为30*3*5*5的卷积核的方式是在第二维度上将5*5的矩阵复制为完全相等的3份。