[发明专利]基于法医嵌入和上下文嵌入的伪造视频检测方法及系统

权利要求书

1.基于法医嵌入和上下文嵌入的伪造视频检测方法，其特征在于，包括步骤：

S1、对RGB图片X进行不同层级的局部增强，得到局部增强联合特征

S2、对所述局部增强联合特征分别进行法医特征嵌入和上下文特征嵌入，得到对应的法医特征和上下文特征，对所述法医特征和上下文特征进行联合得到联合特征嵌入序列；

该步骤S2具体包括步骤：

S21、将所述局部增强联合特征分成大小相同的N个非重叠的分析块；

S22、利用法医特征提取网络为每个所述分析块生成对应的法医特征嵌入，利用上下文特征提取网络为每个所述分析块生成对应的上下文特征嵌入；

所述法医特征提取网络被预先训练以区分用于捕获单独训练集中的每个所述分析块的相机模型，所述法医特征提取网络的损失函数为：

其中n是不同相机模型类的数量，如果分析块d_k被第l个相机模型捕获则t_l＝1，否则为0；

S23、将每个所述分析块对应的法医特征嵌入和上下文特征嵌入进行级联得到N个联合特征嵌入阵列，进一步构成联合特征嵌入序列；

S3、采用基于Transformer的注意力模块对所述联合特征嵌入序列进行处理，得到注意力信息特征；

S4、利用伪造检测网络对所述注意力信息特征进行检测，得到伪造检测结果；利用伪造生成网络对所述注意力信息特征进行伪造定位，输出伪造定位掩码。

2.根据权利要求1所述的基于法医嵌入和上下文嵌入的伪造视频检测方法，其特征在于，所述步骤S1具体包括步骤：

S11、对RGB图片X进行低、中、高三个层级的频率分解得到频率图；对所述RGB图片X进行伪造敏感区域检测得到伪造敏感区域图；

S12、提取所述RGB图片X的时空特征X_t以及所述频率图的频率特征X_f；

S13、对X_t和X_f的低层特征进行局部特征增强，得到局部增强特征X_t^e和X_f^e；

S14、对X_t和X_f使用交叉注意，使得X_t和X_f在低、中和高层上交叉引用，得到交叉注意增强特征和

S15、以挤压激励的互补方式对X_t和X_f进行特征融合，得到融合特征X^v；

S16、通过自适应平均池化和级联来聚合X_t^e、X_f^e、和X^v的低、中、高层特征，得到局部增强联合特征