[发明专利]一种基于SSIM差异图的人脸伪造检测与定位方法

说明书

本发明公开了一种基于SSIM差异图的人脸伪造检测与定位方法，包括：将原始人脸与伪造人脸的结构相似度(SSIM)差异图作为篡改定位的标签图；通过具有残差注意力的相邻层聚合模块从低层到高层特征图中确定篡改区域，且其中的残差注意力能帮助网络更加关注篡改区域以减弱背景噪音的影响；通过空洞卷积模块处理多尺度的篡改区域；通过轻量级的辅助Sobel流缓解视频压缩导致的伪影污染问题，Sobel流由三组图像梯度增强模块组成。本发明能够在检测伪造人脸的同时定位篡改区域，此外，采用SSIM差异图进行多任务训练的神经网络能够进一步提高检测结果。

技术领域

本发明涉及人脸伪造检测技术领域，特别涉及一种基于SSIM差异图的人脸伪造检测与定位方法。

背景技术

近期，换脸视频带来的社会问题得到各界人士的广泛关注。随着深度学习的发展，合成媒体的视觉效果已经达到肉眼难以辨别的地步，此外硬件的快速发展、社交媒体数据的海量增长以及人脸编辑软件的开源和商业化也加剧了深度伪造的不可控性。由于深度伪造具备高度欺骗性，亟需研究相应的反制措施以避免由此引发的一系列社会问题。

当前，一些用于区分真实视频和合成视频的方法被先后提出。根据检测对象的差异，可分为基于数据驱动的检测方法，基于信号级伪影的检测方法，以及基于异常生物信号的检测方法。虽然上述针对深度伪造检测的方法取得了较好的结果，但在深度伪造的篡改定位方面仍存在明显的不足。主要原因包括：一是并非所有的数据集都提供了标准的标签图，导致不同方法之间的量化评估难以进行。差异-阈值法已成功用于篡改定位，但要找到一个适合不同数据集的通用阈值十分困难，且可能会破坏篡改区域完整性的同时增强不必要的背景噪音；二是不同尺度的篡改区域和篡改区域边界内外的颜色和纹理高度相似性使得篡改定位极具挑战。这不仅要求网络理解图像的整体意义，还需要网络关注局部细节。由于现有篡改定位网络结构没有显式地解决这些问题，导致预测的篡改区域不准确。

针对视频压缩导致的伪影污染，仅依靠空域信息，难以对真假人脸进行有效的区分。目前主流的方法是通过变换域获取高频信息，例如：离散余弦变换，离散傅里叶变换以及SRM 滤波器等，然后结合空域进行双流学习。通常，两个流具有相同数量的参数，并且需要前置处理，因此如何通过少量的计算并在卷积网络内部完成高频信息的提取仍未探索。

发明内容

本发明的目的是提供一种基于SSIM差异图的人脸伪造检测与定位方法。该方法能够在检测伪造人脸的同时定位篡改区域，此外，采用SSIM差异图进行多任务训练的神经网络能够进一步提高检测结果。

本发明的目的是通过以下技术方案实现的：

一种基于SSIM差异图的人脸伪造检测与定位方法，包括：

将原始人脸与伪造人脸的结构相似度(SSIM)差异图作为篡改定位的标签图；

通过具有残差注意力的相邻层聚合模块从低层到高层特征图中确定篡改区域，且其中的残差注意力能帮助网络更加关注篡改区域以减弱背景噪音的影响；通过空洞卷积模块处理多尺度的篡改区域；通过轻量级的辅助Sobel流缓解视频压缩导致的伪影污染问题，Sobel流由三组图像梯度增强模块组成。

由上述本发明提供的技术方案可以看出，一方面，能够在检测伪造人脸的同时定位篡改区域。另一方面，通过精心设计，采用SSIM差异图进行多任务训练的神经网络能够进一步提高检测结果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于SSIM差异图的人脸伪造检测与定位方法的网络整体结构图；

图2为本发明实施例提供的相邻层聚合模块与残差注意力的示意图；