[发明专利]一种基于深度学习的换脸视频溯源方法及系统

说明书

本发明公开了一种基于深度学习的换脸视频溯源方法及系统，可让违反了法律的不良换脸视频可以被检测出来并找到生成该视频的用户或责任方，让溯源成为可能，从而约束人们对换脸技术的不良应用。本方法不需要记录生成视频的指纹信息，只需要在向用户分发模型时记录该模型对应的唯一水印，就可以通过生成的视频确定生成视频的用户，也就是说，水印信息不同于指纹信息，水印具体内容在视频生成前就已经确定，所以本发明能在用户获取应用的时候就确定了该用户生成的所有视频的唯一标识，从而达到了从源头进行溯源的目的；同时，发明对视频的水印破坏攻击有较高的鲁棒性。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于深度学习的换脸视频溯源方法及系统。

背景技术

随着计算机视觉软硬件技术的发展和突破，越来越多的应用在c端普及，这带来了很多前所未有的AI伦理问题和潜在风险，特别是近几年GAN的兴起带动了Deepfake的开发和应用浪潮，其中的风险更是引起了社会各界人士和政府的重视。以ZAO为代表的手机APP让换脸成为所有人都可以使用的技术，这项技术生成的几乎无法分辨真假的换脸视频由于其高逼真度和易用性，在带来全民娱乐的同时也暗藏着许多风险，其中包括肖像侵权、隐私泄露、不良视频传播等，这些风险让人们对换脸这把双刃剑保持着更多怀疑的态度。

目前市场上的换脸软件还没有使用溯源技术，而现有的视频溯源技术大概分为两类：基于水印的方法和基于指纹的方法。

1)基于水印方法，也就是在视频图像中加入水印来标记视频的来源，在溯源时再从图片中提取水印。水印可以是肉眼可见的，也可以是肉眼不可见的数字水印，该方法的本质就是修改原视频帧中的数值信息，把水印信息标记在像素中。其中又包括两种方法：

1.1修改空域：一般来说，不对信号做任何频率变换而得到的信号域就是空间域，通常是采用修改像素的某个分量值来实现水印的嵌入，典型的空间域水印算法有LSB算法、Patchwork算法和纹理块映射编码算法。在空间域加入水印一般只能嵌入较小的数据量，并且通过该方法添加水印的图片很容易经过低通滤波、重新量化、有损压缩等操作去除水印；

1.2利用频域：典型算法有基于DFT(离散傅里叶变换)、DCT(离散余弦变换)、DWT(离散小波变换)的算法，这类算法是把图像变换到频域，在频域上加入水印，再通过逆变换，将图像转为空域上可见的格式。因为该方法是将水印信号分布到空间的所有像素上，并且与现有的图像压缩方法兼容，所以该方法能较好解决不可见性和鲁棒性之间的矛盾。

2)基于指纹的方法，也就是在视频生成后提取视频的指纹信息，然后保存在数据库中，当需要溯源的时候，再次计算视频指纹，通过数据库中唯一的指纹得到该视频的来源信息。这种方法的核心是视频指纹的提取，有传统的md5方法、对部分内容修改保持鲁棒的Rabin指纹方法，也有现代的基于区块链的记录方法。

基于水印的视频溯源方法对于一些篡改攻击是不鲁棒的，比如视频压缩、视频帧加噪点、视频多水印混合等，这样的操作后很难再从视频中提取出原水印，而当前网络传播的特点就是视频可能被多次编辑，这种情况使得视频在传播中无法保持携带的水印信息，导致成功提取水印的概率大幅降低。

而对于基于指纹的方法，需要在生成视频的时候就对其指纹进行计算和记录，也就是需要c端的换脸应用先获取用户的信息，然后在生成视频后根据用户信息将水印加入视频中，并记录该视频指纹对应的用户和生成信息，这需要额外的计算能力和数据存储空间来实现。并且对于b端用户，生成视频的能力掌握在用户手上，无法收集和记录生成的视频指纹，所以该技术对应用场景的限制性很大。也就是说，这种方法不适合当前网络环境和应用的根本原因是指纹是根据视频具体内容生成的，在视频生成之前无法确定指纹，而视频生成过程是在用户端进行的，所以无法在视频生成后对该视频进行记录。

发明内容

为此，本发明提供一种基于深度学习的换脸视频溯源方法及系统，以解决现有视频溯源方法存在的对视频的水印破坏攻击鲁棒性低，指纹信息根据视频具体内容生成的，方法应用场景有限等问题。