[发明专利]一种基于深度学习的换脸视频溯源方法及系统

权利要求书

1.一种基于深度学习的换脸视频溯源方法，其特征在于，所述方法包括水印的合成和水印的提取；

所述水印的合成，具体包括：

将原始人脸视频和替换人脸图片输入至视频换脸模型得的换脸后的换脸视频；

根据用户ID使用水印合成器生成用户唯一水印码，将所述水印码和换脸视频输入至视频水印编码模型，编码得到加有水印的换脸视频；

所述水印的提取，具体包括：

将待鉴别视频输入至视频鉴伪模型判断所述待鉴别视频是否为换脸视频；

若是，则将视频输入至视频水印解码模型，解码得到融合在视频帧中的水印码，并根据所述水印码得到生成换脸视频的用户信息。

2.根据权利要求1所述的一种基于深度学习的换脸视频溯源方法，其特征在于，所述视频水印编码模型的输入视频帧为512*512*3的张量，输入的水印码为128*128*1的张量，输入的128*128*1水印码经过卷积操作后得到的512*512*3张量输入至ISM模块，然后输出的512*512*3的水印码与输入的512*512*3视频帧经Concat操作后输出512*512*3的张量，再经卷积操作后输出为512*512*6。

3.根据权利要求2所述的一种基于深度学习的换脸视频溯源方法，其特征在于，所述ISM模块具体用于，将随机数进行Reshape操作后经卷积得到512*512*3的张量，并与输入的512*512*3张量经Concat操作后得到512*512*6的张量，然后输入至1×1卷积得到第一512*512*32张量，继续输入至3×3卷积得到第二512*512*32张量，继续输入至3×3卷积得到第三512*512*32张量，将得到的三个512*512*32张量经Concat操作得到512*512*96张量，经卷积后得到512*512*3张量，然后将得到的512*512*3张量与输入的512*512*3张量经element-wise plus操作后输出512*512*3的张量。

4.根据权利要求1所述的一种基于深度学习的换脸视频溯源方法，其特征在于，所述视频水印解码模型的输入视频帧为512*512*3的张量，输入至1×1卷积得到第一512*512*3张量，继续输入至3×3卷积得到第二512*512*3张量，继续输入至3×3卷积得到第三512*512*3张量，然后将得的的三个512*512*3张量经Concat操作后512*512*9张量，然后输入至全连接层FC层得到512*512*3的张量，最后再经一些卷积操作和尺度变换得到128*128*1的输出，输出即为加在视频上的水印码。

5.根据权利要求1所述的一种基于深度学习的换脸视频溯源方法，其特征在于，所述方法还包括：

使用L1损失函数对视频水印编码模型和视频水印解码模型进行训练。

6.一种基于深度学习的换脸视频溯源系统，其特征在于，所述系统包括水印合成模块和水印提取模块；

所述水印合成模块，用于：

将原始人脸视频和替换人脸图片输入至视频换脸模型得的换脸后的换脸视频；

根据用户ID使用水印合成器生成用户唯一水印码，将所述水印码和换脸视频输入至视频水印编码模型，编码得到加有水印的换脸视频；

所述水印提取模块，用于：

将待鉴别视频输入至视频鉴伪模型判断所述待鉴别视频是否为换脸视频；

若是，则将视频输入至视频水印解码模型，解码得到融合在视频帧中的水印码，并根据所述水印码得到生成换脸视频的用户信息。

7.一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于深度学习的换脸视频溯源系统执行如权利要求1-5中任一项所述的方法。