[发明专利]视频人脸替换方法、系统及计算机可读存储介质

说明书

本发明公开一种视频人脸替换方法、系统及计算机可读存储介质，该视频人脸替换方法包括：提取源角色帧图的脸框方形图A和目标角色帧图的脸框方形图B，缩放得到脸框方形图A1和脸框方形图B1；获取二值掩码图片a1和二值掩码图片b1；将脸框方形图A1扭转至一预设位置，得到脸框方形图A2，脸框方形图B1扭转至同一预设位置，得到脸框方形图B2；将脸框方形图A2和脸框方形图B2进行融合，得到融合图片C；进行校色修复得到图片C3；进行逆向扭转复位并修复，得到图片C8，进行缩放至与目标角色帧图的脸框方形图B同一尺寸，得到图片C9；将图片C9填充至目标角色帧图脸框方形图B的对应位置。本发明使视频的人脸交换融合的更自然。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种视频人脸替换方法、系统及计算机可读存储介质。

背景技术

随着计算机图像处理技术的进步，对图片或视频中人脸进行交换的技术发展越来越迅速。目前，一个现有技术有德国纽伦堡大学的教授Justus Thies团队做的一个能实时进行面部转换的叫Face2Face模型，Face2Face先使用特定的算法重构目标角色和源角色的脸型特征，当算法运行时，它会通过摄像头追踪源角色的面部数据信息，并同时追踪目标和源角色的脸上的表情。然后用一种变形函数在套用源角色的变化模型后重新渲染目标角色的脸的形状和光照，最终与背景进行复合。同之前的视频中人脸处理技术相比，Face2Face的主要进步在变形各种算法，包括RGB追踪算法、传输函数以及嘴部模型建立上的改进。

另外一种现有技术为Deepfake模型，其基本原理就是用监督学习训练一个神经网络将人物A的扭曲处理过的脸还原成原始脸，并且期望这个网络具备将任意人脸还原成人物A脸的能力。Deepfake的整个流程包括三步，一是提取数据，二是训练，三是转换。其中第一和第三步都需要用到数据预处理，从视频中提取大量的两个需要交换人脸的人物人脸图片，第三步还用到了图片融合技术，采用了括直接覆盖，遮罩覆盖，还有就是泊松克隆等多种方法。

Deepfake模型基本公式：

X'＝Decoder(Encoder(XW))

Loss＝L1Loss(X'-X)

这里的XW是经过扭曲处理过的人脸图片，通过一个自编码网络模型得到X'即生成的人脸图片，通过计算两张人脸图片的L1loss并以此为反馈训练整个模型。为达到两张人脸交换的目的，使用以下公式：

A'＝Decoder_A(Encoder(AW))

B'＝Decoder_B(Encoder(BW))

为提高生成图片的人脸稳定性，Encoder网络是共享的，Deocder网络是分开的。

还有一种现有技术方案是Satya Mallick博士提出来，这种方案是对两张图片中人脸实现单向交换融合。该方案的流程大体上是检测脸部特征点坐标，找到“特征点环”，对图片进行狄洛尼三角剖分，调整扭曲三角，最后是嵌入融合。这里特征点检测应用的是dlib的处理方法，并通过面颊和眉毛特征点首尾连接行成“特征点环”，取到面部核心区域，通过每三个特征点将面部核心区域切分成若干小三角形区域，校准源人脸和目标人脸对应的三角形，将源人脸的三角形区域仿射变换到目标人脸对应区域。最后通过泊淞克隆将仿射变换后的脸部核心区域融合进入目标人脸。

其中，第一种方案可以做到实时处理但是仅能实现通过源脸面部变化控制目标脸的面部变化，并不能将源脸的特征转移到目标脸上。第二种方案应用了深度神经网络模型相关技术，在模型训练的过程中需要消耗大量的计算资源，而且训练耗时较长，可以做到生成和目标脸对应的源脸特征，但是视频面部融合不自然。第三种方案整体的算法流程较为简单，可以做到实时处理，单对图片换脸的质量很好，但是由于在仿射变换处理环节使用的对切分的三角形逐个仿射，这样在对视频中连续帧做相同处理，仿射后帧间偏移较大，造成变换后视频面部扭曲严重，效果较差。

发明内容