[发明专利]人脸替换方法、系统、终端设备及计算机存储介质

说明书

本发明公开了一种人脸替换方法、系统、终端设备以及计算机存储介质。该人脸替换方法通过：确定需要在视频画面的实时播放过程中进行替换的目标人脸；获取所述目标人脸所关联的人物动作的权重等级，并基于所述权重等级针对人脸特征提取模型进行优化；利用优化后的人脸特征提取模型提取所述目标人脸的第一脸部特征和特征组合关系；根据所述第一脸部特征和所述特征组合关系，在所述视频画面中针对需要替换掉的待替换人脸进行替换。相比于传统基于弱监督方式提取人脸特征进行实时换脸的方式，本发明能够使得实时视频画面中人脸替换达成更加灵活、协调的效果。

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种人脸替换方法、系统、终端设备以及计算机存储介质。

背景技术

随着互联网技术的突飞猛进，视频技术发展也日新月异。为了满足用户需求，现有视频技术当中早已经引入了视频人物换脸的实际应用。

目前在视频中的换脸应用通过弱监督方式来提取人脸特征，从而可以将人脸的弱标签数据特征学习为更强的标签特征，以此来解决了部分视频中人脸替换精准度不高的问题。但是，在现有视频换脸的实际应用过程中，仍然存在人脸替换灵活度低、替换后人脸表情和动作不协调等现象。

发明内容

本发明的主要目的在于提供一种人脸替换方法、系统、终端设备以及计算机存储介质，旨在提高实时视频画面中进行人脸替换的灵活性和协调性。

为实现上述目的，本发明提供一种人脸替换方法，所述人脸替换方法包括：

确定用于进行人脸替换的目标人脸；

利用优化后的人脸特征提取模型提取所述目标人脸的第一脸部特征和特征组合关系；

根据所述第一脸部特征和所述特征组合关系，在视频画面中对待替换人脸进行替换。

优选地，所述方法还包括：

检测所述目标人脸的第一脸部特征在各人物动作下的特征影响等级；

根据所述特征影响等级适配所述第一脸部特征所关联的各所述人物动作对应的权重参数；

基于所述权重等级优化人脸特征提取模型。

优选地，所述基于所述权重等级针对人脸特征提取模型进行优化的步骤，包括：

基于所述权重等级和所述第一脸部特征相互之间的特征距离优化人脸特征提取模型，其中，所述特征距离包括：用于表示脸部特征相互之间位置差异的特征像素距离和用于表示脸部特征相互之间光线差异的特征光线距离。

优选地，所述根据所述第一脸部特征和所述特征组合关系，在视频画面中对待替换人脸进行替换的步骤，包括：

检测所述视频画面中需要替换掉的待替换人脸，并学习所述待替换人脸的第二脸部特征；

根据所述第一脸部特征和所述特征组合关系确定与所述第二脸部特征相适配的目标图像数据；

在所述视频画面中利用所述目标图像数据替换掉所述待替换人脸。

优选地，所述根据所述第一脸部特征和所述特征组合关系确定与所述第二脸部特征相适配的目标图像数据的步骤，包括：

检测所述第一脸部特征中是否存在与所述第二脸部特征相适配的目标特征；

若存在，则按照所述特征组合关系优化所述目标特征对应的图像数据，并将优化后的图像数据确定为所述目标图像数据。

优选地，在所述检测所述第一脸部特征中是否存在与所述第二脸部特征相适配的目标特征的步骤之后，还包括：

若不存在，则按照所述第一脸部特征和所述特征组合关系生成所述目标特征，并将所述目标特征对应的图像数据确定为所述目标图像数据。