[发明专利]人脸表情合成后的图像优化方法、装置、存储介质和计算机设备

说明书

本发明涉及一种人脸表情合成后的图像优化方法、装置、存储介质和计算机设备。首先，制作3D牙齿模型，获取表情转移后的3D合成脸模型。其次，对牙齿模型进行变换操作，使得经过变换操作后的牙齿模型与合成脸模型对齐，即牙齿模型会随着合成脸模型中嘴部张开而改变方位，呈现出更加贴合实际的效果。最后，将经过变换操作后的牙齿模型转换为2D图像，将合成脸模型转换为2D图像，将牙齿模型对应的2D图像融合至合成脸模型对应的2D图像中，获得融合后的合成脸图像。经过融合之后，牙齿与脸部的接合部分柔和了许多，整体效果更加自然。传统的方法，只进行了表情转移，并未对牙齿及其他口腔细节进行刻画，导致表情转移的图像的视觉效果非常突兀与奇怪。

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，特别是涉及一种人脸表情合成后的图像优化方法、装置、存储介质和计算机设备。

背景技术

近年来，一些研究者提出了“表情转移”技术，即捕捉视频中人脸表情后将其转移予虚拟形象以完成动画制作。这些工作实现了虚拟人物的仿真化，赋予了动画角色更加丰富生动的表情，有效地增添了动画作品的趣味性，提高了视觉效果的真实感。而2015年，Thies J与他的同事们则走得更远一步，提出了在不同的真人个体间进行表情转移，其工作内容是：同时获取两个视频，源视频与目标视频，首先捕捉源视频中的人物表情，然后将该表情重现在目标视频中另一个人物的脸上，达到操控目标人物表情的效果。该项技术可以被应用在视频会议、译制片等场景中，将翻译人员的表情转移到说话者的脸上，可以使得嘴型神态与发音更好地匹配，从而带来更加自然舒适的观感体验。但是传统的表情转移方法只是对目标图像进行了表情转移，而未对表情转移后的图像是否自然合理进行优化。

发明内容

基于此，有必要针对上述技术问题，提供一种人脸表情合成后的图像优化方法、装置、存储介质和计算机设备。

一种人脸表情合成后的图像优化方法，所述方法包括：

制作3D牙齿模型；

获取表情转移后的3D合成脸模型；

对所述牙齿模型进行变换操作，使得经过变换操作后的牙齿模型与所述合成脸模型对齐；

将所述牙齿模型转换为2D图像，将所述合成脸模型转换为2D图像，将所述牙齿模型对应的2D图像融合至所述合成脸模型对应的2D图像中，获得融合后的合成脸图像。

在其中一个实施例中，所述制作3D牙齿模型，包括：

扫描人物牙齿部分和口腔部分，获得牙齿部分和口腔部分扫描结果图；

对所述扫描结果图进行特征点定位；

对经过特征点定位后的扫描结果图进行3D建模，得到3D牙齿模型。

在其中一个实施例中，所述对所述牙齿模型进行变换操作，使得经过变换操作后的牙齿模型与所述合成脸模型对齐，包括：

通过计算放缩因子、平移参数及旋转因子来对所述牙齿模型进行变换操作，使得经过变换操作后的牙齿模型与所述合成脸模型对齐。

在其中一个实施例中，所述将所述牙齿模型转换为2D图像，将所述合成脸模型转换为2D图像，将所述牙齿模型对应的2D图像融合至所述合成脸模型对应的2D图像中，获得融合后的合成脸图像，包括：

采用拉普拉斯图像融合方法，将所述牙齿模型对应的2D图像融合至所述合成脸模型对应的2D图像中，获得融合后的合成脸图像。

在其中一个实施例中，所述方法还包括：

对融合后的合成脸图像进行皱纹刻画。

在其中一个实施例中，所述对融合后的合成脸图像进行皱纹刻画，包括：