[发明专利]人脸表情图像的增强方法、获取方法和装置

说明书

本发明提供一种人脸表情图像的增强方法、获取方法和装置，其中增强方法包括：步骤101：解算单姿态人脸图像中的人脸特征点的二维坐标，记为初始二维坐标；步骤102：将初始二维坐标映射为初始三维坐标，并确定单姿态人脸图像的初始姿态；步骤103：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的模型坐标为初始三维坐标的等比例缩放；将单姿态人脸图像的面部纹理特征映射到调整后3D人脸模型中，形成目标3D人脸模型；步骤104：将目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或改变目标3D人脸模型的姿态，输出不同姿态与表情的衍生人脸图像。基于本发明的方法，可以解决样本数据不足问题，并降低样本数据采集与标注的工作量。

技术领域

本发明涉及计算机领域，特别涉及一种人脸表情图像的增强方法、获取方法和装置。

背景技术

随着计算机视觉技术的不断发展，人脸识别相关算法层出不穷，基于深度学习的人脸识别算法在理想的实验环境下，已达到相当高的识别准确率，但这样的高识别准确率，需要采集与标注大量的人脸样本数据集进行模型的训练。

在现实场景中，人体头部在三维坐标系中的旋转会造成面部的左右、俯仰与平面内旋转角度的变化，从而导致面部信息的部分缺失；面部表情的变化会造成人脸眼睛、嘴、鼻子等特征点位置的变化。因此，在实际应用场景中，人脸识别效果面临着人脸姿态与表情等方面的挑战。

为了在实际应用场景中获得较好的识别效果，模型训练样本中不仅要包含正脸图，还需要包含不同人脸姿态与表情的人脸样本数据。但是样本数据的采集与人工标注需要花费大量的人力与物力，目前的样本数据远不能满足人脸识别模型的训练需求。

发明内容

有鉴于此，本发明提供一种人脸表情图像的增强方法、获取方法和装置，以解决目前人脸识别算法存在样本数据不足问题。

本发明提供一种人脸表情图像的增强方法，该方法包括

步骤101：检测单姿态人脸图像中的人脸特征点，并解算人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；

步骤102：基于成像原理将初始二维坐标映射为初始三维坐标，基于初始三维坐标，确定单姿态人脸图像的初始姿态；

步骤103：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的3D人脸模型的人脸特征点的模型坐标为初始三维坐标的等比例缩放；将单姿态人脸图像中人脸的面部文理特征映射到调整后3D人脸模型相应区域，形成目标3D人脸模型；

步骤104：将目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或改变目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将不同姿态与表情的目标3D人脸模型映射并渲染回单姿态人脸图像，输出不同姿态与表情的衍生人脸图像。

本发明还提供一种人脸表情的获取方法，该方法包括：

步骤201：输入待测视频数据；

步骤202：对待测视频数据进行人脸检测，若检测到人脸，则将人脸编号后执行步骤203；

步骤203：根据人脸编号，跟踪待测视频数据中的人脸编号对应的目标人脸图像，如果跟踪到小于第一预设值的目标人脸图像，则执行步骤204；

步骤204：将目标人脸图像中的一张图像作为单姿态人脸图像，执行步骤205；

步骤205：检测单姿态人脸图像中的人脸特征点，并解算人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；

步骤206：基于成像原理将初始二维坐标映射为初始三维坐标，基于初始三维坐标，确定单姿态人脸图像的初始姿态。