[发明专利]人脸表情图像的增强方法、获取方法和装置

权利要求书

1.一种人脸表情图像的增强方法，其特征在于，所述方法包括：

步骤101：检测单姿态人脸图像中的人脸特征点，并解算所述人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；

步骤102：基于成像原理将所述初始二维坐标映射为初始三维坐标，基于所述初始三维坐标，确定所述单姿态人脸图像的初始姿态；

步骤103：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的所述3D人脸模型的人脸特征点的模型坐标为所述初始三维坐标的等比例缩放；将所述单姿态人脸图像中人脸的面部纹理特征映射到所述调整后3D人脸模型的相应区域，形成目标3D人脸模型；

步骤104：将所述目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或通过变换相机矩阵的旋转矩阵改变所述目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将所述不同姿态与表情的目标3D人脸模型映射并渲染回所述单姿态人脸图像，输出不同姿态与表情的衍生人脸图像。

2.根据权利要求1的方法，其特征在于，所述人脸特征点至少包括眼睛轮廓、鼻尖、嘴唇轮廓。

3.根据权利要求1的方法，其特征在于，所述衍生人脸图像包括标注信息，所述标注信息为所述衍生人脸图像对应的所述目标3D人脸模型的姿态和表情信息。

4.根据权利要求1的方法，其特征在于所述步骤104还包括，通过比较所述初始二维坐标与人脸各类3D表情基的映射比，确定所述单姿态人脸图像中人脸的初始表情；使所述衍生人脸图像的姿态和/或表情与所述单姿态人脸图像的初始姿态和/或初始表情不同。

5.一种人脸表情图像的获取方法，其特征在于，所述方法包括以下步骤：

步骤201：输入待测视频数据；

步骤202：对所述待测视频数据进行人脸检测，若检测到人脸，则将所述人脸编号后执行步骤203；

步骤203：根据所述人脸编号，跟踪所述待测视频数据中的所述人脸编号对应的目标人脸图像，如果跟踪到小于第一预设值的所述目标人脸图像，则执行步骤204；

步骤204：将所述目标人脸图像中的一张图像作为单姿态人脸图像，执行步骤205；

步骤205：检测所述单姿态人脸图像中的人脸特征点，并解算所述人脸特征点在相机图像坐标系中的二维坐标，记为初始二维坐标；

步骤206：基于成像原理将所述初始二维坐标映射为初始三维坐标，基于所述初始三维坐标，确定所述单姿态人脸图像的初始姿态；

步骤207：调整3D人脸模型的人脸特征点的模型坐标，使得处于初始姿态的3D人脸模型的人脸特征点的模型坐标为所述初始三维坐标的等比例缩放；将所述单姿态人脸图像中人脸的面部文理特征映射到所述调整后3D人脸模型的相应区域，形成目标3D人脸模型；

步骤208：将所述目标3D人脸模型与人脸各类3D表情基进行特征融合，和/或通过变换相机矩阵的旋转矩阵改变所述目标3D人脸模型的姿态，得到不同姿态与表情的目标3D人脸模型；将所述不同姿态与表情的目标3D人脸模型映射并渲染回所述单姿态人脸图像，输出不同姿态与表情的衍生人脸图像，返回步骤202，继续追踪所述待测视频数据中的其他人脸。

6.根据权利要求5的方法，其特征在于，所述衍生人脸图像包括标注信息，所述标注信息为所述衍生人脸图像对应的所述目标3D人脸模型的姿态和表情信息。

7.根据权利要求5所述的方法，其特征在于，所述步骤203还包括，如果跟踪到大于等于第一预设值的所述目标人脸图像，则执行步骤209；

步骤209：对所述大于等于第一预设值的所述目标人脸图像进行标注和存储，所述标注内容包括人脸的姿态和表情信息。