[发明专利]基于RGB图像的精细化人脸表情捕获方法及装置

权利要求书

1.一种基于RGB图像的精细化人脸表情捕获方法，其特征在于，包括：

S11：获取目标人脸的自然表情图像和变化表情图像；

S12：将目标人脸的变化表情图像输入预先构建的人脸表情捕获模型，获得目标人脸的标准表情特征

S13：将目标人脸的自然表情图像和变化表情图像输入预先构建的人脸关键点回归模型获得两组目标人脸的关键点空间坐标；标准化两组关键点空间坐标；根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的表情变化特征

S14：根据预设的敏感参数α生成目标人脸的表情捕获数据：

所述人脸表情捕获模型的构建方法包括：

S21：采集目标人脸的差异表情图像，进行标准化的表情标注；

S22：构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型；

所述S21采集目标人脸的差异表情图像，进行标准化的表情标注的方法包括：

S211：构建多个不同角度的RGB摄像头对人脸表情图像进行采集，多个不同角度的RGB摄像头与被采集目标人脸的上下偏角不超过30°，左右偏角不超过45°，且采集的人脸表情图像为包括双眼、鼻、嘴巴和眉心的人脸表情图像；

S212：对采集的单帧人脸表情图像进行时序的同步；

S213：对采集的人脸表情图像中的人脸表情进行多人标注；

所述S22构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型的方法包括：

S221：构建选取卷积神经网络标准模型，在卷积神经网络标准模型的工程化性能及模型拟合能力中选择最优back-bone模型；

S222：通过标注后的人脸表情图像对卷积神经网络模型进行训练，采用随机梯度下降法对卷积神经网络标准模型进行训练，损失函数为：L＝∑|D(e_i)-bsⁱ|，其中e_i为采集人脸表情图像RGB数据集，bsⁱ为标注数据集，D为目标优化模型；

S223：通过比对卷积神经网络标准模型的输出，构建表情特征维度的平滑变换曲线，优化训练数据，其中，表情特征维度的平滑变换曲线

其中

为步骤S222中训练得出的卷积神经网络标准模型输出数据；

S224：将优化的训练数据作为卷积神经网络标准模型输入，迭代优化训练数据，迭代S222和S223步骤直到卷积神经网络标准模型达到预设效果，获得人脸表情捕获模型。

2.根据权利要求1所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，还包括：

S15：将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。

3.根据权利要求1所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，所述人脸关键点回归模型的构建方法包括：构建基于标准人脸关键点的回归模型，采用3D人脸标注数据的68个关键点作为模型训练数据集。

4.根据权利要求1所述的基于RGB图像的精细化人脸表情捕获方法，其特征在于，所述关键点表情变化关联函数的构建方法包括：

S31：通过人脸关键点中的脸颊关键点、眉头关键点及下巴关键点的空间坐标来对人脸进行空间大小标准化，通过预先构建的人脸关键点回归模型获取表情变化后的坐标点位置，分别记录不同表情对应的关键点位置变化；

S32：构建每一个表情的关联函数，根据采集的差异表情图像集构建求解方程，通过随机梯度下降来求解关联函数的参数，最终获得不同表情对应的关键点表情变化关联函数。