[发明专利]脸部特征点检测方法、装置、设备及存储介质

权利要求书

1.一种脸部特征点检测方法，其特征在于，所述脸部特征点检测方法包括：

获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息，其中，所述训练样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像，所述标注信息包括所述样本人脸图像中的嘴部和鼻子的多个特征点对应的坐标信息；

将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型，其中，所述残差网络模型包括输入层、特征提取层、残差网络模型结构和输出层，所述残差网络模型结构由残差块组成；

获取待检测图像并输入预置人体姿态检测模型得到骨骼信息，并根据预置人脸规则进行人脸检测，得到所述待检测图像中的目标人脸图像；

将所述目标人脸图像输入所述脸部特征点检测模型进行检测，得到所述目标人脸图像对应的脸部特征点数据；

所述将所述训练样本图像和对应的标注信息输入预置残差网络模型进行训练，得到脸部特征点检测模型包括：

将所述训练样本图像输入所述输入层，并通过所述输入层对所述训练样本图像进行归一化，得到归一化图像；

将所述归一化图像输入所述特征提取层，并通过所述特征提取层对所述归一化图像进行特征提取，得到第一特征图；

将所述第一特征图输入所述残差网络模型结构，并通过所述残差块进行特征提取和残差学习，得到第二特征图；

将所述第二特征图输入所述输出层，并通过所述输出层对所述第二特征图进行拟合，得到所述训练样本的每个特征点的坐标值的预测结果并输出；

根据所述预测结果和所述标注信息，对所述残差网络模型的参数进行优化，直至所述残差网络模型收敛，得到脸部特征点检测模型。

2.根据权利要求1所述的脸部特征点检测方法，其特征在于，所述获取训练样本图像，并对所述训练样本图像进行标注，得到对应的标注信息包括：

获取第一样本图像，其中，所述第一样本图像包括遮挡眼部或未遮挡眼部的样本人脸图像；

对所述第一样本图像进行数据扩充，得到第二样本图像，其中，所述数据扩充的方式包括旋转、剪切、随机增加噪音中的一种或多种；

将所述第二样本图像作为训练样本图像，并标注所述训练样本图像中嘴巴和鼻子的特征点对应的坐标，得到对应的标注信息。

3.根据权利要求1所述的脸部特征点检测方法，其特征在于，所述输出层包括全连接层，所述将所述第二特征图输入所述输出层，并通过所述输出层对所述第二特征图进行拟合，得到所述训练样本的每个特征点坐标的预测结果并输出包括：

将所述第二特征图输入所述全连接层，并通过所述全连接层将所述第二特征图进行拟合，得到所述训练样本图像对应的输出值；

根据所述输出值，计算出所述训练样本图像的每个特征点的坐标值；

将所述坐标值作为所述训练样本图像对应的预测结果并输出。

4.根据权利要求1所述的脸部特征点检测方法，其特征在于，所述根据所述预测结果和所述标注信息，对所述残差网络模型的参数进行优化，直至所述残差网络模型收敛，得到脸部特征点检测模型包括：

根据预置损失函数，计算所述预测结果和所述标注信息之间的损失值，其中，所述损失函数的公式为 ，为线性方程因子，m为所述训练样本图像的个数，为网络输入，为预测结果，为标注信息，为训练样本图像的第个像素点；

将所述损失值反向传播回所述残差网络模型，并基于预置优化器，对所述残差网络模型的学习率和参数进行优化；

若所述残差网络模型收敛，则将当前的残差网络模型作为脸部特征点检测模型。

5.根据权利要求1-4中任一项所述的脸部特征点检测方法，其特征在于，所述获取待检测图像并输入预置人体姿态检测模型得到骨骼信息，并根据预置人脸规则进行人脸检测，得到所述待检测图像的目标人脸图像包括：

获取待检测图像；

将所述待检测图像输入预置人体姿态检测模型，并通过所述人体姿态检测模型，得到所述待检测图像中骨骼信息，其中，所述骨骼信息包括所述待检测图像中耳朵或鼻子的位置坐标；

根据预置人脸规则和所述骨骼信息，确定所述待检测图像中的人脸区域并提取，得到目标人脸图像。