[发明专利]基于先验约束的人脸关键点检测方法及装置

权利要求书

1.一种人脸关键点检测方法，其特征在于，包括：

获取待识别人脸图像；

将所述待识别人脸图像输入至人脸关键点检测模型中，得到所述人脸关键点检测模型提取的自注意力特征，以及基于所述自注意力特征输出的人脸关键点位置信息；

其中，所述人脸关键点检测模型为基于人脸样本图像、人脸关键点位置样本数据以及所述人脸样本图像的结构先验特征进行有监督训练得到的，所述人脸样本图像的结构先验特征为对所述人脸关键点位置样本数据进行结构先验生成运算得到的，所述人脸关键点位置样本数据为所述人脸样本图像对应的样本标签；

所述人脸关键点检测模型为基于如下步骤训练得到的：获取所述人脸样本图像和初始模型；将所述人脸样本图像输入至所述初始模型，由所述初始模型基于所述人脸样本图像提取自注意力特征，并基于所述自注意力特征进行图像识别，得到所述初始模型输出的人脸关键点检测结果；基于所述自注意力特征和所述结构先验特征的损失结果，以及所述人脸关键点检测结果与所述人脸关键点位置样本数据的损失结果，对所述初始模型进行训练，得到所述人脸关键点检测模型；

所述基于所述自注意力特征和所述结构先验特征的损失结果，以及所述人脸关键点检测结果与所述人脸关键点位置样本数据的损失结果，对所述初始模型进行训练，得到所述人脸关键点检测模型，包括：基于所述自注意力特征和所述结构先验特征，确定第一损失函数；基于所述人脸关键点检测结果与所述人脸关键点位置样本数据，确定第二损失函数；基于所述第一损失函数、所述第二损失函数和权重参数，对所述初始模型进行训练，得到所述人脸关键点检测模型；

所述基于所述自注意力特征和所述结构先验特征，确定第一损失函数，包括：

基于公式：

；

；

，；

；

确定第一损失函数；

其中，表示所述第一损失函数，表示所述结构先验特征，和均表示所述人脸关键点位置样本数据中的关键点的二维坐标，表示所述自注意力特征，Z表示所述人脸关键点检测模型从所述人脸样本图像提取出来的特征图；表示所述自注意力特征经过变形后张量中的单元素值；

所述基于所述人脸关键点检测结果与所述人脸关键点位置样本数据，确定第二损失函数，包括：

基于公式：

；

确定第二损失函数；

其中，表示所述第二损失函数，表示所述人脸关键点检测结果，表示所述人脸关键点检测结果中第j个关键点的坐标，所述表示所述人脸关键点位置样本数据，N表示所述人脸关键点检测结果中具有的关键点总数，Y表示所述人脸样本图像。

2.根据权利要求1所述的人脸关键点检测方法，其特征在于，所述人脸样本图像的结构先验特征为基于如下步骤得到的：

获取所述人脸关键点位置样本数据；

以所述人脸关键点位置样本数据中的每一关键点为中心，基于高斯分布，将每一所述关键点的邻域作为每一所述关键点的掩模；

基于多个所述关键点坐标的掩模，确定所述结构先验特征。

3.根据权利要求2所述的人脸关键点检测方法，其特征在于，所述以所述人脸关键点位置样本数据中的每一关键点为中心，基于高斯分布，将每一所述关键点的邻域作为每一所述关键点的掩模，包括：

基于公式：

；

确定每一所述关键点的掩模；

其中，和表示第j个关键点的横坐标和纵坐标，和表示以第j个关键点为中心的邻域内的任意点的横坐标和纵坐标，R是以第j个关键点为中心的邻域的半径，σ是以第j个关键点为中心的邻域内的任意点的标准差。