[发明专利]一种人脸关键特征点检测装置、方法和存储介质

权利要求书

1.一种人脸关键特征点检测装置，其特征在于，包括数据获取模块、检测模块；所述数据获取模块用于获取人脸图像，所述检测模块用于将人脸图像输入网络模型进行提取包含人脸关键点位置信息的特征图并处理输出人脸关键特征点的坐标；所述网络模型包括第一模块和第二模块，所述第一模块由从前至后依次设置的第一卷积层、第一批归一化层、第一激活层以及若干个重复堆叠的卷积模块组成；所述第二模块由从前至后依次设置的评估向量、若干个自注意力变换模块以及输出全连接层组成；所述第一模块两端的卷积模块分别与第二模块两端的自注意力变换模块连接，且中部的卷积模块与第二模块中部的自注意力变换模块连接；

所述人脸图像作为第一模块的输入，所述卷积模块用于提取包含人脸关键点位置信息的特征图，并输入到自注意力变换模块；所述评估向量通过若干个自注意力变换模块进行多次注意力变换融合特征图中的信息；所述输出全连接层输出人脸关键特征点的坐标；

所述自注意力变换模块由从前至后依次设置的单向多头注意力计算模块、投影模块、多层前传模块构成；所述单向多头注意力计算模块用于计算评估向量与特征图上各特征点的相关性，得到注意力图，并通过注意力图计算新的评估向量；所述投影模块由从前至后依次设置的全连接层、归一化层和激活层构成，用于调整新的评估向量的维度，使得新评估向量的维度与原始评估向量的维度保持一致；所述多层前传模块由从前至后依次设置的全连接层、归一化层、激活层、全连接层、归一化层、激活层构成，用于使评估向量内部信息实现交流。

2.根据权利要求1所述的一种人脸关键特征点检测装置，其特征在于，将卷积模块输出的特征图以及评估向量作为所述单向多头注意力计算模块的输入，对于单向多头注意力计算模块的每一个头，首先将特征图通过变形和全连接层计算得到键向量和值向量，然后将评估向量通过全连接层计算得到查询向量；由查询向量与键向量计算获得注意力图，将值向量根据注意力图进行加权求和，得到单头输出的评估向量；将单向多头注意力计算模块的所有头的评估向量进行通道拼接后作为输出。

3.根据权利要求2所述的一种人脸关键特征点检测装置，其特征在于，当预测的关键点数量小于等于10时，所述单向多头注意力计算模块的头的数量为1；当预测的关键点数量大于10且小于等于20时，所述单向多头注意力计算模块的头的数量为2；当预测的关键点数量大于20且小于等于70时，所述单向多头注意力计算模块的头的数量为4；当预测的关键点数量大于70时，所述单向多头注意力计算模块的头的数量为8。

4.根据权利要求1所述的一种人脸关键特征点检测装置，其特征在于，所述评估向量为一维的向量，且评估向量的向量长度范围为128-512。

5.根据权利要求1所述的一种人脸关键特征点检测装置，其特征在于，所述输出全连接层的输出维度为网络所需预测的关键点数量的2倍。

6.根据权利要求1-5任一项所述的一种人脸关键特征点检测装置，其特征在于，所述卷积模块包括从前至后依次设置的卷积层、批归一化层、激活层、深度可分离卷积层、批归一化层、激活层、卷积层和批归一化层；若卷积模块不进行下采样，则将卷积模块的输入与最后的批归一化层的输出相加作为卷积模块的输出；若卷积模块进行下采样，则将卷积模块的最后的批归一化层的输出作为卷积模块的输出。

7.一种人脸关键特征点检测方法，采用权利要求1-6任一项所述的检测装置进行，其特征在于，包括以下步骤：

步骤S100：获取人脸图像，并通过卷积模块提取得到包含人脸关键点位置信息的特征图；

步骤S200：将包含人脸关键点位置信息的特征图输入自注意力变换模块，评估向量通过若干个自注意力变换模块进行多次注意力变换融合特征图中的信息；在自注意力变换模块中，首先将卷积模块输出的特征图以及评估向量输入单向多头注意力计算模块，计算评估向量与特征图上各特征点的相关性，得到注意力图，并通过注意力图计算新的评估向量；然后将新的评估向量输入投影模块，使得新评估向量的维度与原始评估向量的维度保持一致；最后通过多层前传模块使评估向量内部信息实现交流；

步骤S300：最后通过输出全连接层输出人脸关键特征点的坐标，完成检测。