[发明专利]人脸结构化信息识别方法、系统、装置及存储介质

权利要求书

1.一种人脸结构化信息识别方法，应用于电子装置，其特征在于，所述方法包括：

根据行人样本数据集建立相应的人脸结构化数据集；其中，所述人脸结构化数据集中具有行人样本的人脸结构化数据；

根据预设属性划分类别对所述人脸结构化数据集内的人脸结构化数据进行属性统计；

根据所述人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对所述人脸结构化数据集进行平衡度调整，以使所述人脸结构化数据集的平衡度均衡；

使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练；

使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。

2.根据权利要求1所述的人脸结构化信息识别方法，其特征在于，所述人脸结构化数据集包括人脸属性数据集和头部属性数据集，根据所述行人样本数据集建立人脸结构化数据集的过程包括：

通过RetinaFace人脸检测器对所述行人样本数据集内的行人样本数据进行人脸检测和/或人脸对齐，以获取对齐后的人脸图像和未对齐的人脸图像；

将所述对齐后的人脸图像组成所述人脸属性数据集；

在原始的所述行人样本数据上以所述未对齐的人脸图像的中心点为中心，向上下左右各外扩所述未对齐的人脸图像宽高的一半的长度并进行截取，以形成行人头部图像，由所述行人头部图像组成所述头部属性数据集。

3.根据权利要求1所述的人脸结构化信息识别方法，其特征在于，

根据人脸结构化中不同属性之间的独特性和强相关性确定所述预设属性划分类别。

4.根据权利要求2所述的人脸结构化信息识别方法，其特征在于，所述人脸结构化网络模型包括人脸属性识别网络，所述人脸属性识别网络包括人脸属性通用特征提取网络和人脸属性学习网络；并且，在使用平衡度调整后的人脸结构化数据集对所述人脸结构化网络模型进行训练的过程中，

所述人脸属性通用特征提取网络用于提取所述人脸属性数据集内的人脸属性通用特征；

所述人脸属性学习网络用于对所述人脸属性通用特征进行深度学习以获取第一细分特征，并根据所述第一细分特征进行人脸属性信息识别。

5.根据权利要求4所述的人脸结构化信息识别方法，其特征在于，所述人脸结构化网络模型包括头部属性识别网络，所述头部属性识别网络包括头部属性通用特征提取网络和头部属性学习网络；并且，在使用平衡度均衡的所述人脸结构化数据集对所述人脸结构化网络模型进行训练的过程中，

所述头部属性通用特征提取网络用于提取所述头部属性数据集内的头部属性通用特征；

所述头部属性学习网络用于对所述头部属性通用特征和所述人脸属性通用特征进行深度学习以获取第二细分特征，并根据所述第二细分特征进行头部属性信息识别。

6.根据权利要求5所述的人脸结构化信息识别方法，其特征在于，

所述人脸属性通用特征提取网络和所述头部属性通用特征提取网络均采用SE-BN-Inception卷积神经网络。

7.根据权利要求5或6所述的人脸结构化信息识别方法，其特征在于，

所述人脸属性学习网络和所述头部属性学习网络均为多任务学习网络；其中，所述多任务学习网络的每个任务的损失函数均采用Arcface损失函数；

所述多任务学习网络的总损失由各个子任务的损失加权相加得到。