[发明专利]人脸识别方法、电子设备及存储介质

说明书

本发明实施方式涉及图像处理领域，公开了一种人脸识别方法、电子设备及存储介质。本发明的部分实施方式中，人脸识别方法包括：获取二维图像，并基于二维图像获取二维图像对应的法向图；获取二维图像对应的二维特征向量，以及法向图对应的三维特征向量；融合二维特征向量和三维特征向量，得到最终的人脸特征向量；基于最终的人脸特征向量进行人脸识别。该实施方式中，降低了三维信息的获取成本，实现了单模态数据下的多模态人脸识别，提升了人脸识别的准确率。

技术领域

本发明实施方式涉及图像处理领域，特别涉及一种人脸识别方法、电子设备及存储介质。

背景技术

二维彩色图像的人脸识别技术已成功的应用于多个领域。但是，实际应用场景中，人脸识别系统的识别率往往因光照、背景、姿态、清晰度等条件的影响而有所下降。三维信息受光照、背景、清晰度等影响较小，因此，三维人脸识别技术成为人脸识别邻域的研究趋势。

然而，三维信息的获取往往需要通过深度相机或激光雷达等设备采集，数据采集设备成本较高。而对于只有二维数据采集设备的人脸识别系统，需要通过二维信息估计得到三维信息。目前，估计三维信息的方法大多采用通过二维彩色图像估计对应的深度图像或者使用人脸重建技术获得人脸三维信息。而通过二维彩色图像估计对应的深度图时，受归一化方法影响，模型收敛较为困难；使用三维形变模型(The Three DimensionalMorphable Model，3DMM)等人脸重建技术估计人脸三维信息时，计算成本及时间成本较高。

发明内容

本发明实施方式的目的在于提供一种人脸识别方法、电子设备及存储介质，使得降低了三维信息的获取成本。

为解决上述技术问题，本发明的实施方式提供了一种人脸识别方法，包括以下步骤：获取二维图像，并基于二维图像获取二维图像对应的法向图；获取二维图像对应的二维特征向量，以及法向图对应的三维特征向量；融合二维特征向量和三维特征向量，得到最终的人脸特征向量；基于最终的人脸特征向量进行人脸识别。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的人脸识别方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的人脸识别方法。

本发明实施方式相对于现有技术而言，通过二维图像估计对应的法向图，法向图能够反映二维图像的三维信息且不需要归一化，易于收敛，降低了三维信息的获取成本，实现了单模态数据下的多模态人脸识别。基于二维图像与法向图分别提取二维特征向量和三维特征向量，将二维特征向量与三维特征向量融合后进行人脸识别，提高了人脸识别的准确率。

另外，融合二维特征向量和三维特征向量，得到最终的人脸特征向量，包括：将二维特征向量和三维特征向量输入特征融合模型，得到最终的人脸特征向量；其中，特征融合模型为用于获得二维特征向量和三维特征向量表征的最终的人脸特征向量的模型。

另外，特征融合模型的训练过程包括：将训练对象的各二维图像样本，以及针对各二维图像样本得到的法向图进行随机组合，得到多组同一训练对象不同内容的训练样本对；使用各组训练样本对中的二维图像样本对应的二维特征向量，以及训练样本对中的法向图对应的三维特征向量，对特征融合模型进行训练。

另外，特征融合模型包括第一融合子模型和第二融合子模型，第一融合子模型用于融合二维特征向量和三维特征向量，以得到融合特征向量的模型；第二融合子模型用于融合二维特征向量、三维特征向量和融合特征向量，以得到最终的人脸特征向量的模型。

另外，第一融合子模型包括第一拼接层和全连接层，第一拼接层用于拼接二维特征向量和三维特征向量，得到第一拼接向量；全连接层用于将输入的第一拼接向量整合得到融合特征向量。