[发明专利]一种融合2D人脸检测和3D人脸识别的方法及装置

说明书

一种融合2D人脸检测和3D人脸识别的方法，包括：通过3D深度相机采集RGB图像和深度图像，或采集IR图像和深度图像；对RGB图像或IR图像进行预处理；对预处理后的RGB图像或IR图像，根据retinaface 2D检测方法检测人脸，框出人脸边界框及鼻尖、左右眼、左右嘴角这5个人脸关键点；将5个人脸关键点映射到对应的5个XYZ关键点的点云上，对XYZ点云数据集检测到的三维人脸数据点云进行标准化；根据标准化后的三维人脸数据点云，将其正交投影至指定平面，进行网格拟合，网格拟合后将三维人脸数据点云转变为二维人脸深度图；将二维人脸深度图采用人脸识别方法进行识别，得到人脸识别结果。

技术领域

本公开属于计算机视觉、图像识别技术领域，特别涉及一种融合2D人脸检测和3D人脸识别的方法及装置。

背景技术

人脸识别作为一种有效的非侵入性的生物识别技术，自计算机视觉发展以来就迅速成为监控、安全和娱乐领域的首选工具。相对于其他生物识别技术，如虹膜识别、指纹和掌纹识别等，人脸识别具有非接触式、交互性强、易于采集等有点，成为城市安防、设备解锁、人机交互、虚拟现实、数字媒体等技术的基础，并发挥出越来越多的作用。

2D与3D人脸识别同属计算机视觉领域。由于2D图像是三维物体在平面上的投影，2D人脸识别的性能会受到光照、姿态、表情等外界因素干扰，从而影响准确性。因此，如何充分利用人脸的二维和三维信息，如何提高人脸识别的识别率，特别是在人脸遮挡、光照条件不好、拍摄角度不佳等场景下提高人脸识别的识别率是当前亟需解决的关键问题之一。

发明内容

为了解决上述问题，本公开提供了一种融合2D人脸检测和3D人脸识别的方法，所述方法包括如下步骤：

S100：通过3D深度相机采集RGB图像和深度图像，或采集IR图像和深度图像；

S200：对RGB图像或IR图像进行预处理；

S300：对预处理后的RGB图像或IR图像，根据retinaface 2D检测方法检测人脸，框出人脸边界框以及鼻尖、左右眼、左右嘴角这5个人脸关键点；

S400：将所得到的5个人脸关键点映射到对应的5个XYZ关键点的点云上，对XYZ点云数据集检测到的三维人脸数据点云进行标准化；

S500：根据标准化后的三维人脸数据点云，将其正交投影至指定平面，进行网格拟合，网格拟合后将三维人脸数据点云转变为二维人脸深度图；

S600：将所述二维人脸深度图采用人脸识别方法进行识别，得到人脸识别结果。

本公开还提供了一种融合2D人脸检测和3D人脸识别的装置，包括：

用于通过3D深度相机采集RGB图像和深度图像，或采集IR图像和深度图像的装置；

用于对RGB图像或IR图像进行预处理的装置；

用于对预处理后的RGB图像或IR图像，根据retinaface 2D检测方法检测人脸，框出人脸边界框以及鼻尖、左右眼、左右嘴角这5个人脸关键点的装置；

用于将所得到的5个人脸关键点映射到对应的5个XYZ关键点的点云上，对XYZ点云数据集检测到的三维人脸数据点云进行标准化的装置；

用于根据标准化后的三维人脸数据点云，将其正交投影至指定平面，进行网格拟合，网格拟合后将三维人脸转变为二维人脸深度图的装置；

用于将所述二维人脸深度图采用人脸识别方法进行识别，得到人脸识别结果的装置。