[发明专利]一种融合2D人脸检测和3D人脸识别的方法及装置

权利要求书

1.一种融合2D人脸检测和3D人脸识别的方法，所述方法包括如下步骤：

S100：通过3D深度相机采集RGB图像和深度图像，或采集IR图像和深度图像；

S200：对RGB图像或IR图像进行预处理；

S300：对预处理后的RGB图像或IR图像，根据retinaface 2D检测方法检测人脸，框出人脸边界框以及鼻尖、左右眼、左右嘴角这5个人脸关键点；

S400：将所得到的5个人脸关键点映射到对应的5个XYZ关键点的点云上，对XYZ点云数据集检测到的三维人脸数据点云进行标准化；

S500：根据标准化后的三维人脸数据点云，将其正交投影至指定平面，进行网格拟合，网格拟合后将三维人脸数据点云转变为二维人脸深度图；

S600：将所述二维人脸深度图采用人脸识别方法进行识别，得到人脸识别结果。

2.根据权利要求1所述的方法，优选的，步骤S100中的所述3D深度相机是结构光深度相机或ToF深度相机。

3.根据权利要求1所述的方法，步骤S200进一步包括：根据RGB摄像头和IR深度摄像头的内外参，将深度图像转换为XYZ点云数据集，并得到RGB图像和IR图像像素点映射关系。

4.根据权利要求1所述的方法，步骤S300中retinaface2D检测方法具体为：通过输入预处理后的IR或RGB图像送入主干网络，在人脸检测多任务学习中，除了传统的人脸分类损失函数和face box损失函数，额外标注了人脸5个关键点信息，并以此引入人脸对齐的额外监督信息损失函数，还引入了self-supervised解码分支预测3D人脸信息分支。

5.根据权利要求1所述的方法，步骤S400中的三维人脸数据点云标准化具体步骤如下：以鼻尖作为新的坐标系的原点，左眼到右眼的方向作为新的x轴方向，双眼中点到双嘴角中点的方向作为新的y轴方向，新的z轴由x轴和y轴叉乘运算确定；通过坐标变换得到每个三维人脸在新的坐标系下的坐标值，且所有三维人脸数据均经过变换后朝向、姿态相同。

6.根据权利要求1所述的方法，步骤S500中的所述网格拟合指的是由三维格式转换成为二维格式，二维格式的像素值代表深度值。

7.根据权利要求1所述的方法，步骤S600中的所述人脸识别方法主要由特征点检测、全局特征提取网络GFE、局部特征提取网络LFE和全连接层组成。

8.根据权利要求3所述的方法，其中，所述RGB摄像头和IR深度摄像头内外参通过3D深度相机标定获得。

9.根据权利要求3所述的方法，其中，得到的RGB图像像素点映射关系具体是采用下述方法获得的：RGB图像与深度图像通过标定获得的内外参将两者图像像素对齐。

10.一种融合2D人脸检测和3D人脸识别的装置，包括：

用于通过3D深度相机采集RGB图像和深度图像，或采集IR图像和深度图像的装置；

用于对RGB图像或IR图像进行预处理的装置；

用于对预处理后的RGB图像或IR图像，根据retinaface 2D检测方法检测人脸，框出人脸边界框以及鼻尖、左右眼、左右嘴角这5个人脸关键点的装置；

用于将所得到的5个人脸关键点映射到对应的5个XYZ关键点的点云上，对XYZ点云数据集检测到的三维人脸数据点云进行标准化的装置；

用于根据标准化后的三维人脸数据点云，将其正交投影至指定平面，进行网格拟合，网格拟合后将三维人脸数据点云转变为二维人脸深度图的装置；

用于将所述二维人脸深度图采用人脸识别方法进行识别，得到人脸识别结果的装置。