[发明专利]人脸图像处理方法、装置和车辆

说明书

本申请属于机器视觉领域，提供了一种人脸图像处理方法，该方法首先获取人脸图像中的局部人脸形状特征，然后在人脸数据库中获取与所述局部人脸形状特征匹配的人脸样本，以及获取所述人脸样本的人脸形状参数；然后，基于参数化人脸模型，使用所述人脸形状参数生成三维人脸模型，并基于局部人脸区域的点云数据进行拟合，以完成三维人脸重建。本申请由于基于局部人脸形状特征，能够实现在人脸部分被遮挡或被剪裁条件下的三维人脸重建，可以用于智能汽车领域，例如驾驶员监测系统。

技术领域

本发明涉及机器视觉技术领域，尤其涉及人脸图像处理方法、装置和车辆。

背景技术

三维(three-dimensional，3D)人脸重建，是机器视觉、计算机视觉和计算机图形学领域的研究热点。3D人脸的重建是虚拟现实/增强现实、自动驾驶、机器人等领域的核心技术之一，且在智能汽车领域驾驶员状态监测系统(driver monitoring system，DMS)中具有极大的应用价值。

例如，在车辆的处于辅助驾驶或自动驾驶状态时，会允许驾驶员从一些任务中解脱出来，但又需要驾驶员随时准备接管车辆，从而使得实时监控驾驶员注意力状态至关重要。3D人脸重建是监测驾驶员头部姿态、视线方向的基础技术之一，直接影响到人机交互、DMS的性能。

对车辆乘员进行状态监测时，经常有人手、方向盘、手机、食物导致的人脸图像遮挡情况的出现，而遮挡对3D人脸重建的性能有很大的影响。遮挡人脸图像可分为无意遮挡和有意遮挡。常见的无意遮挡包括眼镜、方向盘、他人挡住被监测人员脸部的情形，而有意遮挡通常包括墨镜、口罩或是其他物体挡住面部五官的情况。有意遮挡通常由于特征变化过大，会导致3D人脸重建失败，无意遮挡通常仅遮挡小部分面部特征，容易导致特征提取过程中引入过多干扰特征，使3D人脸重建失真。

遮挡物体的不确定性以及遮挡区域的不确定性，使人脸图像的固有特征呈现为各种局部特征的缺失，限制了3D人脸重建的应用场景，因此，有待提供一种在遮挡条件下具有良好鲁棒性的3D人脸重建新方法。

发明内容

鉴于以上问题，本申请实施例提供了一种人脸图像处理方案，该方案包括人脸图像处理方法、装置、车辆、计算设备、计算机可读存储介质和计算机程序产品，可以实现在人脸部分被遮挡条件下的三维人脸重建。

为达到上述目的，本申请第一方面，提供了一种人脸图像处理方法，包括：获取人脸图像中的局部人脸形状特征；获取与局部人脸形状特征匹配的人脸样本，获取人脸样本的人脸形状参数；使用人脸形状参数生成三维人脸模型。

本申请实施例根据与局部人脸形状相匹配的人脸样本的信息生成三维人脸模型，降低了遮挡物的干扰，适用于人脸遮挡场景下的3D人脸重建，具有高鲁棒性的特点。

当基于本申请实施例的人脸图像处理方法应用于智能车辆(例如智能车辆中的驾驶员状态监测系统)时，可以实现在乘员(乘员指驾驶员或乘客)脸部有遮挡的情况下进行三维人脸重建，并进一步可基于重建的三维人脸进行头部姿态和/或视线方向进行识别，由此可以提升驾驶员状态监测系统的鲁棒性与稳定性。

作为第一方面的一种可能的实现方式，还包括：将生成的三维人脸模型与局部人脸区域的点云数据进行拟合，该局部人脸区域包含于人脸图像。

由上，通过上述拟合过程，可以实现进一步细节的3D人脸重建，或称为3D人脸的优化。其中，该拟合可以包括拟合嘴唇，眼睛等参数，可以实现所重建的3D人脸与用户真实外观更为贴近。

作为第一方面的一种可能的实现方式，上述拟合包括：获取局部人脸区域的关键点，获取关键点的三维坐标；将三维人脸模型根据关键点的三维坐标进行姿态变换；将姿态变换后的三维人脸模型与局部人脸区域的点云数据进行拟合。