[发明专利]面部姿态的检测装置、方法、图像处理系统及存储介质

权利要求书

1.一种面部姿态的检测装置，其特征在于，所述检测装置包括：

获得单元，基于预先生成的神经网络，从输入图像中获得至少一个面部的至少3个关键点；其中，经由所述神经网络中用于得到坐标的层所得到的关键点的坐标均为三维坐标；以及

确定单元，针对所述至少一个面部，基于获得的关键点确定该面部的姿态；其中，确定的面部姿态至少包括一个维度的角度。

2.根据权利要求1所述的检测装置，其中，在所述输入图像包括不同尺度的面部的情况下，所述获得单元基于所述神经网络同时获得各面部的至少3个关键点。

3.根据权利要求1所述的检测装置，其中，所述确定单元包括：

向量确定单元，针对所述至少一个面部，基于获得的关键点确定该面部的法向量；以及

姿态估计单元，针对所述至少一个面部，基于该面部的法向量估计该面部的姿态。

4.根据权利要求3所述的检测装置，其中，针对所述至少一个面部，在所述获得单元获得的是该面部的3个关键点的情况下，该3个关键点能够表示该面部的朝向。

5.根据权利要求3所述的检测装置，其中，针对所述至少一个面部，在所述获得单元获得的是该面部的多于3个的关键点的情况下，所述向量确定单元：

从所获得的关键点中选择能够表示该面部的朝向的关键点；以及

基于选择的关键点确定该面部的法向量。

6.根据权利要求3所述的检测装置，其中，所述姿态估计单元：

基于该面部的法向量分别估计该面部的偏航角和俯仰角；以及

基于该面部的法向量以及估计的偏航角和俯仰角，估计该面部的翻滚角。

7.根据权利要求1或2所述的检测装置，其中，针对所述至少一个面部，所述获得单元基于所述神经网络进一步获得该面部的姿态。

8.根据权利要求7所述的检测装置，所述检测装置进一步包括：

更新单元，针对所述至少一个面部，基于获得的面部姿态和从所述神经网络获得的权重，更新所述确定的面部姿态。

9.根据权利要求2所述的检测装置，其中，通过如下方式预先生成所述神经网络：

获取对其中的面部标注了关键点的样本图像及获取预先定义的、能覆盖样本图像中的面部的参考区域；其中，所述样本图像包括至少一个面部；其中，针对一个面部，标注的关键点至少为3个，标注的关键点的坐标为三维坐标；其中，预先定义的参考区域的中心点的坐标为三维坐标；

基于预先定义的参考区域，将所述样本图像经由所述神经网络得到各面部的预测关键点；

基于损失函数值更新所述神经网络，其中所述损失函数值基于各面部的标注的关键点和各面部的预测的关键点确定。

10.根据权利要求7所述的检测装置，其中，通过如下方式预先生成所述神经网络：

获取对其中的面部标注了关键点和姿态的样本图像及获取预先定义的、能覆盖样本图像中的面部的参考区域；其中，所述样本图像包括至少一个面部；其中，针对一个面部，标注的关键点至少为3个，标注的关键点的坐标为三维坐标，标注的姿态至少包括一个维度的角度；其中，预先定义的参考区域的中心点的坐标为三维坐标；

基于预先定义的参考区域，将所述样本图像经由所述神经网络得到各面部的预测关键点和预测姿态；

基于第一损失函数值更新所述神经网络中用于得到面部的预测关键点的部分以及基于第二损失函数值更新所述神经网络中用于得到面部的预测姿态的部分，其中所述第一损失函数值基于各面部的标注的关键点和各面部的预测的关键点确定，所述第二损失函数值基于各面部的标注的姿态和各面部的预测的姿态确定。