[发明专利]面部姿态的检测装置、方法、图像处理系统及存储介质

说明书

本公开公开一种面部姿态的检测装置、方法、图像处理系统及存储介质。所述检测装置包括：获得单元，基于预先生成的神经网络，从输入图像中获得至少一个面部的至少3个关键点，其中，经由神经网络中用于得到坐标的层所得到的关键点的坐标均为三维坐标；以及，确定单元，针对所述至少一个面部，基于获得的关键点确定该面部的姿态，其中，确定的面部姿态至少包括一个角度。根据本公开，可提高面部关键点的三维坐标的准确性，从而可提高面部姿态的检测精度。

技术领域

本公开涉及图像处理，尤其涉及例如面部姿态的检测装置、方法、图像处理系统及存储介质。

背景技术

当前，面部姿态检测被广泛地用于诸如辅助驾驶等各种应用。随着深度学习的发展，诸如神经网络等深度学习被越来越多地用于面部姿态检测。通常的做法例如是：利用神经网络从输入图像中检测出面部关键点，之后利用与各维度对应的姿态估计方法，基于检测出的面部关键点估计面部姿态在各维度的角度。

其中，关于如何从输入图像中检测出面部关键点的三维坐标的问题，非专利文献“How far are we from solving the 2D3D Face Alignment problem？”(Adrian Bulat,Georgios Tzimiropoulos；ICCV2017)提出了一种示例性的方法。该非专利文献公开了一种基于二维坐标生成三维坐标的示例性方法，其主要包括：从输入图像中检测出所有的面部区域；针对每一个面部区域，分别利用第一神经网络从该面部区域获得面部关键点的二维坐标；针对每一个面部区域，分别利用第二神经网络并基于所获得的关键点的二维坐标，从该面部区域获得面部关键点的第三维坐标。

如上所述可知，在上述示例性方法中，面部关键点的三维坐标是通过先获得面部区域、再获得二维坐标、然后获得第三维坐标这三个阶段的操作来得到的，从而在任何一个阶段的操作出现错误的情况下，这些错误都将影响最终获得的面部关键点的三维坐标的准确性，从而最终影响面部姿态的检测精度。此外，在错误出现时，由于无法直接确定是哪一个阶段的操作出现了错误，从而也导致在生成神经网络时的调试成本提高。

发明内容

鉴于上面的背景技术中的记载，本公开旨在解决上述问题中的至少一点。

根据本公开的一个方面，提供一种面部姿态的检测装置，所述检测装置包括：获得单元，基于预先生成的神经网络，从输入图像中获得至少一个面部的至少3个关键点；其中，经由所述神经网络中用于得到坐标的层所得到的关键点的坐标均为三维坐标；以及确定单元，针对所述至少一个面部，基于获得的关键点确定该面部的姿态；其中，确定的面部姿态至少包括一个维度的角度。其中，在输入图像包括不同尺度的面部的情况下，所述获得单元基于神经网络同时获得各面部的至少3个关键点。

根据本公开的另一个方面，提供一种面部姿态的检测方法，所述检测方法包括：获得步骤，基于预先生成的神经网络，从输入图像中获得至少一个面部的至少3个关键点；其中，经由所述神经网络中用于得到坐标的层所得到的关键点的坐标均为三维坐标；以及确定步骤，针对所述至少一个面部，基于获得的关键点确定该面部的姿态；其中，确定的面部姿态至少包括一个维度的角度。其中，在输入图像包括不同尺度的面部的情况下，在所述获得步骤中，基于神经网络同时获得各面部的至少3个关键点。

根据本公开的再一方面，提供一种图像处理系统，所述系统包括：图像获取装置，用于获取包括至少一个面部的图像；面部姿态的检测装置；以及后处理装置，基于确定的面部姿态进行相应的后处理。其中，所述面部姿态的检测装置包括：获得单元，基于预先生成的神经网络，从获取的图像中获得至少一个面部的至少3个关键点；其中，经由所述神经网络中用于得到坐标的层所得到的关键点的坐标均为三维坐标；以及确定单元，针对所述至少一个面部，基于获得的关键点确定该面部的姿态；其中，确定的面部姿态至少包括一个维度的角度。其中，所述图像获取装置、面部姿态的检测装置和后处理装置经由网络相互连接。