[发明专利]一种通过简单面部关键点实时估计2D头部姿势的方法

说明书

本研究提出一种用于根据实时2D人体姿势估计系统中的简约面部界标估计头部姿势的系统和方法。本方法结合了简单的面部关键点，面部关键点包含左眼，右眼，左耳，右耳，鼻子和颈部的2D定位。本方法将简单标面部关键点作为输入，并生成包含侧倾，俯仰和偏转角度的三元组，该三元组可以用于2D姿态估计系统中的瞬时头部姿态定向。与基于深度卷积神经网络和机器学习技术的方法不同，本方法作为后处理操作，可大大减少处理开销。

一、技术领域:

本方法涉及人体姿态估计系统领域，更具体的，涉及2D人体姿态估计系统中的头部姿态估计。

二、背景技术:

随着近年来计算机性能的提高以及海量数据捕获能力的提高，人体姿态识别、动作识别、人体监控和虚拟角色控制得到了进一步的研究。人体姿态识别是从一幅输入图像，定位人体2D或3D的关节的技术。人体姿态识别算法的质量取决于其在输入图像中检测每个人所有关节的准确性。由于目前在室外捕获姿态图像技术的限制，人体姿态识别仍然具有挑战性。自我遮挡、物体间遮挡、多人重合、深度模糊、关节的自由度大、捕获图像中的光照条件不同以及衣服布料质地的变化是严重影人体姿态估计系统质量和性能的一些主要因素。

头部姿态识别被认为是人体姿态识别系统的子任务，因此头部姿态识别面临着和人体姿态识别一样的挑战。与关节点检测不同，头部姿态识别系统负责检测面部标志。传统的面部检测系统在每个输入图形实例中检测至少70个面部标志。本系统通过获取输入图像并输出用于头部姿态定向的三个旋转角度，即侧倾、俯仰和偏转角度。大多数头部姿态定向系统使用机器学习或深度卷积神经网络来实现，而深度卷积神经网络需要更大的处理能力。这些方法极大地降低了实时处理系统中的帧率，而处理每个帧所需要的时间是头部姿态识别系统整体性能的一个关键衡量信息。当将处理密集型姿态识别系统与处理密集型头部姿态估计系统级联以组合全身姿态识别系统时，处理时间会也会更加长。由于目前的计算资源和可用方法的限制，这些实现方法并不适用于实时姿态估计系统。此外，计算量较小的头部姿态估计技术使用较大的面部标注集，然而较大的面部标注也会增加计算开销，并且始终难以以可接受的精度检测大型面部数据集。所以这些方法都不适用于实时头部姿态估计。

本方法用简单面部关键点集来估计头部姿态。许多实时的姿态估计系统都可以生成简单面部关键点集以及与头部相连的关节点，从而可以免除重新估计的开销，本方法使用这些简单的面部关键点来估计头部姿态方向。

三、发明内容

本发明将基于单目图像序列化的实时多人2D人体姿态估计系统中的头部姿态估计的方法、过程和模型展现。许多最新的人体姿态估计系统可以输出检测到的姿态，其中包含人体关节以及较少的面部关键点。姿态估计系统检测到的常见面部关键点包括鼻子，左眼，右眼，左耳，右耳和脖子的位置。这些位置被用来估计头部姿态的方向。

2D人体姿势估计器的系统的抽象表示如图1所示，该系统使用的人体姿势估计器(0102)接收实时单目图像序列(0101)作为输入，并且对于每个图像中出现的每个人生成一组包含N个姿态关节点和M 个面部关键点位置的集合(0103)，其中N＝15，M＝6。将检测到的姿态输入伪姿态方向估计器中，该姿态方向估计器生成可能的姿态方向之一。由于人体关节点的自由度很大，因此无法区分面向相机的人体姿态方向。因此我们使用一个专用于本发明的伪姿态方向估计，该姿态方向用于估计头部姿态旋转角。姿态方向连同检测到的面部关键点用于估计头侧倾、俯仰和偏转角(0104)。

通用的2D人体姿势估计系统的结构图如图2所示。通用的2D人体姿态估计系统输入为图像或图像序列(0201)，并让它们通过姿态估计模块(0202)为输入图像中的每个人产生一组2D关节和面部关键点(0203)。对于具有K个人员，N个姿态关节和M个面部标志的特定序列图像，每个姿态关节表示为：

每个面部关键点表示为：