[发明专利]人体姿态估计方法、装置及终端设备

说明书

本申请实施例提供了一种人体姿态估计方法、装置及终端设备，其中方法包括：提取图像的第一特征数据，向二维人体姿态估计模型输入第一特征数据，通过二维人体姿态估计模型输出二维人体姿态关键点特征图及二维人体关节连接特征图、及第二特征数据；向三维人体姿态估计模型输入第一特征数据及第二特征数据，通过三维人体姿态估计模型输出三维人体姿态关键点特征图；根据二维人体姿态关键点特征图、二维人体关节连接特征图及三维人体姿态关键点特征图，确定二维人体姿态关键点特征图中各人体的人体关键点二维位置、及各人体的人体关键点三维位置。这样，可以同时实现人体关键点二维位置及三维位置检测，减低时间开销。

技术领域

本申请涉及人机交互技术领域，尤其涉及一种人体姿态估计方法、装置及终端设备。

背景技术

随着智能控制和人机交互技术逐渐推广应用，人类与机器的交互日渐频繁。利用机器来分析人们的情绪、行为等的需求越来越迫切。行为识别可以包括对教育场景中的课堂举手检测、瞌睡检测、站立检测、走神检测等行为进行识别，也可以包括对安防领域的打架斗殴、溺水、呼救等行为进行识别。

在对人进行行为识别过程中，对人的姿态动作分析具有格外重要的意义。单纯的人体检测无法对人体姿态做出详细分析，因此获取人体骨骼的运动状态十分必要。当前人体姿态估计可分为多人人体姿态估计和单人人体姿态估计，多人人体姿态估计或单人人体姿态估计又分别包括2D人体姿态估计和3D人体姿态估计的检测。

现有技术中单人人体姿态估计是通过在图像中使用人体检测器检测出每个人体的位置，再对每个人体的检测矩形区域进行关键点的定位。

现有技术中，2D人体姿态估计大致可分为两个思路，一是自顶向下(top-down)方案，典型的是AlphaPose，首先利用人体检测器检测出图像中的所有人体，再对每个人体进行单人人体姿态估计，top-down方案对人体检测的精度有较高要求，人体检测的准确度很大程度影响关键点的准确度，而且人数越多，总体时间开销会越大。另一种是自低向上(bottom-up)方案，典型的是Openpose，首先从全图中检测所有人的所有关键点的位置，然后将点分配到每个人，该方案的优点是图像中的人数不会影响推理速度，但是精度略低于top-down方案。多人3D人体姿态估计是从图像中预测出相机系下的坐标位置或者以自身某个关键点为零点，计算其他关键点相对于零点的空间相关的位置。现有技术提供的方案智能单独实现2D人体姿态估计或3D人体姿态估计，无法同时实现2D人体姿态估计及3D人体姿态估计，存在人体姿态估计的时间消耗比较大的问题。

发明内容

为了解决上述技术问题，本申请实施例提供了一种人体姿态估计方法、人体姿态估计模型的训练方法、装置、终端设备及计算机可读存储介质。

第一方面，本申请实施例提供了一种人体姿态估计方法，所述方法包括：

提取图像的第一特征数据，向二维人体姿态估计模型输入所述第一特征数据，通过所述二维人体姿态估计模型输出二维人体姿态关键点特征图及二维人体关节连接特征图、及第二特征数据；

向三维人体姿态估计模型输入所述第一特征数据及所述第二特征数据，通过所述三维人体姿态估计模型输出三维人体姿态关键点特征图；

根据所述二维人体姿态关键点特征图、所述二维人体关节连接特征图及所述三维人体姿态关键点特征图，确定所述二维人体姿态关键点特征图中各人体的人体关键点二维位置、及所述各人体的人体关键点三维位置。

第二方面，本申请实施例提供了一种人体姿态估计模型的训练方法，所述人体姿态估计模型包括待训练的二维人体姿态估计模型及待训练的三维人体姿态估计模型，所述方法包括：

控制冻结所述待训练的三维人体姿态估计模型，向所述待训练的二维人体姿态估计模型输入二维人体关键点数据进行训练得到训练好的二维人体姿态估计模型，其中，所述二维人体关键点数据包括标注人体关键点二维位置信息的图像数据；