[发明专利]一种人体姿态估计模型及基于其的人体姿态估计方法

说明书

本发明提出一种人体姿态估计模型及基于其的人体姿态估计方法，人体姿态估计模型由卷积神经网络和并联的人体区域分割网络、人体关节定位网络和人体肢干定位网络构成；卷积神经网络用于从输入的二维人体图像中提取人体姿态特征图，作为人体区域分割网络、人体关节定位网络和人体肢干定位网络的输入；人体区域分割网络用于区分人体区域和背景区域，人体关节定位网络用于定位人体的25个关节，人体肢干定位网络用于定位两关节之间的23条肢干。本发明将人体区域分割网络与人体关节定位网络、人体肢干定位网络相结合，以三个网络损失函数的累加和作为整个估计模型的优化目标函数，从而无需对多次迭代得到的损失结果进行叠加处理。

技术领域

本发明涉及人体姿态识别技术领域，尤其是一种人体姿态估计模型及基于其的人体姿态估计方法。

背景技术

人体姿态估计(Human Pose Estimation)是计算机视觉领域中的重要研究方向之一，被广泛应用于人体活动分析、人机交互以及视频监视等方面。人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点，例如肩、肘、腕、髋膝、膝、踝等关节部位。人体姿态估计具有极大的研究意义和实用价值，例如可以用于摔倒监测，可以用于健身、体育和舞蹈等项目教学。在机器人训练领域，人体姿态估计技术能够让机器人“学会”移动自己的关节；在常见的电影特效制作以及交互游戏中，人体姿态估计技术用来追踪人体运动，以实现虚拟人物与现实人物的动作同步与融合。

发明内容

面对人们对人体姿态估计需求的不断提升，本发明提出一种人体姿态估计模型及基于其的人体姿态估计方法，相比于现有人体姿态估计方法，能够快速准确地得到人体姿态估计结果图。

本发明保护一种人体姿态估计模型，由串联的两级网络构成，第一级网络为卷积神经网络，第二级网络为并联的人体区域分割网络、人体关节定位网络和人体肢干定位网络。

所述卷积神经网络用于从输入的二维人体图像中提取人体姿态特征图，作为所述人体区域分割网络、所述人体关节定位网络和所述人体肢干定位网络的输入。

所述人体区域分割网络输出1份特征图，用于区分人体区域和背景区域，所述人体关节定位网络输出25份特征图，用于定位人体的25个关节，所述人体肢干定位网络输出23份特征图，用于定位两关节之间的23条肢干。

整个估计模型的优化目标函数为其中为训练过程中第s次迭代时人体区域分割网络的损失函数，为训练过程中第s次迭代时人体关节定位网络的损失函数，为训练过程中第s次迭代时人体肢干定位网络的损失函数，H(k)表示输入的二维人体图像中的像素点k为人体区域的概率，C_i(k)表示人体第i个关节的特征图，B_m(k)表示人体第m条肢干的特征图，H^s(k)表示训练过程中第s次迭代时输入的二维人体图像中的像素点k为人体区域的概率，表示训练过程中第s次迭代时人体第i个关节的特征图，表示训练过程中第s次迭代时人体第m条肢干的特征图，i表示第i个关节点，m表示第m条肢干，I表示人体关节点总数量，M表示人体肢干总数量。

进一步的，在人体关节定位网络的训练过程中，特征图的目标输出为C_i(k)＝max_jC_i,j(k)，其中表示训练样本图片中第j个人第i个关节的特征图，K表示像素点k的坐标位置，x_i,j表示第j个人第i个关节的位置坐标。而在推理过程中，因为人数未知，因此直接计算各个关节的特征图。推理过程中，C_w(k)表示第w个关节的特征图，代表的意义为即像素点k为关节的概率，K表示像素点k的坐标位置，x_w表示第w个关节的位置坐标。显然，越靠近关节，该特征图的值越接近1，越远离关节，该特征图的值越接近0。

进一步的，在人体肢干定位网络中，其中v(k)是一个二维单位向量，表示第m条肢干的方向；α(k)是标量，表示像素点k属于肢干的置信度，0≤α(k)≤1。

本发明还保护一种人体姿态估计方法，包括以下步骤：