[发明专利]一种人体姿态估计模型及基于其的人体姿态估计方法

权利要求书

1.一种人体姿态估计模型，其特征在于，由串联的两级网络构成，第一级网络为卷积神经网络，第二级网络为并联的人体区域分割网络、人体关节定位网络和人体肢干定位网络；所述卷积神经网络用于从输入的二维人体图像中提取人体姿态特征图，作为所述人体区域分割网络、所述人体关节定位网络和所述人体肢干定位网络的输入；所述人体区域分割网络输出1份特征图，用于区分人体区域和背景区域；所述人体关节定位网络输出25份特征图，用于定位人体的25个关节；所述人体肢干定位网络输出23份特征图，用于定位两关节之间的23条肢干；

整个估计模型的优化目标函数为其中为训练过程中第s次迭代时人体区域分割网络的损失函数，为训练过程中第s次迭代时人体关节定位网络的损失函数，为训练过程中第s次迭代时人体肢干定位网络的损失函数，H(k)表示输入的二维人体图像中的像素点k为人体区域的概率，C_i(k)表示人体第i个关节的特征图，B_m(k)表示人体第m条肢干的特征图，H^s(k)表示训练过程中第s次迭代时输入的二维人体图像中的像素点k为人体区域的概率，表示训练过程中第s次迭代时人体第i个关节的特征图，表示训练过程中第s次迭代时人体第m条肢干的特征图，i表示第i个关节点，m表示第m条肢干，I表示人体关节点总数量，M表示人体肢干总数量。

2.根据权利要求1所述的人体姿态估计模型，其特征在于，在人体关节定位网络中，C_i(k)＝max_jC_i，j(k)，其中表示第j个人第i个关节的特征图，K表示像素点k的坐标位置，x_i，j表示第j个人第i个关节的位置坐标。

3.根据权利要求2所述的人体姿态估计模型，其特征在于，在人体肢干定位网络中，其中v(k)是一个二维单位向量，表示第m条肢干的方向；α(k)是标量，表示像素点k属于肢干的置信度，0≤α(k)≤1。

4.一种人体姿态估计方法，其特征在于，包括以下步骤：

步骤1，向权利要求3所述的人体姿态估计模型中输入待处理的二维人体图像；

步骤2，卷积神经网络提取该二维人体图像中的人体姿态特征图，并分别输入人体区域分割网络、人体关节定位网络和人体肢干定位网络；

步骤3，人体区域分割网络输出该二维人体图像中的人体区域分割特征图，人体关节定位网络输出该二维人体图像中每个人所有关节的特征图，人体肢干定位网络输出该二维人体图像中每个人所有肢干的方向特征图和置信度特征图；

步骤4，人体区域分割特征图的概率值大于预设值P的像素点k则判定为人体区域，否则判定为非人体区域；人体关节定位网络分别取特征图概率值最大的前N个点作为每个关节点的N个备选点；人体肢干定位网络分别取置信度特征图概率值最大的前Q条肢干作为每条肢干的Q个备选范围；

步骤5，该二维人体图像中任意像素点k的人体区域分割特征图概率值分别与25个关节点特征图概率值相乘用于表征该像素点k既是人体区域又是某关节的概率，取各关节特征图乘积概率值前R的点，得到25*R个关节备选点；

步骤6，该二维人体图像中任意像素点k的人体区域分割特征图概率值分别与23条肢干置信度特征图概率值相乘用于表征该像素点k既是人体区域又是某肢干的概率，取各肢干特征图乘积概率值前U的点，得到23*U条肢干备选范围；

步骤7，比对关节备选点与肢干备选项，若关节备选点与肢干两端点的距离小于预设值，则该关节备选点为关节点，该肢干备选项为肢干，最终得到关节点、肢干及其坐标信息；

步骤8，根据得到的关节点和肢干识别结果，完成人体姿态估计，根据坐标信息绘制人体姿态估计结果图，显示并保存结果图。