[发明专利]一种估计三维人体姿态及手部信息的方法

摘要

本发明为一种估计三维人体姿态及手部信息的方法，实现了一种新的以彩色深度相机单帧数据来自动准确的同时估计人体和手部的姿态以及人体实际体形的独特方法。首先将深度相机的关节预测与深度学习从彩色图预测关节的方法结合，同时获取人体的头部的转向解决现有技术不能匹配头部姿态的问题。同时，在人体估计中同时还原人手的姿态，使人体结果更形象具体，使用深度学习的方法从彩色图预测出手的3D姿态，然后使用3D人体关节拟合能量模型来完成人体姿态与最新的参数化人体模型SMPL+H的拟合。最后将获取的人体表面点云与拟合的模型进行配准提升人体形状估计的精确程度。籍此估计出一个准确的包含手部真实姿态的三维人体模型。

主权项

1.一种估计三维人体姿态及手部信息的方法，其特征在于，由计算机按如下步骤进行：步骤1：通过景深彩色相机获取彩色图与深度图，并传递至计算机；所述景深彩色相机，可由RGB相机和深度相机/红外相机替代；步骤2：由计算机进行混合关节预测；步骤3：由计算机拟合人体模型到关节点，并约束头部方向估计人体姿态和体型；步骤4：由计算机使用点云数据对拟合结果进行细节优化；步骤5：由计算机对拟合过程进行优化，并输出结果。