[发明专利]一种3D人体姿态估计模型的构建方法及其应用

说明书

本发明公开了一种3D人体姿态估计模型的构建方法及其应用，属于人体姿态估计领域；其中，3D人体姿态估计模型包括M个特征提取模块和与各特征提取模块相连的特征融合模块；本发明充分利用了人体在空间结构上的多尺度特征以及时间维度上关节点的长期运动特征，通过M个特征提取模块分别在多个不同感受野大小上提取输入的人体2D骨架时序数据在时间维度上的运动特征和在空间维度上的空间结构特征，得到多个不同尺度的融合时空特征，并通过特征融合模块对不同尺度的融合时空特征进行融合，有效的提升了模型对于人体2D骨架序列的特征提取能力，提高了3D姿态估计网络的预测精度。

技术领域

本发明属于人体姿态估计领域，更具体地，涉及一种3D人体姿态估计模型的构建方法及其应用。

背景技术

3D人体姿态估计是指通过RGB图像或视频，对于人体关节点的3D坐标进行预测，相比于传统的2D姿态估计方法，由于3D姿态具备立体的空间结构信息，在行为识别、人机交互等场景下都有重要应用价值。

当前基于视频的3D人体姿态估计方法大致可以分为两类，一类采用端到端方式，利用深度学习网络直接从输入的RGB视频中预测出人体3D关节点位置；另一类则采用两阶段方式，首先利用已有的2D姿态估计网络从输入视频中提取出人体的2D骨架，然后利用连续的多帧2D骨架进行3D关节点预测。

对于端到端的3D姿态估计方法，由于其输入是二维图像矩阵，所以网络在学习过程中可以获得更多的颜色、纹理等对于关节点恢复有用的信息，但是相对的当输入视频的场景过于复杂或是目标和背景区分不大时，端到端的方式也更容易受到颜色、光照等因素的影响。并且端到端的网络在训练时需要有3D骨架关节点的真实坐标作为训练监督，由于此类数据非常难以获取，当前可供使用的数据集较少场景也较为单一，导致此类网络精度和泛化能力都较差。而对于两阶段的3D姿态估计方法，由于当前2D姿态估计网络已经非常成熟，具备较高的精度和较强的泛化能力，通过2D姿态估计网络从RGB图像中估计出人体的2D骨架，消除掉图像中背景、光照等因素的影响，然后构建2D骨架到3D骨架的预测网络，实现3D人体姿态估计，这个过程也使得模型整体对于不同场景具备了一定的泛化能力。尽管如此，当前两阶段的3D姿态估计方法也仍然存在诸多问题，例如当前已有的基于单目视频的两阶段3D姿态估计网络往往需要大量骨架帧作为输入才能获得较为准确的3D人体姿态，导致模型在姿态估计速度上较慢。且当前网络往往过度关注于时间或空间单一维度的特征，3D姿态估计的精度较低。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种基于时空特性融合的3D人体姿态估计方法，用以解决采用现有技术进行3D姿态估计精确度较低的技术问题。

为了实现上述目的，第一方面，本发明提供了一种3D人体姿态估计模型的构建方法，包括以下步骤：

S1、搭建3D人体姿态估计模型；其中，3D人体姿态估计模型包括M个特征提取模块和与各特征提取模块相连的特征融合模块；M大于或等于2；

M个特征提取模块用于对输入的人体2D骨架时序数据在M个不同感受野大小上进行时域卷积和图卷积，以提取其在时间维度上的运动特征和在空间维度上的空间结构特征，从而得到M个不同尺度的时空特征；人体2D骨架时序数据为Q帧人体各关节点的2D位置数据；Q大于或等于2；

特征融合模块用于将M个不同尺度的时空特征进行融合，得到人体各关节点3D位置的预测值；

S2、以最小化人体各关节点3D位置的预测值与真实值之间的差异以及最小化估计到的左右对称的关节长度的差异为目标，采用预采集好的训练集训练3D人体姿态估计模型；其中，训练集中的训练样本包括2D骨架时序数据及其对应的各关节点的3D位置数据。

进一步优选地，第一个特征提取模块包括级联的第一时域卷积单元、图卷积单元和第二时域卷积单元；