[发明专利]模型训练方法、人体姿态估计方法、装置、设备及介质

说明书

本发明公开了一种模型训练方法、人体姿态估计方法、装置、设备及介质，包括：获取姿态估计模型的训练数据，其中，所述训练数据包括预设视频所包含的二维图像；将所述训练数据输入所述姿态估计模型中，对所述姿态估计模型预估的时空信息进行多尺度的运动编码，并计算所述训练数据对应的运动损失函数；基于所述运动损失函数对所述姿态估计模型进行训练，以调整所述姿态估计模型的参数，直至所述姿态估计模型满足预设收敛条件。本发明实施例提供的技术方案，可以动态地调节运动损失函数对应的参数，使得训练后得到的模型更加准确，进而在从连续二维姿势估算三维姿势时，能够更加准确地估计出人体的姿态，而且能够减小人体姿态估计的误差。

技术领域

本发明实施例涉及计算机视觉技术，尤其涉及一种模型训练方法、人体姿态估计方法、装置、设备及介质。

背景技术

基于视频的三维人体姿态估计，以视频作为输入，可以通过三维姿态估计模型估计视频中目标运动的三维结构，并推断目标的深度信息，以便在每个帧中进行三维姿态估计。

现有方法中，用于监督学习三维姿态估计模型的常见损失函数可以为闵可夫斯基损失函数。通过计算闵可夫斯基距离，计算三维空间中预测的关键点相对于样本中的真实位置的整体位置误差。但是闵可夫斯基距离存在突出的限制，依赖其的三维姿态估计模型没有考虑估计姿势序列和真实姿势序列之间在时间维度上的相似性。

由上可知道在闵可夫斯基距离的监督下，三维姿态估计模型很难从样本的关键点轨迹中学习到运动信息，因此基于三维姿态估计模型下的预测，很难获得人体运动合理的姿势轨迹。

发明内容

本发明提供一种模型训练方法、人体姿态估计方法、装置、设备及介质，以实现通过设计的运动损失函数很好的拟合训练数据和验证结果。

第一方面，本发明实施例提供了一种模型训练方法，包括：

基于空间维度和时间维度构建姿态估计模型；

获取姿态估计模型的训练数据，其中，所述训练数据包括预设视频所包含的二维图像；

将所述训练数据输入所述姿态估计模型中，对所述姿态估计模型预估的时空信息进行多尺度的运动编码，并计算所述训练数据对应的运动损失函数；

基于所述运动损失函数对所述姿态估计模型进行训练，以调整所述姿态估计模型的参数，直至所述姿态估计模型满足预设收敛条件。

进一步地，所述姿态估计模型包括上采样模块、下采样模块和合并模块，

所述姿态估计模型基于下述步骤处理所述训练数据：

在上采样模块，基于预设公式对所述训练数据进行抽取，获取到所述训练数据的关节信息，得到第一数据；

在所述下采样模块，恢复所述第一数据的分辨率，得到第二数据；

在所述合并模块，将包括不同时间信息的至少一个所述第二数据进行融合，得到三维空间坐标；

在运动损失监督学习模块，每个关键点的三维空间坐标由U型时空图卷积网络估算，以端到端的方式进行运动损失的监督。

进一步地，将所述训练数据输入所述姿态估计模型之后，还包括：

提取所述二维图像的人体姿态关键点及骨架的轮廓序列数据；

对所述人体姿态关键点及所述骨架的轮廓序列进行特征提取，得到基于时间与空间的人体关键点集，其中，所述人体关键点集包括骨骼的关节点及连边的向量信息与置信度信息。

进一步地，将所述训练数据输入所述姿态估计模型中，对所述姿态估计模型预估的时空信息进行多尺度的运动编码，并计算所述训练数据对应的运动损失函数，包括：