[发明专利]模型训练方法、人体姿态估计方法、装置、设备及介质

权利要求书

1.一种模型训练方法，其特征在于，包括：

基于空间维度和时间维度构建姿态估计模型；

获取所述姿态估计模型的训练数据，其中，所述训练数据包括预设视频所包含的二维图像；

将所述训练数据输入所述姿态估计模型中，对所述姿态估计模型预估的时空信息进行多尺度的运动编码，并计算所述训练数据对应的运动损失函数；

基于所述运动损失函数对所述姿态估计模型进行训练，以调整所述姿态估计模型的参数，直至所述姿态估计模型满足预设收敛条件。

2.根据权利要求1所述的模型训练方法，其特征在于，所述姿态估计模型包括上采样模块、下采样模块合并模块和运动损失监督学习模块，

所述姿态估计模型基于下述步骤处理所述训练数据：

在所述上采样模块，基于预设公式对所述训练数据进行抽取，获取到所述训练数据的关节信息，得到第一数据；

在所述下采样模块，恢复所述第一数据的分辨率，得到第二数据；

在所述合并模块，将包括不同时间信息的至少一个所述第二数据进行融合，得到三维空间坐标；

在运动损失监督学习模块，每个关键点的三维空间坐标由U型时空图卷积网络估算，以端到端的方式进行运动损失的监督。

3.根据权利要求1所述的模型训练方法，其特征在于，将所述训练数据输入所述姿态估计模型之后，还包括：

提取所述二维图像的人体姿态关键点及骨架的轮廓序列数据；

对所述人体姿态关键点及所述骨架的轮廓序列进行特征提取，得到基于时间与空间的人体关键点集，其中，所述人体关键点集包括骨骼的关节点及连边的向量信息与置信度信息。

4.根据权利要求1所述的模型训练方法，其特征在于，将所述训练数据输入所述姿态估计模型中，对所述姿态估计模型预估的时空信息进行多尺度的运动编码，并计算所述训练数据对应的运动损失函数，包括：

在至少一个时间尺度对U型时空图卷积网络提取的向量信息进行编码，得到运动编码；

基于所述运动编码和预设运动损失公式，计算所述运动损失函数。

5.根据权利要求1所述的模型训练方法，其特征在于，基于所述运动损失函数对所述姿态估计模型进行训练，以调整所述姿态估计模型的参数，直至所述姿态估计模型满足预设收敛条件，包括：

基于预设优化算法，调整所述姿态估计模型的参数，直至所述运动损失函数小于预设值。

6.一种人体姿态估计方法，其特征在于，包括：

获取待估计姿态的人类活动影像数据；

将所述人类活动影像数据输入至预设姿态估计模型中，其中，所述预设姿态估计模型通过如权利要求1-5任一所述的方法训练得到；

根据所述预设姿态估计模型的输出结果对所述人类活动影像数据中的人体姿态进行预测。

7.一种模型训练装置，其特征在于，包括：

构建模块，用于基于空间维度和时间维度构建姿态估计模型；

获取模块，用于获取所述姿态估计模型的训练数据，其中，所述训练数据包括预设视频包含的二维图像；

计算模块，用于将所述训练数据输入所述姿态估计模型中，对所述姿态估计模型预估的时空信息进行多尺度的运动编码，并计算所述训练数据对应的运动损失函数；

训练模块，用于基于所述运动损失函数对所述姿态估计模型进行训练，以调整所述姿态估计模型的参数，直至所述姿态估计模型满足预设收敛条件。

8.一种人体姿态估计装置，其特征在于，包括：

执行模块，用于获取待估计姿态的人类活动影像数据；

输入模块，用于将所述人类活动影像数据输入至预设姿态估计模型中，其中，所述预设姿态估计模型通过如权利要求1-5任一所述的方法训练得到；

预测模块，用于根据所述预设姿态估计模型的输出结果对所述人类活动影像数据中的人体姿态进行预测。