[发明专利]人体三维关键点预测方法、装置及电子设备

说明书

本申请提供一种人体三维关键点预测方法、装置及电子设备，涉及人体关键点预测技术领域，其中，该方法包括：将健身图像输入至预先训练的人体检测模型中，得到至少一个人体位置检测区域，再根据各人体位置检测区域确定待检测图像，最后将待检测图像输入至预先训练的关键点预测模型中，得到人体三维关键点和姿态属性，其中，人体检测模型和关键点预测模型均是基于训练样本集训练得到的，训练样本集中包括多个训练样本，每个训练样本包括样本健身图像、样本健身图像对应的人体位置检测区域、姿态属性和人体三维关键点。本申请提供的技术方案可以采用经过姿态属性训练的关键点预测模型，提高在特殊动作场景下人体三维关键点预测算法的识别率。

技术领域

本申请涉及人体关键点预测技术，尤其涉及一种人体三维关键点预测方法、装置及电子设备，属于人体三维关键点预测技术领域。

背景技术

人体关键点预测又称为人体姿态估计，是实现人体动作识别、行为分析、人机交互等一系列任务的前置任务，因此，该任务是计算机视觉中一个比较重要的任务。

人体关键点预测具体可以包括二维关键点预测和三维关键点预测，其中，二维关键点预测的算法比较成熟，具体包括美国卡耐基梅隆大学姿态估计算法(Openpose)、卷积姿态识别器(Convolutional Pose Machines，CMP)和_{高分辨率网络}(High-Resoultion Net，HRNet)等算法。在二维关键点技术的基础上，发展出了三维人体姿态(3D Human Pose)和人体姿态视频推理(Video Inference for Human Body Pose，VIBE)等基于单帧图像或视频流的三维关键点预测算法。二维关键点预测和三维关键点预测的主要区别在于三维关键点预测包含了深度信息，因此，三维关键点具有更准确、更广泛的应用场景。例如，借助三维关键点预测技术在健身辅助场景中，计算机可以根据健身过程中的人体三维关键点数据对被测试者的健身动作进行分析，然后根据分析结果进行健身指导。

但是，目前的三维关键点预测算法主要针对的是通用动作场景，对于特殊动作场景(例如体前屈、俯卧撑等健身动作)的识别率较低。

发明内容

有鉴于此，本申请实施例提供了一种人体三维关键点预测方法、装置及电子设备，可以提高在特殊动作场景下人体三维关键点预测算法的识别率。

为了实现上述目的，第一方面，本申请实施例提供一种人体三维关键点预测方法，包括：

将包含人体健身动作的健身图像输入至预先训练的人体检测模型中，得到至少一个人体位置检测区域；

根据各人体位置检测区域确定待检测图像；

将待检测图像输入至预先训练的关键点预测模型中，得到人体三维关键点和姿态属性；

其中，人体检测模型和关键点预测模型均是基于训练样本集训练得到的，训练样本集中包括多个训练样本，每个训练样本包括样本健身图像、样本健身图像对应的人体位置检测区域、姿态属性和人体三维关键点。

可选的，人体位置检测区域包括多个，根据人体位置检测区域提取待检测图像，包括：

根据上一帧健身图像的目标人体位置检测区域，在多个人体位置检测区域中确定健身图像的目标人体位置检测区域；

提取健身图像中目标人体位置检测区域内的图像作为待检测图像。

可选的，根据上一帧健身图像的目标人体位置检测区域，在多个人体位置检测区域中确定健身图像的目标人体位置检测区域之前，方法还包括；

确定各人体位置检测区域之间的重叠率；

若N个人体位置检测区域之间的重叠率超过预设的重叠率阈值，则将N个人体位置检测区域合并为一个人体位置检测区域，N小于或等于人体检测模型输出的人体位置检测区域的数量。