[发明专利]人体三维关键点预测方法、装置及电子设备

权利要求书

1.一种人体三维关键点预测方法，其特征在于，包括：

将包含人体健身动作的健身图像输入至预先训练的人体检测模型中，得到至少一个人体位置检测区域；

根据各所述人体位置检测区域确定待检测图像；

将所述待检测图像输入至预先训练的关键点预测模型中，得到人体三维关键点和姿态属性；

其中，所述人体检测模型和所述关键点预测模型均是基于训练样本集训练得到的，所述训练样本集中包括多个训练样本，每个训练样本包括样本健身图像、所述样本健身图像对应的人体位置检测区域、姿态属性和人体三维关键点。

2.根据权利要求1所述的方法，其特征在于，所述人体位置检测区域包括多个，所述根据所述人体位置检测区域提取待检测图像，包括：

根据上一帧健身图像的目标人体位置检测区域，在所述多个人体位置检测区域中确定所述健身图像的目标人体位置检测区域；

提取所述健身图像中目标人体位置检测区域内的图像作为待检测图像。

3.根据权利要求2所述的方法，其特征在于，所述根据上一帧健身图像的目标人体位置检测区域，在所述多个人体位置检测区域中确定所述健身图像的目标人体位置检测区域之前，所述方法还包括；

确定各所述人体位置检测区域之间的重叠率；

若N个人体位置检测区域之间的重叠率超过预设的重叠率阈值，则将所述N个人体位置检测区域合并为一个人体位置检测区域，N小于或等于所述人体检测模型输出的人体位置检测区域的数量。

4.根据权利要求1所述的方法，其特征在于，在所述将所述健身图像输入至预先训练的人体检测模型中，得到至少一个人体位置检测区域之前，所述方法还包括：

压缩所述健身图像的分辨率。

5.根据权利要求1所述的方法，其特征在于，在所述将所述健身图像输入至预先训练的人体检测模型中，得到至少一个人体位置检测区域之前，所述方法还包括：

获取YOLO检测器和残差网络；

对所述YOLO检测器和所述残差网络分别进行剪枝优化；

采用所述训练样本集对优化后的YOLO检测器进行训练，得到所述人体检测模型；

采用所述训练样本集对优化后的残差网络进行训练，得到所述关键点预测模型；

对已训练的人体检测模型和关键点预测模型进行模型量化。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述关键点预测模型包括主干网络、姿态属性网络、关键点回归网络和上采样卷积网络，所述人体三维关键点包括多个人体三维关键点位置和所述人体三维关键点位置对应的置信度，所述姿态属性包括姿态类别和所述姿态类别对应的置信度；

所述主干网络用于根据输入的待检测图像得到特征向量；

所述姿态属性网络用于根据所述特征向量得到所述姿态类别和所述姿态类别对应的置信度；

所述关键点回归网络用于根据所述特征向量得到所述多个人体三维关键点位置；

所述上采样卷积网络用于根据所述特征向量得到各人体三维关键点位置对应的置信度。

7.根据权利要求6所述的方法，其特征在于，训练所述关键点预测模型采用的损失函数为：

Loss＝a*LossA+b*LossB+c*LossC

其中，Loss表示所述关键点预测模型的损失函数，LossA表示所述姿态属性网络的损失函数，LossB表示所述关键点回归网络的损失函数，LossC表示所述上采样卷积网络的损失函数，a、b和c表示各损失函数的系数，其中，a+b+c＝1，K表示所述姿态类别的数量，y表示所述训练样本中各对应网络的标注值，y^p表示各网络对应的输出，n表示所述人体三维关键点位置的数量的三倍，m表示所述上采样卷积网络的热图的数量，w_m表示权重矩阵，w_o表示所述人体三维关键点不同状态下的权重。