[发明专利]人体动作识别结果的评价方法、装置和电子设备

说明书

本发明实施例提供一种人体动作识别结果的评价方法、装置和电子设备，该方法包括：将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；将所述人体动作识别结果对应的待检测人体动作的RGB‑D图像进行处理得到与所述特征信息对应的标准特征信息；确定所述特征信息与所述标准特征信息之间的误差度；其中，所述人体动作识别结果是对所述待检测人体动作的RGB‑D图像进行处理得到的。本发明实施例提供的方法、装置和电子设备，实现了评价人体动作识别结果时考虑深度信息，更适用于评价人体动作捕捉。

技术领域

本发明涉及人体动作识别技术领域，尤其涉及一种人体动作识别结果的评价方法、装置和电子设备。

背景技术

三维人体的重建与属性识别一直是机器视觉领域的重要研究方向，目前学术界基于深度学习的人体重建相关工作大致可以分为两大类，参数化模型重建和非参数化模型重建。通常都是通过采集待识别人体的RGB-D图像，然后对RGB-D图像进行处理，识别出对应RGB-D图像的人体动作。而识别出对应RGB-D图像的人体动作通常通过不同的识别结果来表达，例如识别结果可以是RGB-D图像中人体的3D关键点坐标，也可以是RGB-D图像中人体的点云三维坐标，还可以是RGB-D图像中人体的姿态参数、形态参数和位移参数，等等。上述三种识别结果实质是等效的表达识别人体动作结果的方式，它们之间可以相互转换。

目前对于人体动作识别结果的评价指标使用的是PCK(Percentage of correctkeypoint)，最常用是PCK@0.2，该指标的计算方法是计算检测关键点与参考标准(groundtruth)的欧式距离小于0.2×躯干直径的比例。其中，躯干直径为头部参考标准关键点(head ground truth)到臀部参考标准关键点(hip ground truth)的欧式距离。PCK指标在评估人体重建效果时，会忽略Z维度(即深度信息)，不适用于评价人体动作捕捉。

因此，如何避免现有的PCK指标评价人体动作识别结果时缺乏对深度信息的考虑，无法适用于评价人体动作捕捉的情况，仍然是本领域技术人员亟待解决的问题。

发明内容

本发明实施例提供一种人体动作识别结果的评价方法、装置和电子设备，用以解决现有的PCK指标评价人体动作识别结果时缺乏对深度信息的考虑，无法适用于评价人体动作捕捉的问题。

第一方面，本发明实施例提供一种人体动作识别结果的评价方法，包括：

将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；

将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息；

确定所述特征信息与所述标准特征信息之间的误差度；

其中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的。

优选地，该方法中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的，具体包括：

将待检测人体动作的RGB-D图像进行预处理，得到无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图；

将所述无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图输入姿态参数识别模型，输出所述待检测人体动作的姿态参数、形态参数和位移参数；

其中，所述姿态参数识别模型是基于样本无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图以及预先确定的对应于各样本无背景像素干扰的RGB图像的3D关键点坐标标签和三维点云标签进行训练后得到的，所述姿态参数识别模型训练时的损失函数基于关键点损失、平滑损失和点云损失构成；

将所述待检测人体动作的姿态参数、形态参数和位移参数输入参数化模型，输出人体动作识别结果。