[发明专利]二维和三维多人姿态估计系统及方法

说明书

一种二维和三维多人姿态估计系统及方法，包括：数据层、模型层和评估层，其中：数据层根据训练阶段和评估阶段所需的二维和三维姿态数据集或推理阶段输入的图片路径集进行解析和预处理得到模型图片的输入数据和监督目标，模型层根据输入数据与监督目标对基于卷积神经网络进行推理与训练，得到二维和三维姿态预测结果，评估层将二维和三维姿态预测结果坐标变换得到最终算法预测结果，并对预测结果评估打分。本发明可以同时端到端训练、评估、推理二维以及三维姿态估计。并对多任务有良好的应用性，识别性能非常理想，且内存占用较小，有较高的效率和实时性。

技术领域

本发明涉及的是一种计算机视觉和模式识别领域的技术，具体是一种二维和三维多人姿态估计系统及方法。

背景技术

姿态估计任务的目标是检测图片中人体各节点的位置。对于二维姿态估计任务，需要得到节点的像素坐标。对于三维姿态估计任务，需要得到节点的三维空间坐标。而对于多人场景，不仅需要检测到所有人体的节点，而且要确定每个节点的所属个体。姿态估计任务是计算机视觉领域最重要的基础任务之一。在学术上，除帮助解析人体结构本身外，还可以作用于更高级的人体智能理解等相关研究，如动作理解、人物交互语义知识、姿态迁移、动作重定向等方向。在工业界上，对于人机交互、特效制作、行为监督、游戏互动等任务都有重要的应用价值。但是现在的主流算法中，存在二维热力图表征存在量化误差以及三维热力图占用存储空间太大等问题，同时没有算法满足实际应用中同时训练、评估、推理二维以及三维姿态估计的要求。

发明内容

本发明针对现有技术热力图量化误差、训练稳定性差、三维热力图占用存储空间大、实用性和通用性较差等问题，提出一种二维和三维多人姿态估计系统及方法，可以同时进行二维和三维的多人姿态估计，藉由检测器获取到单人人体边界框，将多人姿态估计任务转化为单人姿态估计，通过卷积神经网络提取特征，分别经过二维热力图子网络和一维深度中间表征子网络以及各自的后处理模块得到二维单人姿态估计结果与深度预测结果，将两者合并并且进行坐标变换后得到三维单人姿态估计结果。

本发明是通过以下技术方案实现的：

本发明涉及一种二维和三维多人姿态估计系统，包括：数据层、模型层和评估层，其中：数据层根据训练阶段和评估阶段所需的二维和三维姿态数据集或推理阶段输入的图片路径集进行解析和预处理得到模型图片的输入数据和监督目标，模型层根据输入数据与监督目标对基于卷积神经网络进行推理与训练，得到二维和三维姿态预测结果，评估层将二维和三维姿态预测结果坐标变换得到最终算法预测结果，并对预测结果评估打分。

本发明涉及上述系统的二维和三维多人姿态估计方法，通过对二维姿态数据集和三维姿态数据集进行解析并且预处理后进行模型推理，分别得到二维热力图和深度中间表征，经各自后处理后分别得到二维坐标和三维坐标，对其施加监督训练，最后经坐标变换后得到二维最终预测坐标以及三维最终预测坐标并分别进行二维姿态评估和三维姿态评估与结果存储。

所述的解析包括：①在训练阶段和评估阶段对二维和三维姿态数据集所包含图片和标注文件进行解析，得到数据集的原始图片、人体边界框及其二维节点标注或三维节点标注；②在推理阶段以图片路径列表作为输入进行解析，得到列表中的每张原始图片数据，并通过目标检测器获取人体候选边界框，生成全零的节点伪标注。

所述的节点伪标注的张量维度与训练集的保持一致。

所述的预处理包括：①对数据进行随机裁切、旋转、遮挡、反转、颜色畸变、归一化以及关节定义重对齐，得模型图片输入和训练监督目标；②二维姿态的监督目标通过增加置零深度维与三维姿态数据集对齐，并且深度上的目标权重掩码置零。

所述的模型推理包括：对解析后的数据依次进行特征提取、上采样后分别输入二维热力图子网络和一维深度中间表征子网络，得到各节点的二维热力图和结构化人体骨架动力链上各节点相对于其父节点的深度偏移量。