[发明专利]基于场景约束的三维人体姿态估计方法

说明书

本发明公开了一种基于场景约束的三维人体姿态估计方法，该方法包括：使用构造的三维场景特征，通过稀疏三维卷积神经网络学习改良的人体根关节点位置估计和场景与人体表面接触点；使用预测的人体根关节点位置和场景接触点通过自注意力机制提取场景特征并用交叉注意力机制融合场景特征到一个预训练的单目三维人体姿态估计网络，从而实现基于场景约束的三维人体姿态估计。本发明解决了单目人体姿态估计的深度和遮挡奇异性，以及传统的场景约束下人体姿态估计必须使用优化算法导致的运行速度缓慢的问题，提高了人体姿态估计的速度和准确度。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于场景约束的三维人体姿态估计方法。

背景技术

三维人体姿态估计是虚拟现实与人机交互领域中提供数字内容和沉浸式交互应用的基础技术。对于提供预先扫描场景环境三维几何信息的应用案例，三维人体姿态估计有更高的要求：估计结果在三维场景中的位置需要准确，且姿态和场景的表面接触和谐。目前考虑场景约束的三维人体姿态估计方案都依赖于优化迭代参数化人体模型使预先定义的损失函数项达到最小值，这些损失函数项一般包括人体关键点重投影误差、人体场景穿模距离和人体场景接触点距离。然而在实际使用中，基于迭代优化的方法关于损失函数和超参数的设计容易影响模型的收敛结果，且收敛时间较长不够高效。

发明内容

本发明的目的是针对现有技术的不足，提出一种基于场景约束的三维人体姿态估计方法，使用神经网络的单次前向传播估计已知场景中的人体姿态。

本发明的目的是通过以下技术方案实现的：一种基于场景约束的三维人体姿态估计方法，该方法包括以下步骤：

S1，根据输入图片和三维场景点云，得到人体根关节点位置和场景接触点，包括：

S1.1，构造三维场景特征：

使用输入图片获取场景坐标系中人体根关节点的初始三维位置，选择初始三维位置附近的场景点并体素化，使用稀疏表示记录体素点，对于每个体素点计算指向初始三维位置的偏置向量作为特征一；

使用二维卷积神经网络C1得到输入图片的二维特征图，使用相机位姿将体素中心投影到二维特征图上做双线性插值得到的特征作为特征二；

使用特征一和特征二构造三维场景特征；

S1.2，根据构造的三维场景特征，使用稀疏三维卷积神经网络C2进行学习训练：

定义三维场景特征的学习目标一为改良的偏置向量和其置信度，通过加权的方式得到改良的人体根关节点三维位置；

定义三维场景特征的学习目标二为每个场景体素与人体接触的分类情况，通过去体素化的方式还原为原始分辨率的三维场景点云与人体接触的分类情况；

S2，基于人体根关节点位置和场景接触点，进行人体姿态估计，包括：

S2.1，使用S1得到的人体根关节点三维位置对三维场景点云中心化以消除全局位置的影响，得到中心化的三维场景点云；

S2.2，使用卷积神经网络C3从输入图片中提取与模版人体网格的顶点一一对应的图片特征，将图片特征添加到人体网格记为U；用平均池化的方式转换图片特征为和中心化的三维场景点云一一对应的特征，将转换得到的特征添加到中心化的三维场景点云记为V；

S2.3，使用多层自注意力机制的神经网络T1处理特征V，预测得到中心化的三维场景点云位置坐标，将中间层特征记为W；

S2.4，使用另一个多层自注意力机制的神经网络T2处理特征U，在中间层使用交叉注意力方法传递特征W给神经网络T2的中间层，预测得到包含姿态和体型的人体网络。

进一步地，所述卷积神经网络C3和所述多层自注意力机制的神经网络T2构成一个预训练的单目三维人体姿态估计网络。