[发明专利]基于场景约束的三维人体姿态估计方法

权利要求书

1.一种基于场景约束的三维人体姿态估计方法，其特征在于，该方法包括以下步骤：

S1，根据输入图片和三维场景点云，得到人体根关节点位置和场景接触点，包括：

S1.1，构造三维场景特征：

使用输入图片获取场景坐标系中人体根关节点的初始三维位置，选择初始三维位置附近的场景点并体素化，使用稀疏表示记录体素点，对于每个体素点计算指向初始三维位置的偏置向量作为特征一；

使用二维卷积神经网络C1得到输入图片的二维特征图，使用相机位姿将体素中心投影到二维特征图上做双线性插值得到的特征作为特征二；

使用特征一和特征二构造三维场景特征；

S1.2，根据构造的三维场景特征，使用稀疏三维卷积神经网络C2进行学习训练：

定义三维场景特征的学习目标一为改良的偏置向量和其置信度，通过加权的方式得到改良的人体根关节点三维位置；

定义三维场景特征的学习目标二为每个场景体素与人体接触的分类情况，通过去体素化的方式还原为原始分辨率的三维场景点云与人体接触的分类情况；

S2，基于人体根关节点位置和场景接触点，进行人体姿态估计，包括：

S2.1，使用S1得到的人体根关节点三维位置对三维场景点云中心化以消除全局位置的影响，得到中心化的三维场景点云；

S2.2，使用卷积神经网络C3从输入图片中提取与模版人体网格的顶点一一对应的图片特征，将图片特征一一添加到人体网格记为U；用平均池化的方式转换图片特征为和中心化的三维场景点云一一对应的特征，将转换得到的特征一一添加到中心化的三维场景点云记为V；

S2.3，使用多层自注意力机制的神经网络T1处理特征V，预测得到中心化的三维场景点云位置坐标，将中间层特征记为W；

S2.4，使用另一个多层自注意力机制的神经网络T2处理特征U，在中间层使用交叉注意力方法传递特征W给神经网络T2的中间层，预测得到包含姿态和体型的人体网络。

2.根据权利要求1所述的一种基于场景约束的三维人体姿态估计方法，其特征在于，所述卷积神经网络C3和所述多层自注意力机制的神经网络T2构成一个预训练的单目三维人体姿态估计网络。

3.根据权利要求1所述的一种基于场景约束的三维人体姿态估计方法，其特征在于，S1.1中，所述获取场景坐标系中人体根关节点的初始三维位置具体为：

预先重建静态三维场景点云，被摄者处于重建好的场景中，对被摄者拍摄图片，得到拍摄图片在重建场景中的相机位姿；

使用单目人体根关节点位置估计方法估计相机坐标系下人体根关节点的三维位置；根据求解的相机位姿，将这个三维位置变换到场景坐标系中，得到场景坐标系中人体根关节点的初始三维位置。

4.根据权利要求1所述的一种基于场景约束的三维人体姿态估计方法，其特征在于，S1.1中，通过估计二维人体根关节点位置及其深度，得到初始三维位置，且该估计过程与提取二维特征图共用同一二维卷积神经网络。

5.根据权利要求1所述的一种基于场景约束的三维人体姿态估计方法，其特征在于，S1.1中，将初始三维位置作为中心点，同时沿着从相机光心到该点的射线，采样该点前后一定距离的两个点，分别以这三点为球心，保留预设半径范围之内的三维场景点云集合，将这些场景点云以一定体素大小进行体素化，使用稀疏表示记录这些体素点，构建场景稀疏体素集合。

6.根据权利要求1所述的一种基于场景约束的三维人体姿态估计方法，其特征在于，S1.2中，所述每个场景体素与人体接触的分类情况，包括与人体表面7个区域接触的7个类别和1个不接触类别；剔除预测为不接触类别的体素，通过去体素化的方式还原为原始分辨率的三维场景点云，该三维场景点云中每个点的分类情况与该点对应体素点的分类情况一致。