[发明专利]一种基于原型分析的自监督多目三维人体姿态估计方法

权利要求书

1.一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，包括以下步骤：

(1)标定相机参数并对多目图像进行预处理；

(2)构建Two-Stage的深度网络包括：

(2.1)构建2D-Pose-ResNet模块获取图像空间特征并回归出二维姿态热图，包括以下步骤：

(2.11)初始化2D-Pose-ResNet模块；

(2.12)通过卷基层对输入的图像进行空间特征提取，获得人体关节点的高级语义特征表示，并最终以关节点热图的表示形式输出二维姿态估计结果；

(2.13)利用大型二维姿态估计数据集对2D-Pose-ResNet模块进行预训练，并在后期自监督训练过程中进一步微调；

(2.2)构建可学习关节点预测置信度的3D-Pose-Reconstruction模块，包括以下步骤：

(2.21)初始化可学习的Joints-Confidence子模块；

(2.22)在不使用3D-Pose-Refine模块的前提下预训练Joints-Confidence网络；

(2.23)结合二维姿态估计结果，关节点预测置信度以及相机参数信息，使用三角测量求解最终的三维姿态估计；

(3)构建3D-Pose-Refine模块包括：

(3.1)初始化三维姿态表示原型；

(3.2)利用三维姿态表示原型对预测的姿态进行修正；

(3.3)将修正后的三维姿态作为真值姿态，计算其与3D-Pose-Reconstructio n模块预测的三维姿态关节点间的距离均方误差并作为损失函数，通过自监督方式训练整个网络，误差计算方式为

其中m为三维姿态中关节点的数量，p为真实姿态中的节点位置，为预测的三维姿态的节点位置。

2.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤1中标定相机参数包括根据裁剪和缩放参数调整对应的相机投影参数，预处理包括利用人体检测器获得的包围盒裁剪图像。

3.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤2.2中的3D-Pose-Reconstruction模块包含Joints-Confidence子模块和多目重构子模块。

4.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤2.22中预训练Joints-Confidence网络包括以下步骤：

(2.221)使用soft-argmax得到二维热图对应的二维关节点坐标；

(2.222)使用二维关节点坐标直接进行三角测量得到三维姿态作为网络输出的真值，以用于深度网络的监督学习；

(2.223)将Joints-Confidence子模块得到的关节点预测置信度作用于由多目相机投影矩阵和二维关节点坐标构成的矩阵之上，再进行三角测量得到预测的三维姿态；结合方式如下：

其中，w为关节点预测置信度，A为相机参数与关节点二维坐标组成的矩阵，y帽为要求解的三维关节点坐标，圆圈表示求哈达玛积；

(2.224)根据预测的三维姿态和真值三维姿态，计算均方误差作为损失函数，对Joints-Confidence网络进行预训练。

5.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤3.1中初始化三维姿态表示原型包括以下步骤：

(3.11)给定一个大型的三维姿态数据集,标准化其中的三维姿态，并将其以距离矩阵的形式表示；

(3.12)构造一组原型表示空间，使得任意三维姿态矩阵是原型的一个凸组合表示，使用原型分析方法迭代优化以下能量函数得到最终的原型表示空间：

其中，N为三维姿态数据集中样本的数量，d为样本，α为样本被原型表示时的凸组合系数，K为原型数量,每个原型对应着一个高维向量,其值为：

6.根据权利要求1所述的一种基于原型分析的自监督多目三维人体姿态估计方法，其特征在于，所述步骤3.2中姿态修正方法包括：

(3.21)将预测的三维姿态标准化并以距离矩阵表示；

(3.22)求解一组该姿态在原型表示空间中原型的凸组合，所述凸组合以原型的拓扑形式表示，求得的凸组合参数中有一部分值近似为0，求解能量函数如下：

其中，d为预测3维姿态的距离矩阵表示，B为原型向量组成的矩阵，λ为拓扑能量权重，α为样本被原型表示时的凸组合系数，s为原型与d的距离；

(3.23)使用多维标度法将修正后的距离矩阵恢复为三维姿态的节点位置，并与预测的三维姿态刚性对齐，得到最终修正的三维姿态。