[发明专利]一种基于稀疏和深度的3D人体姿态估计方法

权利要求书

1.一种基于稀疏和深度的3D人体姿态估计方法，其特征在于包括以下步骤：

①假设人体的形状由p个关节点的坐标表示，对给定的2D人体关节点序列定义为：W＝{W₁,...,W_t,...,W_T}，其中，T为序列长度，W_t为第t帧2D人体姿态坐标，定义为表示W_t是2行p列的矩阵，第一行为p个关节点的X轴坐标，第二行为p个关节点的Y轴坐标；

②运用非负稀疏编码，对Human3.6M数据集中的三个训练集S1,S5,S6的15个动作，每个动作分别学习出一个基础姿态字典B，大小表示为k为基础姿态字典B的原子个数，表示B是k×3行p列的矩阵，从第一行开始，每三行代表第k个原子的p个关节点的X，Y，Z轴坐标；

③根据稀疏表示原理，采用融合稀疏表示的3D可变形状模型来表示人体形状，将单帧2D人体姿态坐标W_t转化为对应3D空间下的姿态初始值，用第t帧3D人体姿态坐标表示为记为表示是一个3行p列的矩阵；

④对于整个2D人体关节点序列W＝{W₁,...,W_t,...,W_T}，逐帧采用步骤③进行估计，得到其对应3D空间下的不考虑时间关系的3D姿态初始序列，记为

⑤对于步骤④获得的3D姿态初始序列进行优化，修正时间不连贯的3D姿态初始化的序列将优化的结果作为最终估计的3D姿态序列，记为：具体步骤如下：

⑤-1将通过稀疏表示方法初始化后的3D初始序列设定为MLSTM的降噪编/解码器模型输入，将对应的优化3D序列设定为输出；

⑤-2设置两层带有Batch Normalization和Dropout的线性层：第一层用于编码输入数据，提取输入数据的高维特征，采用RELU激活函数；第二层用于解码数据，预测人体p个关键点的3D位置；将输入数据转化为X，Y，Z三个坐标轴方向的分量，分别对不同方向的关节点位置细化，对于每个方向的分量设置三层LSTM单元：用于学习对应分量上人物姿态的时间变化特征，在每一个方向上的LSTM单元上增加了一个残差连接用于融合输入数据与学习到的时间变化特征，然后通过第二层线性层解码，回归相应方向分量上p个关键点的3D姿态坐标序列，将三个方向分量上的子结果拼接得到最终的优化结果；

其中，MLSTM降噪编/解码器模型是通过以下方式得到：

1)设定损失函数：定义MLSTM降噪编/解码器模型的损失函数由以下两项组成：第一项为具有N个序列的训练集中，每个序列T帧的3D关节点位置的优化值与其对应的3D标注数据的均方误差；第二项为相邻帧之间的3D关节点位置的优化值的一阶平滑约束：

首先对于N个序列，将每个序列第t帧的3D关节点位置的优化值与对应帧的3D标注数据的均方误差定义为式(4)：

其中，为优化后的第t帧3D关节点位置的优化值，为对应帧的3D标注数据，Ψ(*)为Procrustes相似变换函数；

其次对于N个序列，将每个序列第t帧的相邻帧的3D关节点位置的优化值的一阶平滑约束定义为式(5)

其中，为时间导数算子，最终的损失函数定义为式(6)：

其中，η＝1，μ＝3为超参数，用于调节损失函数中每一项的重要程度；

2)训练模型：首先对输入数据采用时间上的零均值标准化处理，然后采用一个长度为T，步长为1的滑窗来选取序列长度，对选取序列长度之后的输入数据进行200次迭代训练，每个迭代对整个输入数据进行一次完整的遍历，采用ADAM优化器训练网络，初始学习速率为0.0001，每50次迭代学习率衰减0.1，LSTM单元的神经元个数为1024个，权值由Xavier初始化器初始化，第一层线性层的神经元个数为1024个，第二层线性层神经元个数为p个，权值由Kaiming初始化器初始化，批处理大小为16个序列，每个序列长度T为5，将迭代训练后的模型作为MLSTM降噪编/解码器模型。

2.如权利要求1所述的一种基于稀疏和深度的3D人体姿态估计方法，其特征在于将单帧2D人体姿态坐标W_t转化为对应3D空间下的姿态初始值的具体步骤如下：

③-1对于第t帧3D人体姿态由一组基础姿态字典B线性表示为：

其中，c_it为第i个原子基础姿态字典B_i的系数；i∈[1,k]；

③-2在弱透视相机模型下，将第t帧2D姿态与3D姿态之间的关系表示为：

其中，α为摄像机内部参数，和分别为摄像机旋转矩阵和平移向量，上标T表示矩阵的转置；

③-3在不考虑噪声的情况下，根据稀疏表示原理，对于给定的2D关节点W_t∈R^2×p，利用拉格朗日乘子法以能量泛函的形式将稀疏系数求解过程表示为求解最小化能量泛函：

通过上式(3)求解得到对应的3D姿态参数c_it，式中，为旋转矩阵R_t的前两行组成的矩阵，C_t＝[c_1t,...,c_it,...,c_kt]为第t帧的稀疏系数向量，I为单位矩阵，式(3)中第一项为重构误差，第二项为对C_t施加L_1/2正则化约束，最终通过式(1)得到单帧人体姿态的3D初始值