[发明专利]一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法

权利要求书

1.一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，包括以下步骤：

(1)构建人体2D姿势估计模型：所述人体2D姿势估计模型包括注意力金字塔残差块和由若干注意力金字塔残差块组成的沙漏子网络；

(1.1)所述注意力金字塔残差块用于多尺度图像特征提取，具体为：

金字塔残差块具有三个支路，第一支路通过通道数为D、卷积核为1*1的卷积层后展开为n个并行分支，每个分支通过不同采样率的下采样层、卷积层、上采样层后连接注意力模块；在每个注意力模块中，首先输入特征经过卷积核为3*3的卷积层，然后经过卷积核为1*1、通道数为1的卷积层，从而得到非归一化注意力图，将非归一化注意力图输入softmax层，得到归一化注意力图α_k，将每个尺度的归一化注意力图α_k的通道数扩张到该尺度下的上采样特征通道数，再与该上采样特征进行Hadamard乘积得到该尺度的环境上下文特征，作为该注意力模块的输出；将所有注意力模块的输出进行加和，得到该输入特征的环境上下文特征c，作为该支路的输出；在上采样层输出和1*1卷积层输入之间引入一条捷径，上采样层输出特征图与3*3卷积层输出特征图级联到一起作为1*1卷积层的输入，从而形成密集连接网络；第二支路依次通过通道数为C/2、卷积核为1*1的卷积层，通道数为C/2、卷积核为3*3的卷积后，作为该支路的输出；第三支路通过通道数为C、卷积核为1*1的卷积层后，作为该支路的输出；三个支路的输出进行融合后，作为注意力金字塔残差块的输出；

(1.2)所述沙漏子网络用于生成人体关节点热力图，具体为：

输入特征经过卷积层实现下采样，每个尺度使用注意力金字塔残差块进行处理，经过若干次下采样，输入特征分辨率逐渐下降，当输入特征分辨率降到指定精度后开始上采样，从而获得多尺度特征；沙漏子网络的拓扑结构是对称的，下采样过程中不同尺度的特征均能在上采样过程中得到对应尺度的特征，前后对应特征进行融合从而得到高层语义特征，进而得到人体2D姿势；

(2)生成3D人体姿势估计：

构建损失函数：损失函数包括四项：数据项E_J、先验知识项E_α、E_θ和等距限制项E_iso:

E(β,θ)＝E_J(β,θ,K,J_est)+λ_αE_α(θ)+λ_θE_θ(θ)+λ_iE_iso(θ,β)

其中，β、θ、K、J_est分别为形状参数、姿势参数、相机参数、通过人体2D姿势估计模型得到的人体2D姿势；λ_α、λ_θ和λ_i是权重因子；L_ij是初始3D姿势下相邻关节点i和j间的长度；J(β)_i是通过人体形状参数β得到的人体骨架关节点i的3D位置；R_θ(J(β)_i)代表特定姿势θ下人体关节点3D位置；D_i,j(θ,β)代表肢体伸缩程度；N(i)是关节点i的相邻关节点；u为辅助变量，u_ij是关节点i和j的辅助变量；参数λ_k＝0.02；参数λ_d的初始值设置为1，最小化损失函数过程中，每次迭代λ_d改变为原来的2倍直到λ_d＞10⁶；

通过最小化损失函数来拟合人体3D姿势。

2.根据权利要求1所述的一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，通道数D、C的确定方式如下：

D＝math.floor(numOut/baseWidth)

C＝cardinality

其中，math.floor()为向下取整函数，numOut是注意力金字塔残差块输出通道数；baseWidth和cardinality是网络训练参数，baseWidth＝9，cardinality＝4。