[发明专利]一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法

摘要

本发明公开了一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，该方法分解为辨别式人体2D姿势估计和生成式人体3D姿势估计两个部分。首先构建人体2D姿势估计模型，人体2D姿势估计模型包括注意力金字塔残差块和由若干注意力金字塔残差块组成的沙漏子网络，注意力金字塔残差块用于多尺度图像特征提取，沙漏子网络用于生成人体关节点热力图；为解决环境上下文信息未充分利用的问题，结合注意力机制和多尺度分析捕捉环境上下文特征；为解决梯度消失/梯度爆炸问题，密集连接网络结合上述注意力机制改进特征图辨识度。然后构建损失函数，引入等距限制项，通过最小化损失函数来拟合人体3D姿势。本发明方法在人体3D姿势估计任务上有明显优势。

主权项

1.一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，包括以下步骤：(1)构建人体2D姿势估计模型：所述人体2D姿势估计模型包括注意力金字塔残差块和由若干注意力金字塔残差块组成的漏斗子网络；(1.1)所述注意力金字塔残差块用于多尺度图像特征提取，具体为：金字塔残差块具有三个支路，第一支路通过通道数为D、卷积核为1*1的卷积层后展开为n个并行分支，每个分支通过不同采样率的下采样层、卷积层、上采样层后连接注意力模块；在每个注意力模块中，首先输入特征经过卷积核为3*3的卷积层，然后经过卷积核为1*1、通道数为1的卷积层，从而得到非归一化注意力图，将非归一化注意力图输入softmax层，得到归一化注意力图αk，将每个尺度的归一化注意力图αk的通道数扩张到该尺度下的上采样特征通道数，再与该上采样特征进行Hadamard乘积得到该尺度的环境上下文特征，作为该注意力模块的输出；将所有注意力模块的输出进行加和，得到该输入特征的环境上下文特征c，作为该支路的输出；在上采样层输出和1*1卷积层输入之间引入一条捷径，上采样层输出特征图与3*3卷积层输出特征图级联到一起作为1*1卷积层的输入，从而形成密集连接网络；第二支路依次通过通道数为C/2、卷积核为1*1的卷积层，通道数为C/2、卷积核为3*3的卷积后，作为该支路的输出；第三支路通过通道数为C、卷积核为1*1的卷积层后，作为该支路的输出；三个支路的输出进行融合后，作为注意力金字塔残差块的输出；(1.2)所述漏斗子网络用于生成人体关节点热力图，具体为：输入特征经过卷积层实现下采样，每个尺度使用注意力金字塔残差块进行处理，经过若干次下采样，输入特征分辨率逐渐下降，当输入特征分辨率降到指定精度后开始上采样，从而获得多尺度特征；漏斗子网络的拓扑结构是对称的，下采样过程中不同尺度的特征均能在上采样过程中得到对应尺度的特征，前后对应特征进行融合从而得到高层语义特征，进而得到人体2D姿势；(2)生成3D人体姿势估计：构建损失函数：损失函数包括四项：数据项EJ、先验知识项Eα、Eθ和等距限制项Eiso:E(β,θ)＝EJ(β,θ,K,Jest)+λαEα(θ)+λθEθ(θ)+λiEiso(θ,β)其中，β、θ、K、Jest分别为形状参数、姿势参数、相机参数、通过人体2D姿势估计模型得到的人体2D姿势；λα、λθ和λi是权重因子；Lij是初始3D姿势下相邻关节点i和j间的长度；J(β)i是通过人体形状参数β得到的人体骨架关节点i的3D位置；Rθ(J(β)i)代表特定姿势θ下人体关节点3D位置；Di,j(θ,β)代表肢体伸缩程度；N(i)是关节点i的相邻关节点；u为辅助变量，uij是关节点i和j的辅助变量；参数λk＝0.02；参数λd的初始值设置为1，最小化损失函数过程中，每次迭代λd改变为原来的2倍直到λd>106；通过最小化损失函数来拟合人体3D姿势。