[发明专利]一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法

说明书

本发明公开了一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，该方法分解为辨别式人体2D姿势估计和生成式人体3D姿势估计两个部分。首先构建人体2D姿势估计模型，人体2D姿势估计模型包括注意力金字塔残差块和由若干注意力金字塔残差块组成的沙漏子网络，注意力金字塔残差块用于多尺度图像特征提取，沙漏子网络用于生成人体关节点热力图；为解决环境上下文信息未充分利用的问题，结合注意力机制和多尺度分析捕捉环境上下文特征；为解决梯度消失/梯度爆炸问题，密集连接网络结合上述注意力机制改进特征图辨识度。然后构建损失函数，引入等距限制项，通过最小化损失函数来拟合人体3D姿势。本发明方法在人体3D姿势估计任务上有明显优势。

技术领域

本发明属于人体姿势估计技术领域，具体涉及一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法。

背景技术

人体3D姿势估计恢复给定图像或视频中人体关节点的3D位置。这项工作是很多重要应用的基础，例如视频监控、行为识别、人体交互、虚拟现实、游戏动画、医疗看护等等。

目前的人体姿势估计方法大致可以分为以下几类：1)回归迭代法，初始化得到起始姿态预测，然后迭代估计提高预测精度；2)基于结构化学习的方法，利用马尔科夫随机场挖掘人体结构信息从而在特征层面上获得人体关节点的相互关系；3)基于检测的方法，通过检测器获得各个人体关节点的热力图，然后基于热力图分析得到最终关节点坐标。

目前基于深度卷积神经网络的人体3D姿势估计研究取得一定的效果，但是在性能上遇到一些瓶颈：1)这个问题本质上是病态问题；2)从图像特征空间到3D姿势空间的映射是非线性多模态的；3)更深层的网络容易学习这种非线性映射关系，但是更深层的网络容易引起梯度消失或梯度爆炸问题。

发明内容

本发明的目的在于针对现有技术的不足，提供一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，该方法能够有效提高人体姿势估计的准确率。

本发明的目的是通过以下技术方案来实现的：一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，该方法包括以下步骤：

(1)构建人体2D姿势估计模型：所述人体2D姿势估计模型包括注意力金字塔残差块和由若干注意力金字塔残差块组成的沙漏子网络；

(1.1)所述注意力金字塔残差块用于多尺度图像特征提取，具体为：

金字塔残差块(pyramid residual module)具有三个支路，第一支路通过通道数为D、卷积核为1*1的卷积层后展开为n个并行分支，每个分支通过不同采样率的下采样层、卷积层、上采样层后连接注意力模块，在每个注意力模块中，首先输入特征经过卷积核为3*3的卷积层，然后经过卷积核为1*1、通道数为1的卷积层，从而得到非归一化注意力图，将非归一化注意力图输入softmax层，得到归一化注意力图α_k，将每个尺度的归一化注意力图α_k的通道数扩张到该尺度下的上采样特征通道数，再与该上采样特征进行Hadamard乘积得到该尺度的环境上下文特征，作为该注意力模块的输出；将所有注意力模块的输出进行加和，得到该输入特征的环境上下文特征c，作为该支路的输出；在上采样层输出和1*1卷积层输入之间引入一条捷径(short-cut)，上采样层输出特征图与3*3卷积层输出特征图级联(concatenate)到一起作为1*1卷积层的输入，从而形成密集连接网络；这种连接有利于解决梯度消失问题，同时加强特征的传播，间接地减少了网络参数；

第二支路依次通过通道数为C/2、卷积核为1*1的卷积层，通道数为C/2、卷积核为3*3的卷积后，作为该支路的输出；第三支路通过通道数为C、卷积核为1*1的卷积层后，作为该支路的输出；三个支路的输出进行融合后，作为注意力金字塔残差块的输出；