[发明专利]基于层次信息传递的图片人体动作识别方法

说明书

本发明公开了一种基于层次信息传递的图片人体动作识别方法，于，包括下述步骤：S1、将人体分割为一个层次结构，该层次结构是自顶向下由粒度越来越细的局部身体区域构成，即将人体递归地分解为更小的身体部分；S2、构建层次传播网络，递归地对步骤S1中层次结构的信息进行传递与整合，从而得到最终的动作描述子；S3、将步骤S2得到的动作描述子与额外的全图信息结合，输入最后的全连接层进行分类，使用sigmoid函数来计算该置信度的概率分布，用二元交叉熵来计算分类损失。本发明定义了抽象的人体分割框架与分割规则，使得人体分割方案的选定更加灵活，降低单一性或者不合理性。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于层次信息传递的图片人体动作识别方法。

背景技术

图像动作识别是计算机视觉领域的一项基础且重要的研究，它要求模型识别图像中人体所进行的动作并给出动作的类别。图像动作识别有很多方面的应用，例如图像说明(Image Caption)、群体行为识别(collective activity recognition)及人家人物交互识别(Human-object Interaction)等等。图像动作识别也是视频动作分析的基础，通过将视频帧视为单个图像，可以将问题转化为图像的动作识别，从而在时间维度上进一步建模。

已有的工作主要可以分为三类：基于人体姿态的图像动作识别、基于层次结构的图像动作识别以及基于物体检测的图像动作识别。

1)基于人体姿态的图像动作识别：这一类方法的主要思路是捕捉图像中人体的姿态信息并进行编码，因为人体姿态常常隐含着大量动作的线索。Mallya在Learning Modelsfor Actions and Person-object Interactions with Transfer to QuestionAnswering中利用深度卷积神经网络提取图像的特征矩阵，接着使用人体姿势估计(poseestimator)检测人体在图像中的边界框(bounding box)。人体姿势估计算法用于检测人体关键点(例如某些关节点)在图像中的坐标位置，利用这些坐标位置即可计算出人体在图像中的边界框；若无特别提及，下文提到的人体姿势估计算法都是利用别人提供且训练好的模型。得到人体在图像上的边界框后，通过区域池化算法(RoI Pooling)，可以在特征矩阵上裁剪出边界框对应的特征区域，接着将该特征区域与原图的特征矩阵调整为相同的大小。此时特征区域包含了人体姿势的信息，而原图特征矩阵包含了人体周围的一些有用信息(例如发生交互的物体等)。为了将这两种信息进行融合，首先用两个卷积层对它们进行特征通道(channel)降维，接着在通道维度上对两者进行拼接，最后利用神经网络的分类层对拼接后的特征进行分类。

2)基于层次结构的图像动作识别：这一类方法的主要思路是将人体分割为不同的局部区域(例如手臂、躯干等)，通过利用每个局部区域所隐含的不同动作信息，将之结合成为最终的动作描述子进行分类。Zhao在Single Image Action Recognition UsingSemantic Body Part Actions中定义了一系列人体的局部区域，以及局部区域对应的动作类别列表；将人体局部区域提取出来后，对每个局部区域分别学习一个子网络，来计算该区域在对应的动作类别列表上的概率分布。利用这些训练好的子网络来提取局部区域的特征，并使用线性显著性分析(Linear Discriminative Analysis)来挑选出最具判别效果的一些区域，将这些区域的特征向量进行连接，作为最后的动作描述子进行动作分类。