[发明专利]一种基于自适应上下文区域选取的动作识别方法

说明书

本发明涉及一种基于自适应上下文区域选取的动作识别方法，用于识别图像中的人物动作，包括以下步骤：S1)利用ResNet模型的前四个卷积块，提取待识别图像整体的特征图和待识别图像中待识别动作人物的人物边界框n；S2)根据特征图和人物边界框n的相关信息，自适应选取待识别图像中每个人物的上下文区域边界框；S3)对人物边界框n和上下文区域边界框进行特征提取，并计算得到人物对应各动作类别的得分和上下文区域对应各动作类别的得分；S4)根据人物和上下文区域对应动作类别的得分，判断图像中人物的动作类别，完成人物动作的识别，与现有技术相比，本发明具有识别精度高且识别速度快等优点。

技术领域

本发明涉及计算机视觉、动作识别技术领域，尤其是涉及一种基于自适应上下文区域选取的动作识别方法。

背景技术

数十年来，动作识别一直是计算机视觉领域的一个重要研究分支，其研究范围涵盖图像、视频数据等诸多方面，相关技术也在人机交互、信息检索、安全监控等领域广泛应用。

传统的动作识别多采用基于手工特征的方法。近年来，得益于深度学习的快速发展，采用基于深层神经网络学习和提取特征的动作识别方法也层出不穷。依据其提取和利用的特征，这些方法可以分为三类：基于整体特征的方法、基于局部特征的方法和基于上下文特征的方法。对于基于整体特征的方法，从人的边界框(bounding box)区域提取的特征与全局的图像特征一起用于识别动作。对于基于局部特征的方法，通常是将从人物各个关节位置的特征连接(concatenate)起来一并送入分类器，对动作进行分类。基于上下文特征的方法则是依赖于方法所提取到的动作上下文来进行动作识别，如图片里的物体、背景信息、其它的人物等。

最近几年，基于上下文特征的动作识别方法在VOC 2012、Stanford 40等公开的动作识别基准数据集上取得了优异的结果。例如，Gkioxari等人提出的R*CNN模型，其方法中融合人所在位置的特征和上下文特征对动作进行分类，其中上下文特征来源于SelectiveSearch预先进行生成的区域。Fang等人则采用Faster RCNN预先检测出图片中物体的边界框，对这些区域提取特征，作为上下文特征帮助识别图片中人的动作。

然而，这些基于上下文特征的方法在选择上下文的时候没有进行限制，通常是直接使用其它方法生成出的区域。这些区域中可能掺杂着动作无关的信息，如位于同一张图片里的自行车就会对识别图片中正在跑步的人的动作产生不利影响，进而影响到整个动作识别方法的性能，降低动作识别的准确率。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种识别精度高且识别速度快的基于自适应上下文区域选取的动作识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于自适应上下文区域选取的动作识别方法，用于识别图像中的人物动作，包括以下步骤：

S1)利用ResNet模型的前四个卷积块，提取待识别图像整体的特征图和待识别图像中待识别动作人物的人物边界框n；

S2)根据特征图和人物边界框n的相关信息，自适应选取待识别图像中每个人物的上下文区域边界框；

S3)对人物边界框n和上下文区域边界框进行特征提取，并计算得到人物对应各动作类别的得分和上下文区域对应各动作类别的得分；

S4)根据人物和上下文区域对应动作类别的得分，判断图像中人物的动作类别，完成人物动作的识别。

进一步地，所述的步骤S2)具体包括：

S201)以特征图的每一个点为中心，在每一个点上分别预设9个大小不同的锚点框；

S202)通过两个卷积层，分别计算得到所有锚点框对应的预测参数，所述的预测参数包括锚点框与人物空间位置相关性的预测值s和锚点框的坐标变换参数；