[发明专利]一种基于自适应上下文区域选取的动作识别方法

权利要求书

1.一种基于自适应上下文区域选取的动作识别方法，用于识别图像中的人物动作，其特征在于，包括以下步骤：

S1)利用ResNet模型的前四个卷积块，提取待识别图像整体的特征图和待识别图像中待识别动作人物的人物边界框n；

S2)根据特征图和人物边界框n的相关信息，自适应选取待识别图像中每个人物的上下文区域边界框；

S3)对人物边界框n和上下文区域边界框进行特征提取，并计算得到人物对应各动作类别的得分和上下文区域对应各动作类别的得分；

S4)根据人物和上下文区域对应动作类别的得分，判断图像中人物的动作类别，完成人物动作的识别；

所述的步骤S2)具体包括：

S201)以特征图的每一个点为中心，在每一个点上分别预设9个大小不同的锚点框；

S202)通过两个卷积层，分别计算得到所有锚点框对应的预测参数，所述的预测参数包括锚点框与人物空间位置相关性的预测值s和锚点框的坐标变换参数；

S203)锚点框根据坐标变换参数进行坐标变换，得到变换后的锚点框；

S204)以预测值s和各锚点框相交区域面积为依据，去除重复锚点框，得到候选上下文集合B；

S205)根据候选上下文集合B中各锚点框m与人物边界框n之间的相交区域比例overlap(m,n)，对锚点框进行筛选，得到筛选后的上下文集合R(m′)，其中m′为上下文集合R(m′)中的锚点框；

S206)选取筛选后的上下文集合R(c)中预测值s最大的前N个锚点框，作为最终自适应选取的上下文区域边界框；

所述的步骤S203)中，进行坐标变换的公式为：

x^t＝w*t_x+x

y^t＝h*t_y+y,

其中，x为锚点框的中心点横坐标，y为锚点框的中心点纵坐标，w为锚点框的宽，h为锚点框的高，t_x为锚点框中心点横坐标的变换参数，t_y为锚点框中心点纵坐标的变换参数，t_w为锚点框宽的变换参数，t_h为锚点框高的变换参数，x^t为变换后锚点框的中心点横坐标，y^t为变换后锚点框的中心点纵坐标，w^t为变换后锚点框的长，h^t为变换后锚点框的宽；

所述的相交区域比例overlap(m,n)的计算公式为：

其中，area(m)为候选上下文集合B中锚点框m的面积，area(n)为人物边界框n的面积；

所述的上下文集合R(m′)的表达式为：

R(m′)＝{m∈B:overlap(m，n)∈[0.2，0.9]}。

2.根据权利要求1所述的一种基于自适应上下文区域选取的动作识别方法，其特征在于，所述的锚点框的尺寸大小包括16×16、16×32、32×16、32×32、32×64、64×32、64×64、64×128和128×64。

3.根据权利要求1所述的一种基于自适应上下文区域选取的动作识别方法，其特征在于，所述的步骤S3)具体包括：

S301)分别对人物边界框n和自适应选取的上下文区域边界框的特征进行池化，得到人物特征和上下文区域特征；

S302)将人物特征和上下文区域特征，输入ResNet模型的第五个卷积块，进行特征提取；

S303)对经过ResNet模型的第五个卷积块提取的特征使用全连接层计算，得到人物对应各动作类别的得分和上下文区域对应各动作类别的得分。

4.根据权利要求3所述的一种基于自适应上下文区域选取的动作识别方法，其特征在于，所述的步骤S4)具体包括：

S401)根据得分融合公式，将人物和上下文区域对应动作类别的得分融合，得到各动作类别的融合得分；

S402)使用softmax函数计算所有动作类别融合得分，得到图像中人物各动作类别的概率值；

S403)选取概率值最高的动作类别，作为最终识别的人物动作。