[发明专利]一种动作识别方法

权利要求书

1.一种动作识别方法，其特征在于：包括以下步骤：

步骤一、将动作视频样本分段，计算每个视频片段的动态图像；对于每个动作视频样本的每个视频片段，提取每个视频片段的中间帧，作为每个动作视频样本的视频片段的静态图像；

步骤二、将每个视频片段的动态图像、静态图像输入特征提取器，分别获取运动特征图和静态特征图；

步骤三、将获得的运动特征图和静态特征图输入运动特征增强器，提取动态图像的运动特征向量；

步骤四、构建特征中心组，对于每张动态图像，将该动态图像的运动特征向量输入至特征中心组中的特征中心，累加每个特征中心上的所有输出，得到该动态图像的直方图表达；

步骤五、将每个动作视频样本的所有动态图像的直方图表达输入直方图连接层，得到动作视频样本的完整直方图表示；

步骤六、将动作视频样本的完整直方图表示输入多层感知器，构成一个运动特征量化网络；所述运动特征量化网络包括特征提取器、运动特征增强器、特征软量化器、直方图连接层和多层感知器；

步骤七、将所有训练动作视频样本的动态图像、静态图像输入至运动特征量化网络，训练运动特征量化网络至收敛；

步骤八、将训练动作视频样本每个视频片段的动态图像、静态图像输入训练好的运动特征量化网络中的特征提取器、运动特征增强器和特征软量化器，得到直方图表达；特征中心组以及对特征中心组的输出进行累加的累加层构成了特征软量化器；

步骤九、将直方图表达输入显著运动特征提取器，得到显著运动特征图；

步骤十、将显著运动特征图输入卷积神经网络，构成动作分类器；

步骤十一、训练动作分类器至收敛；

步骤十二、计算测试动作视频样本每个视频片段的动态图像、静态图像，将动态图像、静态图像输入训练好的动作分类器，实现动作识别。

2.根据权利要求1所述的一种动作识别方法，其特征在于：所述步骤一中，将动作视频样本分段的方法为：

每一个动作视频样本由该视频中的所有帧组成，对于任一动作视频样本A来说：

A＝{I_t|t∈[1,T]},

其中，t表示时间索引，T是动作视频样本A的总帧数；为动作视频样本A的第t帧图像的矩阵表示，R、C、3分别对应第t帧图像的矩阵表示的行数、列数和通道数，表示矩阵为实数矩阵；I_t中的每个元素表示第t帧图像的像素值；

使用长度为l₁的窗口，以步长为l₂将动作视频样本A分成Y个片段；第n₁个视频片段段可表示为：

其中表示视频片段中的第t₁帧图像，也是动作视频样本A中的第t₁+(n₁-1)×l₂帧图像

对动作视频样本的每个视频片段计算动态图像，计算方式如下：

对于任一动作视频样本A的第n₁个视频片段首先对视频片段中的每一帧图像进行向量化，即将三个通道的所有行向量连接成新的行向量

对行向量中的每个元素求算术平方根，得到新的向量即:

其中，表示对行向量中的每个元素求算术平方根；记为视频片段的第t₁帧图像的帧向量；

计算视频片段第t₁帧图像的特征向量计算方式如下：

其中，表示对视频片段的第1帧图像到第t₁帧图像的帧向量求和；

计算视频片段第t₁帧图像的得分计算公式如下：

其中，u为维度为f的向量，f＝R×C×3；u^T表示对向量u转置；表示计算对向量u转置后得到的向量与特征向量的点积；

计算u的值，使视频片段中越排在后面的帧图像，得分越高，即t₁越大，得分越高；u的计算可以使用RankSVM计算，计算方法如下：

其中，表示使E(u)的值最小的u，λ为常数，||u||²表示计算向量u中每个元素的平方之和；B_i、B_j分别表示视频片段第i帧图像的得分、视频片段第j帧图像的得分，max{0,1-B_i+B_j}表示选取0和1-B_i+B_j中较大的那个值；

使用RankSVM计算出向量u后，将向量u排列成与相同尺寸的图像形式，得到称为动作视频样本A的第n₁个视频片段的动态图像；动作视频样本A共Y个视频片段，可得到Y张动态图像。