[发明专利]一种基于混合池化策略的深度卷积特征的动作识别方法

摘要

本发明公开一种基于混合池化策略的深度卷积特征的动作识别方法，包括：1)对输入视频每一帧采用空间流深度网络模型，得到每帧的表观特征；对视频中每连续10帧采用时间流深度网络模型，提取视频的运动特征；2）对空间流和时间流深度网络的最后一层卷积层输出的深度卷积图采用时间滤波器池化方法得到对应的特征表示，采用主成分分析方法进行降维得到第一描述子特征；对空间流和时间流深度网络的最后一层卷积层输出的深度卷积图采用时空金字塔池化方法得到对应的特征表示，用主成分分析方法进行降维得到第二描述子特征；3）将步骤2)得到的第一、二描述子特征级联起来，形成输入视频的特征描述子，并采用线性支持向量机进行特征分类，得到识别准确率。

主权项

1.一种基于混合池化策略的深度卷积特征的动作识别方法，其特征在于，包括以下步骤：(1)输入待识别的视频，对输入视频的每一帧，利用空间流深度网络模型得到每帧的表观特征；同时对输入视频的每连续M帧，利用时间流深度网络模型得到运动特征；其中空间流深度网络模型和时间流深度网络模型均包括5个卷积层，3个池化层，以及3个全连接层；(2)对空间流深度网络模型和时间流深度网络模型得到的最后一层卷积层输出的深度卷积图采用时间滤波器池化方法得到对应的特征表示，采用不同长度间隔的时间序列，以获取视频的全局和局部运动，并采用主成分分析方法对特征进行降维，得到第一描述子特征；同时，对空间流深度网络模型和时间流深度网络模型得到的最后一层卷积层输出的深度卷积图采用时空金字塔池化方法得到对应的特征表示，采用4层的时空金字塔结构来获取深度特征图中的局部信息，并对于目标和几何变形具有鲁棒性；同样的也采用主成分分析进行特征降维，得到第二描述子特征；(3)对步骤(2)提取的第一、二描述子特征级联起来，形成该视频最终的向量表示；采用支持向量机(SVM)进行特征分类，最终输出分类结果，获取视频的动作识别结果；所述步骤(2)中，选取空间流深度网络和时间流深度网络的最后一层卷积层输出的卷积图来进行时间滤波器池化的操作，具体是对特征图采用4种不同时间间隔的滤波器(1,4,8,16)来分析深度特征在时间域的运动，其中时间间隔1对应的是整个视频范围内的时间运动也即全局运动，而时间间隔16对应的是最大尺度下的局部时间运动；对于每个不同的时间间隔，深度特征在整个视频时间范围内都会被分割成多个时间片，对每个时间片内的特征我们同时采用最大池化和求和池化方法获取该时间片内最具代表性的特征，并将这两种池化结果串联起来表示在该时间片内的运动；然后对整个时间滤波器池化后得到的视频特征进行PCA降维；所述步骤(2)中，选取空间流深度网络和时间流深度网络的最后一层卷积层输出的多通道卷积图来进行时空金字塔池化的操作，具体是对卷积图采用4层时空金字塔结构(1×1×1,2×2×2,3×3×3,4×4×4)，其中第一层(1×1×1)对应的是整个时间和空间范围内的特征图，而第4层(4×4×4)对应的是最大尺度下的局部时空特征块；因此通过时空金字塔结构得到特征图位于不同时空尺度下的局部块；对每个局部时空块采用最大池化方法，计算时空块中的最大值作为该局部块的特征表示；由于每个通道上的特征图提取了不同的图像/视频信息，故将所有通道上的特征图中同一时空位置的局部块的特征串联起来，形成该局部时空块的多通道特征描述子；最后将视频内所有时空块特征级联起来，形成视频的特征表示；然后对整个时空金字塔池化后得到的视频特征进行PCA降维。