[发明专利]一种基于深度卷积特征多通道金字塔池化的动作识别方法

摘要

本发明公开一种基于深度卷积特征多通道金字塔池化的动作识别方法，包括1)对输入视频每一帧采用空间流深度网络模型，得到每帧的表观特征；对视频中每连续M帧采用时间流深度网络模型，提取视频的运动特征；2）对空间流深度网络模型和时间流深度网络模型得到的多通道深度特征图采用4层空间金字塔结构，得到的每个局部块用最大池化方法计算该块的最大值表达，获取特征图在不同尺度下的局部信息；3）将深度特征图中在相同时空位置的多通道局部块的表达连接起来，形成视频的特征描述子；4）采用增强型局部级联描述子向量方法进行特征表示，得到视频的中层表示；4）采用线性支持向量机进行特征分类，得到识别准确率。

主权项

一种基于深度卷积特征多通道金字塔池化的动作识别方法，其特征在于，包括以下步骤：(1)输入待识别的视频，采用two‑stream深度网络模型得到多通道深度卷积图；其中two‑stream网络模型包括空间流(spatial‑stream)深度网络模型和时间流(temporal‑stream)深度网络模型。具体是：对输入视频的每一帧采用空间流网络，得到帧的表观特征；对输入视频的每连续M帧，利用时间流网络模型得到运动特征；其中空间流网络和时间流网络模型均包含5个卷积层，3个池化层，以及3个全连接层；(2)对空间流深度网络模型和时间流深度网络模型得到的多通道深度特征图采用4层空间金字塔结构，得到的每个局部块用最大池化方法计算该局部块的最大值表达，获取特征图在不同尺度下的局部信息；(3)将深度特征图中在相同时空位置的多通道局部块的表达连接起来，形成视频的特征描述子；(4)对步骤(3)提取的描述子特征采用局部级联描述子向量方法(VLAD)进行特征建模，形成该视频最终的向量表示；(5)采用支持向量机(SVM)进行特征分类，最终输出分类结果，获取视频的动作识别结果。