[发明专利]一种基于三维卷积和Faster RCNN的视频动作检测方法

摘要

本发明公开一种基于三维卷积和Faster RCNN的视频动作检测方法，首先引入一个新的模型，其使用三维完全卷积网络对视频流进行编码；随后在生成的特征基础上生成包含动作的候选时间区域，并生成一组候选框；最后不同剪辑的候选框经过分类检测，将视频流中动作类别、视频动作开始和结束时间预测出来；同时预测出动作的空间位置边界框。与现有方法相比，本发明所述方法在未修剪的数据集视频时序动作检测上具有优异的性能，同时可以在缺乏空间标注信息的情况下实现动作定位。

主权项

1.一种基于三维卷积和Faster RCNN的视频动作检测方法，其特征在于，包括以下步骤：步骤一、时空特征生成对于输入的视频剪辑片段L，使用3D ConvNet网络提取时空特征立方体；3D ConvNet网络包括依次连接的卷积层1、池化层1、卷积层2、池化层2、卷积层3a、卷积层3b、池化层3、卷积层4a、卷积层4b、池化层4、卷积层5a和卷积层5b；步骤二、全局平均池化在卷积层5b后添加一个3×3×3的卷积核，卷积的填充和跨幅为1，卷积核数量为1024个；然后再添加一个全局平均池化层，池化核大小为1×7×7，池化的深度跨幅为1，高度和宽度的跨幅分别为7；通过全局平均池化操作在训练过程中优化权重项步骤三、时间候选框生成将anchor纳入时间候选框子网，子网预测关于anchor的潜在候选框和预测候选框是否包含动作的二进制标签；anchor是以(L/8)均匀分布的时间位置为中心的预定义多尺度窗口；在每个时间位置获取特征预测候选框具体为：首先在Conv5b后添加3×3×3的卷积核；然后应用3D max‑pooling来缩小空间维度以产生时间唯一的特征图；每一个时间位置上512维的特征向量用来预测每个时间候选框是动作还是背景的二进制得分；步骤四、3D RoI阶段设计一个3D RoI池化层，从步骤一共享卷积Conv5b中提取每个可变长度候选框的固定大小的卷积特征；步骤五、分类和回归步骤三所挑选的候选框在经过上述操作后被馈送到全连接层；所述候选框经过softmax层被分类成动作类别，视频的开始和结束时间在regression层中进行优化；步骤六、动作定位在生成动作类别的同时生成一个边界框，使用步骤二中得到的权重项来得到类别激活图，通过阈值方法在类别激活图基础上生成可能包含动作的空间位置边界框。