[发明专利]一种基于高效三维卷积的视频行为识别方法

摘要

一种基于高效三维卷积的视频行为识别方法，在三维卷积神经网络的基础上，进一步降低了它的运行时间、计算量以及参数量。本发明先对输入视频进行稀疏采样，再利用二维卷积网络处理经过稀疏采样之后的视频帧，得到各个随机采样帧的特征表示，然后利用一个三维卷积网络对这些不同帧的特征进行融合，生成最终的动作分类标签。本发明提出了一种新的三维卷积方式，使网络能在保持甚至超过现有性能的情况下，降低计算量、参数量以及运行时间。本发明在数据集UCF101上进行测试，利用该三维卷积网络结合上述的行为识别流程，使得在UCF101数据集上的准确率达到了92.9%。另一方面，本发明大大降低了三维网络的计算量、参数量以及运行时间，有利于算法实时性的实现。

主权项

1.一种基于高效三维卷积的视频行为识别方法，其特征在于：所述的方法包括如下步骤：(1)将输入的视频进行稀疏采样；(2)将稀疏采样后的视频帧利用二维卷积网络提取特征，得到相应的特征图；(3)将二维卷积网络提取的特征利用三维卷积网络进行融合，并得到相应的特征向量；(4)将二维卷积网络提取的特征分别通过另一个与上述三维卷积网络并联的二维卷积网络，并通过平均池化，得到特征向量；(5)将上述两者的特征向量连接，得到最终的特征向量，利用这个特征向量进行分类。