[发明专利]一种双流神经网络时序动作定位方法

说明书

本发明公开了一种双流神经网络时序动作定位方法。本发明方法首先对视频采样处理后获得视频帧流图像序列和视频光流图像序列；其次，构建双流神经网络边界分割模型，以完整视频的帧流以及光流图像序列为输入，以视频动作的边界信息为输出；再次，构建稀疏采样动作识别模型，输入为视频片段的帧流以及光流图像序列的稀疏采样序列，输出为视频片段对各动作类别(含背景)的概率。通过稀疏采样可以大为减少视频片段的冗余特征提取；采用边界分割策略搜索候选片段,规避了不同尺度下视频片段被重复处理的问题，抑制了后续候选片段在动作识别阶段中的背景类干扰，提高了时序动作定位的准确率。

技术领域

本发明属于计算机技术领域，具体是视频分析中的时序动作定位技术领域，涉及一种基于边界分割和稀疏采样的双流神经网络进行时序动作定位的方法。

背景技术

随着智能设备的推广以及智慧城市的建设，各类摄像头已成为监控安防、自动驾驶、智慧医疗等领域不可或缺的硬件设备。面对每时每刻产生的海量视频，人工处理非常困难且效率低不能满足实际的应用需求，视频分析领域应运而生。该领域主要研究视频中的目标分割、目标追踪、目标识别、动作识别、语义分析、动作定位等颇具挑战的难题。

时序动作定位是指定位视频中目标动作出现的时间，而时空动作定位是指定位视频中的目标动作出现的时间以及实施动作的对象。时序动作定位任务一般分为两个阶段：搜索候选片段和识别候选片段动作；定位不仅要求标注动作发生的时间片段还需要识别动作的种类。例如，定位一名运动员短跑动作的视频即需要确定跑步片段的开始时间和结束时间，同时识别该片段的动作种类为跑步。相比图像分析领域，视频分析还需要考虑视频帧间的时序关系，涉及更为复杂的矩阵和张量计算；而传统视频分析算法主要采用人工特征如轨迹特征并用分类器如支持向量机进行动作识别，不能提供端到端的学习，使得其性能受限。

近年来，采用GPU提供高性能并行计算的硬件逐步涌现，促使以卷积神经网络(CNN：Convolutional Neural Network)为研究对象的深度学习领域飞速发展，为解决上述问题提供了有效途径。例如，双流卷积神经网络结合图像处理中的光流算法与卷积神经网络提取更优质的时序特征后，采用滑窗算法搜索候选动作片段和支持向量机识别片段动作；片段卷积神经网络(S-CNN：Segment-CNNs)以三维卷积神经网络(C3D)为骨干结构先以滑窗算法搜索候选动作片段，然后以神经网络分类器识别候选动作片段，完成时序动作定位任务；结构化片段网络对视频以单元为单位提取CNN特征，通过结构时间金字塔池化获得由多个单元特征组成的片段特征，最后由线性分类器进行片段动作分类。

然而，已有的时序动作定位方法的不足主要表现在以下方面：第一，在搜索候选片段阶段，早期选择的滑窗算法以及后来的结构时间金字塔池化法都会对视频进行不同尺度的重复扫描，极大地增加了计算开销；第二，在识别候选片段动作阶段，未充分考虑背景(不属于任何动作类)干扰导致识别结果不准确，许多方法对包含大量冗余信息的全部视频片段进行处理造成繁重的计算量；第三，很多方法定位的动作片段存在时序上的重叠，需要对其进行后处理(如非极大值抑制)，这也说明其在搜索候选片段时已有冗余信息。由此迫切需要设计一种既能减少冗余计算开销又能提高时序动作定位性能的方法。

发明内容

本发明的目的就是针对现有技术的不足，提供一种基于边界分割和稀疏采样的双流神经网络时序动作定位方法，可以高效地搜索视频动作的候选片段，并准确判定视频动作类别。

本发明方法首先获取视频数据集，然后进行如下操作：

步骤(1).对视频采样处理，获得视频帧流图像序列和视频光流图像序列；

步骤(2).构建双流神经网络边界分割模型，完整视频的帧流以及光流图像序列作为输入，视频动作的边界信息作为输出；

步骤(3).构建稀疏采样动作识别模型，输入为视频片段的帧流以及光流图像序列的稀疏采样序列，输出为视频片段对各动作类别的概率；