[发明专利]一种基于多源深度学习的视频事件检测方法

说明书

本发明公开了一种基于多源深度学习的视频事件检测方法，包括以下步骤：对视频的每一帧进行灰度化、以及帧间做差处理获取三维数组，将三维数组输入C3D网络中，预先训练好的模型进行特征提取，使用C3D算法取得图像特征，得到4096维特征向量；将原有视频第一帧的RGB图像作为输入，在CNN网络结构中提取图片特征，将fc7层的输出作为特征，得到2048维的特征向量；将特征向量进行拼接，得到6124维的向量，对所有的训练视频做处理并转化为向量之后，进行降维，将6124维的数据转化为256维的数据；将每个待处理视频映射为一个256维的数据后开始模型训练阶段；利用训练好的模型对未知样本进行测试。本发明大幅提高视频监控信息处理的效率和准确率。

技术领域

本发明涉及视频事件检测领域，尤其涉及一种基于多源深度学习的视频事件检测方法。

背景技术

视频监控的处理在公共安全、商业等领域有着越来越广泛的应用。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。然而，目前视频监控的处理主要依赖于人工处理，成本较为昂贵，处理速度和效率也相对缓慢。

目前已经提出了多种方法来检测视频事件。首先，无标记的基于视觉的人体运动分析有可能提供一个廉价的、不引人注目的方法来估计人体的姿势。因此，它广泛应用于运动分析。Fujiyoshi等(如参考文献[1])提出了“恒星”骨架化过程来分析目标运动。其次，行动或集体活动识别可以在视频中告诉我们群组事件的存在性。

现有技术中又提出了一种基于早期局部时空特征的浅高维编码的视频动作识别方法。在稀疏时空的兴趣点可以用局部时空来描述特征，包括：梯度向量的直方图(HOG)和光流直方图(HOF)(如参考文献[2])。这些特性随后被编码成特征包(BoF)描述子(如参考文献[3])，然后使用支持向量机进行分类任务。此外，在近十年大量的相关工作致力于视频中的小组活动研究。绝大部分之前的工作都是使用人工设计的特征来表述时空中的个体(如参考文献[4])。Lan等(如参考文献[5])提出了可以代表从较低的人以及信息到较高群体层次的具有交互层次关系的，且能够潜在自适应的结构学习。

最近，多任务学习方法已应用于人类群体活动识别。其中，Liu等(如参考文献[6])提出了一种层次聚类多任务学习对人类行为进行分组和识别。再次，视频摘要是用于视觉理解和显示的另一种方法。有几个方法可以从一个长视频中生成视频摘要。一种代表性方法是对一个物体和活动出现在不同时间段的视频生成概要。Pritch等(如参考文献[7])还提出了一种新的方法，可以根据类似的事件活动簇生成短而连贯的视频梗概。另一种方法产生基于文本的摘要。Chu等人(如参考文献[8])提出了一个多媒体分析框架同时处理视频和文本，通过场景图共同构建实体之间的关系来理解事件(如参考文献[9])。

目前的大多数方法都需要处理多项具有挑战性的视觉分析任务。Lee(如参考文献[10])对于视频背景去除提出了一个有效的高斯混合学习方法。Dai等(如参考文献[11])提出了一种鲁棒的R-FCN对象检测网络。虽然现有的方法已经在处理某些方面的问题上展现出了有效性，针对于自动理解监控视频的处理仍有着诸多的挑战和局限性。主要的挑战来自以下两个方面：数据的复杂性和处理方法的问题。针对于数据本身而言，主要的挑战在于分辨率低、数据量大、事件集和情景复杂、数据来源闭塞。

对于方法而言，主要有以下的限制：

1)很多方法依赖于前景背景分割技术，然而这一技术会造成错误累加。

2)很多方法依赖于检测和跟踪，然而对于不同的视频和移动的对象，检测和跟踪的鲁棒性较低，这些缺点降低了时间分析的效率。

3)当数据量增大时，计算量会大幅提升。