[发明专利]基于深度残差长短时记忆网络的视频事件识别方法

说明书

本发明公开了一种基于深度残差长短时记忆网络的视频事件识别方法，包括：1）时空特征数据联接层设计，时空特征数据经长短时记忆单元(LSTM)同步解析后形成时空特征数据联接单元DLSTM(double‑LSTM)，突出时空信息的一致性；2）DU‑DLSTM(dual unidirectional DLSTM)双单向结构设计，拓宽了网络的宽度，增加了特征选择范围；3）RDU‑DLSTM(residual dual unidirectional DLSTM)残差模块设计，解决更深层次的网络梯度消失问题；4）2C‑softmax目标函数设计，扩大类间距离的同时兼顾缩小类内距离。本方法优点是通过构建深度残差网络架构，解决梯度消失问题，同时利用时间网络、空间网络特征的一致性融合提高视频事件识别准确率。

技术领域

本发明涉及视频事件识别技术，尤其是一种基于深度残差长短时记忆网络的视频事件识别方法。

背景技术

视频事件识别是指从视频中识别出事件的时空视觉模式。随着视频监控在现实生活中的广泛应用，监控视频事件识别受到了广泛关注，并取得了一系列的研究成果，然而监控视频的事件识别仍然面临着巨大的挑战和困难，比如自然场景下监控视频背景复杂、事件区域对象遮挡严重、摄像头视角变化等因素，导致事件类间距离小、类内距离大。

现有技术中，为了解决监控视频事件识别困难的问题，传统的解决方案是采用基于视觉词袋模型的方法和基于运动轨迹的方法进行监控视频的事件识别，但是这种手工特征识别方法难以进一步提高识别精度；随着时代的发展，深度学习成为人工智能领域研究的热点，并开始应用于监控视频的事件检测、行为识别等领域，例如，用于行为识别的双流CNN网络，其中，时间CNN网络利用视频的静态帧信息，空间CNN网络利用视频的光流信息，但是以双流CNN网络为代表的方法仅仅利用了视频的短时动态特征，并无有效利用视频的长时动态特征，在监控视频的事件识别方面仍然存在一定缺陷，于是通过采用长时递归卷积网络(LRCN)的方法来弥补上述缺陷，LRCN利用CNN网络提取特征，然后送入LSTM网络获得识别结果，其中，LSTM又称长短期记忆网络，可以从输入序列中递归学习长时动态特征，因此能够处理具有典型时间序列的任务，例如语音识别、行为识别，由此，通过深层架构能够提高CNN和LSTM网络的识别能力，但是，无论是CNN还是LSTM，随着网络深度的增加，都会遇到梯度消失问题，很难训练具有更加有深度的网络。

发明内容

本发明解决的技术问题是提供一种基于深度残差长短时记忆网络的视频事件识别方法。

本发明的技术方案是：一种基于深度残差长短时记忆网络的视频事件识别方法，包括：1)时空特征数据联接单元设计：时空特征数据经LSTM同步解析后形成时空特征数据联接单元DLSTM；2)DU-DLSTM双单向结构设计：每个DLSTM单元包含了来自时间CNN网络(Convolutional Neural Network)和空间CNN网络的输入，两个单向传递的DLSTM联接后构成DU-DLSTM单元；3)RDU-DLSTM残差模块设计：多个DU-DLSTM层再加一个恒等映射形成残差模块；4)2C-softmax目标函数设计：双中心Loss分别维护空间特征中心和时间特征中心，空间特征中心和时间特征中心按一定权重系数融合形成质心，给softmax的Loss加入双中心Loss以及DLSTM单元的正则项，构成2C-softmax目标函数。