[发明专利]一种基于时空序列模型的视频行为识别系统及方法

说明书

本发明公开了一种基于时空序列模型的视频行为识别系统及方法，包括亮度流采样模块，时间建模模块，空间建模模块以及分类输出模块。所述亮度流采样模块用于对视频文件或者视频流进行亮度数据采样，并作为神经网络的输入；所述时间建模模块用于对时空特征数据进行时间建模；所述空间建模模块用于对时空特征数据进行空间建模；所述分类输出模块将时空特征数据进行分类和融合，得到整个视频的分类结果。本发明通过亮度流采样模块解决了RGB输入模式识别率低的问题；通过时空序列建模解决了3D时空建模方法复杂度高，运行速度慢，以及识别准确率低的问题。

技术领域

本发明属于视频行为识别技术领域，具体涉及一种基于时空序列建模的视频行为识别方法。

背景技术

信息时代时刻都产生着大量的视频数据。边缘计算和通信技术的发展使得视频任务的重要性日益提升。在视频任务中，行为识别处于核心地位。行为识别(ActionRecognition)的目的是判断一段视频中人的行为类别。随着行业的发展，对行为识别的要求变得越来越高，比如自动驾驶等。与图像相比，视频多了一维时序信息，如何利用好视频时序信息是行为识别的关键。

在视频行为识别领域，通过3D网络进行时空建模是最常见的方法，如I3D、X3D等。3D网络取得了不错的效果，但是3D网络参数多、计算量大以及内存消耗多，从而限制了其实用性。另外一些方法通过双流网络分别对空间和时间进行建模，其分别训练RGB输入(空间流)和光流输入(时间流)，最后在两个数据流上取平均值来获取最终的预测结果。双流网络被证实是有效的，但是光流计算需要巨大的计算量和存储空间，且难以满足视频实时性需求，导致光流的应用受到限制。另外一些研究者提出(2+1)D网络，即将3D网络分解成为2D空间网络和1D时间网络。通过对3D网络进行分解，将3D卷积核大小从m*n*t降低到m*n+t(m和n是空间卷积核大小，t是时间卷积核大小)，并取得了和3D网络相媲美的识别效果。对于(2+1)D网络，空间网络可以在图像数据集进行预训练，获得空间网络的初始参数。但(2+1)D网络并没有探索时间网络参数的初始化方法，从而导致整个网络模型并不一定是最优的。

发明内容

本发明提出一种基于时空序列模型的视频行为识别方法，对时空特征数据进行时间建模、空间建模、分类和融合，得到整个视频的分类结果。

本发明采用以下技术方案实现：

一种基于时空序列模型的视频行为识别方法，该方法包括以下步骤：

步骤1、YCbCr数据分段采样：对视频文件或者视频流进行亮度数据采样，具体为：从视频文件或视频流获得YCbCr颜色空间数据；对YCbCr颜色空间数据进行分段和采样，提取亮度分量数据；相关模型描述如下：

将得到YCbCr数据{f₁，f₂，...，f_N}平均分成T段，从每一段中随机采样连续的3帧YCbCr数据，表达式如下：

{f₁，f₂，...，f_N}＝{{f₁，f₂，...，f_n}，{f_n+1，f_n+2，...，f_2n}，...，{f_(T-1)n+1，f_(T-1)n+2，...，f_N}}

其中，S表示随机函数，k表示段，表示从第k段中随机采样的连续3帧YCbCr数据，n表示每段包含的帧数；

对于压缩格式的视频文件和视频流，则需要先将视频文件或视频流进行解码，得到视频颜色空间YCbCr数据，表达式如下：

{f₁，f₂，...，f_N}＝Decode(input)