[发明专利]视频数据中动作识别方法、系统、设备与存储介质

说明书

本发明公开了一种视频数据中动作识别方法、系统、设备与存储介质，相关方法包括：采用视频数据多内容依赖建模的方式，对所述原始视频特征张量，从不同方向以不同尺度进行池化，再利用卷积层进行依赖激活，获得相应的依赖表征；利用询问结构的注意力机制，实现依赖表征的聚合，并对原始视频特征张量进行优化，利用优化结果进行动作识别。本发明上述方案，可以直接插入基于卷积的动作识别模型，几乎不带来额外参数与计算量，并且通过实验表明可以明显提升动作识别模型的分类性能。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种视频数据中动作识别方法、系统、设备与存储介质。

背景技术

多媒体时代，各种终端设备，例如：手机、相机、监控摄像头等持续产生海量视频数据，动作分类是对海量视频数据的有效分析方法。但是视频数据相对于图像数据增加了时间维度，带来了更多的内容依赖，极大增加了视频动作识别的难度。

针对动作识别的内容依赖建模问题，目前存在以下几类方法：

1)基于隐式依赖建模的方法，该类方法通过直接将现有图像分类网络，例如ResNet网络，将二维卷积核扩展到三维卷积核，仅仅利用待优化的三维卷积核来隐式地学习视频数据中的特征。这样的方法完全靠堆叠层数来实现对长距离依赖的建模，使得网络中只有最后数层可以感知长距离依赖。与此同时，粗暴的维度扩张带来了计算量与模型大小的严重增加，造成此类方法难以训练。

2)基于时间依赖建模的方法，该类方法关注视频数据相对于图像数据增加的时间维度，显式地利用时间维度的信息来抓取视频数据的动态特征。相对于隐式依赖建模的方法，由于针对时间维度的特殊设计，该类方法能避免使用笨重的三维卷积核，降低了模型的复杂度并提高了性能。然而，该类方法忽略了视频数据中广泛存在的其他内容依赖，性能受到了限制。

3)基于全局时空点注意力的方法，该类方法为动作分类模型增加全局注意力机制，使用视频数据中两两时空点之间的匹配关系来实现长距离内容依赖的抓取。然而，逐对计算时空点之间的关系带来了模型臃肿，计算缓慢的问题。

总体而言，以上方法都未能解决建模多种内容依赖与保持模型高效性之间的问题，动作识别模型性能与计算开销还有待优化。

发明内容

本发明的目的是提供一种视频数据中动作识别方法、系统、设备与存储介质，针对动作识别任务，在几乎不增加动作识别模型参数与计算量的同时建模并聚合视频数据中的多内容依赖，提升动作识别模型的分类性能。

本发明的目的是通过以下技术方案实现的：

一种视频数据中动作识别方法，包括：

获取动作识别模型从视频数据中提取的原始视频特征张量；

采用视频数据多内容依赖建模的方式，对所述原始视频特征张量，从不同方向以不同尺度进行池化，获得多组压缩后的依赖特征张量，再利用卷积层进行依赖激活，获得相应的依赖表征；

利用询问结构的注意力机制，引入查询向量与所有依赖表征进行匹配，根据匹配响应强度计算各种依赖表征的权重并加权求和获得最终的依赖表征，以所述最终的依赖表征对原始视频数据特征张量进行门限操作，获得优化后的视频数据特征张量；

将所述优化后的视频数据特征张量输入至所述动作识别模型，获得动作识别结果。

一种视频数据中动作识别系统，用于实现前述的方法，该系统包括：

原始视频特征张量获取单元，用于获取动作识别模型针对从视频数据中提取的原始视频特征张量；

视频数据多内容依赖建模单元，用于采用视频数据多内容依赖建模的方式，对所述原始视频特征张量，从不同方向以不同尺度进行池化，获得多组压缩后的依赖特征张量，再利用卷积层进行依赖激活，获得相应的依赖表征；