[发明专利]基于多尺度特征的人类动作识别方法及系统

说明书

本发明提出了基于多尺度特征的人类动作识别方法及系统，包括：利用卷积网络获取视频序列的空间特征；针对空间特征在时间维度上取局部窗口，在局部窗口内进行计算获取基于初级局部特征的最大响应；对基于初级局部特征的最大响应进行处理获得次级特征；对于次级特征在时间维度上取局部窗口，在局部窗口内进行计算获取基于次级局部特征的最大响应；对于基于初级局部特征的最大响应及基于次级局部特征的最大响应过加权融合的方式获得最终动作分类，所获得的特征对应着视频序列的短期、中期、长期特征。本发明对于时间序列进行短期和长期建模，提升动作识别算法性能。

技术领域

本发明属于图像处理技术领域，尤其涉及基于多尺度特征的人类动作识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

动作识别任务作为计算机视觉在现实生活中的主要应用之一，在现实生活中有着广泛的应用，轻量化的动作识别算法可以部署在边缘设备，将动作识别算法应用到工厂、街道等现实场景进行视频监督、行为预测已经成为新的研究热点，同时也带来了很大的挑战。动作识别旨在通过短时间内的少量视频帧，识别被观察者进行的动作类别。常规环境下的动作识别算法研究已经取得很大进展，但由于部署环境的多样性以及训练数据稀缺，算法需要在不同的应用场景能够保证较高的识别精度。

对于常规动作识别任务，传统方法主要包括基于RGB图像和基于人体关节点序列两个主流方向，相比于基于RGB图像序列的方法，基于图卷积网络(GCN)对人体骨架建模的方法对复杂背景的变化等干扰因素具有很强的鲁棒性。而且与视频流的处理相比，处理关节点数据消耗的计算资源更少，模型的训练周期也相对较短。虽然基于深度学习的传统动作识别算法已经取得了很大的进展，但动作识别任务的特殊性对算法精度提出了更高的要求。

动作识别不同于一般的图像分类任务，它需要在序列中提取帧之间的时空信息，同时需要从空间中定位出响应较高的人的部位。同时，视频中存在复杂的背景、遮挡等干扰因素。人类的动作类别存在着种类之间的差异性，同时也存在同一类别不同个体的差异性，动作执行的幅度大小、时间长短受到执行对象的影响而不同，这使得该任务具有不同于其他分类任务的特殊性。

近年来，基于Transformer的方法在图像处理、视频理解等领域取得了前所未有的成绩。基于Transformer的动作识别方法被广泛研究，并产生了许多高效的变体。基于二维图像理解的Vision Transformer(VIT)模型利用多头注意力模块实现了高精度的图像分类，在此基础上提出的Video Vision Transformer(VIVIT)模型将这种思想运用到了视频理解领域，视频输入比起图像输入所引入的数据量，VIVIT探究了四种不同的特征融合提取方式实现了高性能的视频分类。对于少样本的动作识别任务，Cross Transformer在帧级水平上构建帧组，通过匹配不同视频样本之间的相似关系实现视频分类任务。

基于Transformer的算法获得了很高的性能，但由于视频序列时间维度的引入增加了很重的计算负担。近年提出的Swin Transformer算法，降低了图像分类任务所需的计算资源。然而对于视频分类任务，Video Swin Transformer生成三维局部窗口以实现自注意力计算，相对于二维窗口卷积，所需的计算资源也大幅提高。

对于视频理解任务，基于Transformer的算法展现出了前所未有的识别精度，但由于Transformer单元自身的特点，将二维图像识别任务转换到三维视频理解任务会引入巨大的计算负担。近些年，Transformer从自然语言处理任务引入图像处理任务，对于视频理解任务的研究相对较少，现有的方法大多是在特征维度上通过特征聚合后进行self-attention操作，并没有对视频序列进行时间和空间维度上的独立特征建模。

发明内容