[发明专利]基于精细空间网络的人体动作识别方法

说明书

本发明公开了基于精细空间网络的人体动作识别方法，它属于基于视频的人体动作识别技术领域，解决了传统的动作识别方法存在局部细节空间信息丢失的问题。本发明由空间网络和堆叠空间网络构成，以多个视频帧作为输入，空间网络选用BN‑Inception网络结构提取高级语义标签信息进行动作识别。堆叠空间网络以端到端的方式融合多层特征，选用BN‑Inception网络结构作为编码器，在高级语义标签的监督下提取多层次、高分辨率的空间特征，选用反卷积层和残差连接层作为解码层提取局部细节空间特征，并通过堆叠空间融合层进行聚合产生局部细节空间特征信息和多层次、高分辨率的空间特征进行动作识别。最后将两个空间网络得到的分数进行融合，产生最终的动作识别准确率。

技术领域

本发明涉及计算机视觉领域的大数据处理与分析技术，特别是涉及到基于深度学习的基于视频的人体动作识别方法，属于动作识别领域。

背景技术

基于视频的人体动作识别是在一段视频中对动作发起者的动作进行分类。此类研究在计算机视觉领域引起极大的关注，并成为该领域的研究热点之一。它在人机交互、运动分析和人物追踪等领域有广泛的应用，例如对重大事故的预警及监控，实现机器和人进行智能化的互动等。除了相关应用之外，动作识别技术对计算机视觉领域和动作检测技术的发展起到了巨大的推动作用。不同于单一图像分类技术，动作识别不仅需要考虑到视频帧的外观背景，还要顾及到动作时序等细节信息。

现有基于视频的人体动作识别方法主要分为两大方向，分别是：基于2D卷积网络的双流模型的方法和基于3D卷积网络的动作识别模型的方法。基于2D卷积网络的双流模型的方法以不同模态(RGB、Optical Flow)作为输入，分别以空间网络和时间网络计算静态和动态信息，通过相关融合技术来提高识别的准确率。但是传统的双流模型没有考虑到时序问题，很难判别相似动作。基于3D卷积网络的动作识别模型的方法是通过对连续帧进行三维卷积等操作，从而提取时空高级语义信息。

近年来，基于视频的人体动作识别技术在计算机视觉领域的研究进展中主要集中在视频静态和动态信息的提取与融合，由于卷积神经网络在图像分类领域取得的巨大成功，自然的将卷积神经网络应用于动作识别的空间特征提取。然后，仅仅捕捉复杂的动作静态信息是不够的。光流作为互补，作为时间网络的输入去捕捉动作的动态信息。空间网络和时间网络的结合从而形成了基于2D卷积网络的双流模型，它以不同模态(RGB和OpticalFlow)作为输入，分别以空间网络和时间网络计算静态和动态信息，通过相关融合技术来提高识别的准确率。但是光流的计算量庞大，并且传统的双流模型没有考虑到时序问题，导致很难判别相似动作。基于3D卷积网络的动作识别模型的方法是通过对连续帧进行三维卷积等操作，从而提取时空高级语义信息，因此可以捕捉视频中的运动信息，但是动作识别的准确率较低。这两种主流方法同样的存在只利用单层特征信息进行动作识别，往往忽视了卷积等操作时局部细节空间信息的丢失。

发明内容

本发明的目的是为解决传统的动作识别方法存在局部空间动作信息丢失而导致动作识别准确率低的问题。

本发明为解决上述技术问题采取的技术方案是：

S1.将原始视频V平均分为T段S₁,S₂,…,S_T(T为经验值T＝3)，从每个子段中随机采样一帧作为精细空间网络的输入，所述原始视频为原始视频训练样本或待识别原始视频。

S2.构建空间网络和堆叠空间网络组成精细空间网络。

S3.将步骤S1中采集的图片输入至精细空间网络中对精细空间网络进行训练，使得损失函数最小。

S4.将测试样本中的图片输入到上述已训练完成的精细空间网络中进行测试，再进行组间融合，最后完成基于视频的人体动作识别。

具体地，构建精细空间网络包括以下步骤：