[发明专利]一种基于双流神经网络的人体图像动作识别方法

摘要

本发明提供的方法能够从多层次出发，提取不同粒度的RGB信息和光流图信息，对于同样一段视频，本发明提供的方法可以提取到更多的视频信息用于训练。因此相比传统模型，可以更好地处理长时间的复杂动作，对于RGB人体动作识别整体而言，本发明提供的方法能够更好地提高识别准确率。

主权项

一种基于双流神经网络的人体图像动作识别方法，其特征在于：包括以下步骤：S1.构建时间神经网络和空间神经网络；S2.为时间神经网络和空间神经网络准备足够多的训练视频，然后从训练视频中提取信息对时间神经网络、空间神经网络进行训练，提取信息的步骤如下：S21.设对视频帧分段的次数为k，k的初始值为1；S22.将训练视频的视频帧划分为多段，然后分别采集多段视频帧的RGB信息和光流图信息；S23.令k＝k+1然后对每段视频帧执行步骤S22的处理，直至k>a，a为设定的视频分段的次数阈值；S24.将步骤S2采集的RGB信息输入至空间神经网络中对空间神经网络进行训练，而将步骤S2采集的光流图信息输入至时间神经网络中对时间神经网络进行训练；S3.分别计算时间神经网络和空间神经网络的损失函数数值，然后判断时间神经网络和空间神经网络的损失函数数值是否小于设定的阈值，若是则结束对时间神经网络和空间神经网络的训练，否则基于时间神经网络和空间神经网络的损失函数数值对时间神经网络和空间神经网络的参数进行迭代更新，然后重复步骤S2对时间神经网络和空间神经网络的训练；S4.对于测试视频，将其按照步骤S21～S23进行信息的提取，然后将提取的测试视频的RGB信息和光流图信息分别输入至空间神经网络、时间神经网络中，将空间神经网络、时间神经网络的输出融合后得到动作识别结果。