[发明专利]一种融合全局时空特征的卷积神经网络人体动作识别方法

摘要

一种融合全局时空特征的卷积神经网络人体动作识别方法，它属于人体动作识别技术领域。本发明解决了传统动作识别方法存在的动作识别的准确率较低的问题。本发明选用InceptionV3基础网络结构，建立空间通道网络和全局时域通道网络，将UCF101视频数据集切割成单帧静态图像，将单帧静态图像分为训练和测试集对空间通道网络训练和测试；计算训练和测试集中单帧静态图像对应的能量运动历史图，对全局时域通道网络进行训练和测试；对训练好的空间通道网络和全局时域通道网络的参数微调，将概率平均值最大的类别作为待识别视频序列的每帧静态图像的动作识别结果，本发明方法的动作识别准确率可以达到87％以上。本发明可以应用于人体动作识别技术领域用。

主权项

1.一种融合全局时空特征的卷积神经网络人体动作识别方法，其特征在于，该方法的具体步骤为：步骤一、选用InceptionV3为基础网络结构，建立空间通道卷积神经网络；步骤二、迁移在ImageNet数据集上预训练好的InceptionV3基础网络结构模型的前10层参数至步骤一建立的空间通道卷积神经网络；将UCF101视频数据集切割为单帧静态图像，将切割好的单帧静态图像随机分成训练集和测试集数据，对空间通道卷积神经网络进行训练和测试；步骤三、采集待识别视频序列，将待识别视频序列切割为每帧静态图像来作为训练集和测试集数据，对步骤二训练好的空间通道卷积神经网络的参数进行微调后，利用训练集和测试集的每帧静态图像对空间通道卷积神经网络进行训练和测试，输出待识别视频序列的每帧静态图像对应的各个类别的概率值P1,P2，…，PN；步骤四、建立全局时域通道卷积神经网络，所述全局时域通道卷积神经网络仅在空间通道卷积神经网络的输入层之后增加一层卷积核尺寸为3×3的卷积层，其余的网络结构与空间通道卷积神经网络相同；步骤五、利用步骤二训练集中每帧静态图像对应的能量运动历史图来训练步骤四建立的全局时域通道卷积神经网络；利用步骤二测试集中每帧静态图像对应的能量运动历史图来测试全局时域通道卷积神经网络；步骤六、对步骤五训练好的全局时域通道卷积神经网络的参数进行微调后，利用步骤三训练集和测试集的每帧静态图像对应的能量运动历史图对全局时域通道卷积神经网络进行训练和测试，输出待识别视频序列每帧静态图像对应的能量运动历史图的各个类别的概率值P1′,P2′，…，PN′；步骤七、在待识别视频序列中，分别将每帧静态图像对应的空间通道卷积神经网络输出与全局时域通道卷积神经网络输出融合，即计算出每帧静态图像的每个类别的概率平均值将概率平均值最大的类别作为每帧静态图像的动作识别结果。