[发明专利]一种基于关节点序列的实时人体动作识别方法

说明书

一种基于关节点序列的实时人体动作识别方法，利用深度相机、二维人体姿态检测模型，较容易的获取人体动作序列数据集，输入到人体动作识别网络中，可以实时的判断被测试者展示的动作，且不限制被测试者的自由。本发明的人体动作网络模型可以很好的利用图像帧之间的姿态特征，较好的捕捉被测试者动作的空间特征和时空特征。同时，对人体动作序列数据的预处理方法可以显著地去除相邻帧之间的冗余姿态信息，有效减少人体姿态识别网络的开销。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于关节点序列的实时人体动作识别方法。

背景技术

随着人工智能以及计算机视觉技术的快速发展以及在生活中的广泛应用，人体动作识别成为一个新兴的研究方向。人体动作的识别对人们的生活也有很大的帮助，比如行人跌倒检测、体育运动分析以及人体健康风险评估等等。动作识别的目标是识别出视频中出现的动作，通常是视频中人的动作。视频可以看作是由一组图像帧按时间顺序排列而成的数据结构，比图像多了一个时间维度。因此，人体动作可以看作是由若干个人体姿态按时间顺序排列而成，它是一个连续的过程，从起始姿态到结束姿态，中间包括若干个人体姿态。

现有的人体动作识别方法往往依赖人体动作的空间特征与时空特征。单帧的人体姿态包含空间特征，连续多帧的人体姿态序列包含时空特征。不同类型的动作变化快慢和持续时长有所不同，不同的人做同一个动作的方式也存在不同。此外，不是所有的视频帧对于人体动作识别都有显著的作用，有许多视频帧包含的姿态信息可以忽略不计。同时，虽然现有的一些方法使用了滑动窗口、设置预设数量的图像序列帧等方法完成实时的人体动作识别，但是这些方法并没有很好的解决视频中动作定位的问题，经常会遗漏一些重要的动作信息。因此，如何将人体动作的空间特征与时空特征进行有效提取和使用是一个有待解决的问题。

发明内容

本发明为了克服以上技术的不足，提供了一种可以有效地利用图像帧之间的人体动作特征，同时显著地去除人体姿态的冗余信息，完成实时的人体姿态识别的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于关节点序列的实时人体动作识别方法，包括如下步骤：

a)采集人体姿态图像和人体动作序列数据；

b)预处理获取的人体姿态图像和人体动作序列数据；

c)使用预处理后的人体姿态图像训练PP-TinyPose模型；

d)构建人体动作识别网络，该网络依次由N个处理单元及Softmax层构成，每个处理单元由自注意力模块和多头注意力模块构成，所述自注意力模块依次由第一归一化层、自注意力层、第二归一化层、多层感知机层构成，所述多头注意力模块依次由第一归一化层、多头注意力层、第二归一化层、多层感知机层构成；