[发明专利]基于残差-循环神经网络的人体行为识别方法

说明书

本发明提出了一种基于残差‑循环神经网络的人体行为识别方法，其实现步骤为：获取多个人体骨架关键点信息；获取训练集、验证集和测试集；构建残差‑循环神经网络；对残差‑循环神经网络进行训练；获取人体行为识别结果；本发明通过检测提取视频中的单人图像，对其进行骨架关键点检测得到人体骨架关键点，并采用残差‑循环神经网络实现最终的行为识别，在去除视频中冗余信息的基础上融合了空间和时间维度的特征，极大的减少了模型的计算量并使得提取的特征信息更为全面，有效提高了视频中人体行为识别的准确率和速度。

技术领域

本发明属于图像处理技术领域，涉及一种行为识别方法，具体涉及一种基于残差-循环神经网络的人体行为识别方法，可用于智能监控、人机交互等领域。

背景技术

视频人体行为识别任务是利用计算机自动分析处理视频数据，得到人体行为类别的过程，是计算机视觉领域最具挑战的任务之一。主要是理解和研究视频和图像序列中以人体为主要对象的各类动作以及各种交互行为、交互关系。在人机交互、视频标注推荐、运动分析、安防监控等真实场景中有极强的应用性。

传统的人体行为识别算法通常采用人工设计特征的方式提取信息，而这些方法往往工作量较大，算法设计复杂。在面对复杂真实场景时，易受到遮挡、光线、角度变化等的干扰，识别准确率很大程度依赖于算法对视频中特征信息的表达能力。深度学习已经在图像及视频内容理解领域有了很好的发展，基于深度学习的特征提取方法自主的从样本中学习运动对象特征并进行描述，与人类认知的机理类似，相对于传统方法，在复杂背景和实际应用中有着更好的表现能力，为人体行为识别算法设计带来了新的思考，

例如申请公布号为CN 110321833 A，名称为“基于卷积神经网络和循环神经网络的人体行为识别方法”的专利申请，公开了一种基于卷积神经网络和循环神经网络的人体行为识别方法，包含如下步骤：使用传感器跟踪人体行为，收集该时间段内人体关节的三维坐标向量组以及RGB视频。然后使用循环神经网络RNN对人体关节的三维坐标进行训练，得出时间特征向量。使用卷积神经网络CNN对RGB视频训练，得到时空特征向量，最后结合时间特征向量和时空特征向量并归一化，并馈送到线性SVM的分类器，使用验证数据集，找到线性支持向量机SVM的参数C，最终得到一个综合识别模型。该方法的不足之处是：对于较长的视频序列，普通的循环神经网络在训练过程中易出现梯度传递的问题，无法捕获长时间依赖进而影响识别精度；并且人体骨架关键点的三维坐标信息需使用特定相机且在简单场景下才可精确获取，而实际生活中一般获取到的均为原始视频数据，该方法应用性不强。

例如申请公布号为CN 109101876 A，名称为“基于长短时记忆网络的人体行为识别方法”的专利申请，公开了一种基于长短时记忆网络的人体行为识别方法。该方法将所述视频分割成若干视频片段，通过VGG-16Net模型和RNN神经网络进行视频片段预处理，获得时间序列数据，数据归一化处理后，将无量纲数据输入到LSTM网络中，所述LSTM网络输出人体特征向量，将所述人体特征向量输入到softmax分类器中进行分类。该方法使用长短时记忆网络可有效过滤视频中的冗余信息并有效利用视频帧之间的时序信息，但是其直接对视频片段进行处理，计算量较大，且模型缺乏对视频空间信息的捕获，进而影响识别准确率及速度。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于残差-循环神经网络的人体行为识别方法，旨在提高人体行为识别的准确率和速度。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取多个人体骨架关键点信息：