[发明专利]基于深度相机和基本姿势的人体行为识别方法及装置

说明书

本发明公开了一种基于深度相机和基本姿势的人体行为识别方法及装置，其中，方法包括：通过深度相机检测人体行为的图像，并提取关键点信息；根据输入的图像进行人体三维结构的重建；重建人体三维数据进行关键姿势的识别和相应的特征提取，以得到姿势特征描述集的时间序列；将其与预先训练的特征描述集进行匹配，得到基本姿势的初始时间描述序列；去除初始时间描述序列的重复信息，得到最终时间描述序列；将最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，以得到识别结果。该方法可以减少识别目标动作快慢不同及动作不标准带来的干扰，能够保持识别视角不变，更加容易构建数据库，提高人体行为识别的鲁棒性和准确性。

技术领域

本发明涉及人机交互技术领域，特别涉及一种基于深度相机和基本姿势的人体行为识别方法及装置。

背景技术

随着计算机视觉技术的发展，以及卷积神经网络的出现，计算机对于多类物体静态识别的准确率和速度不断改善，计算机对于自然世界的有了一定的理解能力。同时对于序列任务，包括语音识别技术和语言翻译等一些具有明显时间尺度的识别问题，长短时记忆网络取得了良好的效果，原因就是它能够将历史的信息存入到细胞单元中，随着时间尺度的增长，该网络结构依然保存着相对完整的历史记忆，从而实现良好的识别效果。

然而对于视频的人体行为识别还没有取得良好的效果，目前主要有两种的主流方法，一类是基于RGB图像的，除了利用图片二维信息，加上时间尺度，利用3D卷积神经网络的方法来识别物体，但是该类方法，具有训练速度慢，易受环境背景影响等缺点，效果不是很理想；另外一种方法，主要思想侧重于降维，采用的工具是深度相机，由于深度相机可以捕捉深度信息，可以更好的描述人体的空间运动信息，因为基于视频的人体行为识别，主要的动作部位还是人体，在该类别中，首先将人进行定位，再将人的关键点部分进行提取，人体的关节运动基本是由身体的关键点决定的，这样利用关键点随着时间序列运动的信息能够很理想的将人体的动作描述成序列信息。

然而，对于视频中的人体行为理解仍然有很大的难点，其中之一就是视角可能会跟随拍摄位置活着人体相对于相机的角度发生变化，比如一种走路可能有不同的角度这些对于训练集是必要的，这会带来一个庞大数据库的问题，而且针对于每一个动作，不同的人体会对于完成的时间有着个体的差异。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度相机和基本姿势的人体行为识别方法，该方法可以减少识别目标动作快慢不同及动作不标准带来的干扰，能够保持识别视角不变，提高人体行为识别的鲁棒性。

本发明的另一个目的在于提出一种基于深度相机和基本姿势的人体行为识别装置。

为达到上述目的，本发明一方面实施例提出了一种基于深度相机和基本姿势的人体行为识别方法，包括：通过深度相机检测人体行为的图像，并提取关键点信息；根据输入的所述图像进行人体三维结构的重建，以保证视角不变性；将重建后的人体三维数据进行关键部位的姿势的识别和相应的特征提取，以得到姿势特征描述集的时间序列；根据所述特征描述集的时间序列与预先训练的特征描述集进行匹配，以得到基本姿势的初始时间描述序列；去除所述初始时间描述序列的重复信息，以得到最终时间描述序列；以及将所述最终时间描述序列输入到预先训练好的长短时记忆网络以进行人体的行为识别，以得到识别结果。

本发明实施例的基于深度相机和基本姿势的人体行为识别方法，在根据人体行为的图像提取得到关键点信息之后，可以进行人体三维结构的重建，从而保证视角不变性，有效减少数据库的构建，并且通过关键部位的姿势的识别和相应的特征提取得到姿势特征描述集的时间序列，以得到最终时间描述序列，进而输入到预先训练好的长短时记忆网络，得到识别结果，有效避免个体完成动作的快慢影响识别结果，提高识别的准确性和可靠性，以及有效去除噪音动作，大大提高了识别结果的鲁棒性。