[发明专利]一种单目彩色视频的三维人体关节点定位方法

说明书

本发明提供了一种单目彩色视频的三维人体关节点定位方法，包括以下步骤：S1、构建可配置的深度模型，并在该深度模型中引入时序信息；S2、采集训练样本，并利用训练样本学习出深度模型的参数；S3、利用S2中学习得到的参数对深度模型进行初始化，将需要进行三维人体关节点定位的单目彩色视频数据转化为连续多帧二维图像，输入深度模型以进行分析；针对每帧二维图像，输出其中人物的三维人体关节点坐标。本发明利用深度学习，构建深层次的卷积神经网络，来从大量的训练样本中自动学习出有效的时空特征，而不再依赖人工设计的先验条件和人体关节结构约束；通过学习出的有效特征，直接回归出人体的关节点位置。

技术领域

本发明涉及三维人体姿态识别、计算机视觉、模式识别和人机交互领域，特别是基于卷积神经网络和长短时记忆网络的单目彩色视频的三维人体关节点定位方法。

背景技术

姿态估计是计算机视觉研究的一个重要领域，其主要任务是让计算机能够自动地感知场景中的人“在哪里”和判断人在“干什么”，它的应用包括智能监控、病人监护和一些涉及人机交互的系统。人体姿势的目标是希望能够自动地从未知的视频中(例如，一段图像帧)中推测人体各个部分的姿态参数(例如，关节点坐标)。通过这些姿态参数可以在三维空间中重建人体的动作，为整个场景的语义理解奠定基础。

然而随着社会的进步，当前的二维姿态估计已经不能满足用户的需求，并且在普通的RGB图像或视频中估计姿态受光照、遮挡、环境因素影响大，难以做到鲁棒。而目前从单彩色图像序列中估计三维姿态不仅要面对估计二维姿态存在的挑战，还面临如何确保三维姿态的几何约束的问题。

现在对单目彩色视频中三维人物关节点定位主要存在以下难点：

1、人物外表变化大，相机视点不固定，外物或者自身遮挡导致的部分关节点不可见。

2、从几何角度来说三维姿态本身含有二义性。

现有的三维姿态识别方法多是依赖人工设计的先验条件和人体关节结构约束，但是这种方法评测内部各个模块，也不能根据具体情境进行扩展。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于卷积神经网络和长短时记忆网络的单目彩色视频的三维人体关节点定位方法，该方法可以有效地自动抽取复杂人物姿态的时空特征，提高姿势估计的准确率。

为实现上述目的，本发明采用以下技术方案：

一种单目彩色视频的三维人体关节点定位方法，包括以下步骤：

S1、构建可配置的深度模型，并在该深度模型中引入时序信息；

其中，所述深度模型包括互相串联的卷积神经网络和长短时记忆网络；

所述卷积神经网络用于对视频数据进行逐帧处理，提取二维图像中人物的二维人体关节点特征，并将二维图像中人物的二维人体关节点特征转化到三维人体关节点坐标相关的特征空间；

所述长短时记忆网络用于结合当前帧及其之前的连续多帧二维图像的特征信息，预测出当前帧二维图像的三维人体关节点坐标；

S2、采集训练样本，并利用训练样本学习出深度模型的参数；所述训练样本包括：被转换成连续多帧二维图像的视频数据、每帧二维图像对应的真实的二维人体关节点坐标和三维人体关节点坐标；其中，视频数据和二维人体关节点坐标用于供深度模型学习出构建卷积神经网络的参数，视频数据和三维人体关节点坐标用于供深度模型学习出构建长短时记忆网络的参数；

S3、利用S2中学习得到的参数对深度模型进行初始化，将需要进行三维人体关节点定位的单目彩色视频数据转化为连续多帧二维图像，输入深度模型以进行分析；针对每帧二维图像，输出其中人物的三维人体关节点坐标。

进一步地，所述卷积神经网络包括互相串联的二维特征抽取模块和特征转化模块；