[发明专利]一种单目彩色视频的三维人体关节点定位方法

摘要

本发明提供了一种单目彩色视频的三维人体关节点定位方法，包括以下步骤S1、构建可配置的深度模型，并在该深度模型中引入时序信息；S2、采集训练样本，并利用训练样本学习出深度模型的参数；S3、利用S2中学习得到的参数对深度模型进行初始化，将需要进行三维人体关节点定位的单目彩色视频数据转化为连续多帧二维图像，输入深度模型以进行分析；针对每帧二维图像，输出其中人物的三维人体关节点坐标。本发明利用深度学习，构建深层次的卷积神经网络，来从大量的训练样本中自动学习出有效的时空特征，而不再依赖人工设计的先验条件和人体关节结构约束；通过学习出的有效特征，直接回归出人体的关节点位置。

主权项

一种单目彩色视频的三维人体关节点定位方法，其特征在于，包括以下步骤：S1、构建可配置的深度模型，并在该深度模型中引入时序信息；其中，所述深度模型包括互相串联的卷积神经网络和长短时记忆网络；所述卷积神经网络用于对视频数据进行逐帧处理，提取二维图像中人物的二维人体关节点特征，并将二维图像中人物的二维人体关节点特征转化到三维人体关节点坐标相关的特征空间；所述长短时记忆网络用于结合当前帧及其之前的连续多帧二维图像的特征信息，预测出当前帧二维图像的三维人体关节点坐标；S2、采集训练样本，并利用训练样本学习出深度模型的参数；所述训练样本包括：被转换成连续多帧二维图像的视频数据、每帧二维图像对应的真实的二维人体关节点坐标和三维人体关节点坐标；其中，视频数据和二维人体关节点坐标用于供深度模型学习出构建卷积神经网络的参数，视频数据和三维人体关节点坐标用于供深度模型学习出构建长短时记忆网络的参数；S3、利用S2中学习得到的参数对深度模型进行初始化，将需要进行三维人体关节点定位的单目彩色视频数据转化为连续多帧二维图像，输入深度模型以进行分析；针对每帧二维图像，输出其中人物的三维人体关节点坐标。