[发明专利]基于关系建模的人体姿态估计方法

说明书

本发明公开了基于关系建模的人体姿态估计方法，包括以下步骤：步骤一：给定一段包含N帧的视频，即RPSTN采用连续的T帧作为输入，给定由P生成的初始姿态，本发明相比于已有方法，本文提出的RPSTN对遮挡问题具有一定的鲁棒性，一方面JRE模块可以通过学习到的姿态结构信息，即关节点之间的关系，在空间上推理被遮挡关节点的位置，另一方面，JRPSP模块可以将未遮挡帧中的姿态信息传递到被遮挡帧中以帮助定位姿态，且避免了在生成关节点热图的过程中，已有方法都是单个关节点逐点定位，而忽略了关节点之间的联系，人体是一个有机的整体，在运动过程中各个关节点是相互关联的，已有方法逐点定位的方式会破坏人体的结构信息的问题。

技术领域

本发明属于人体姿态估计技术领域，具体涉及基于关系建模的人体姿态估计方法。

背景技术

关系实际上就是关系模式在某一时刻的状态或内容。也就是说，关系模式是型，关系是它的值。关系模式是静态的、稳定的，而关系是动态的、随时间不断变化的，因为关系操作在不断地更新着数据库中的数据。但在实际当中，常常把关系模式和关系统称为关系，读者可以从上下文中加以区别。

姿态估计问题就是确定某一三维目标物体的方位指向问题。姿态估计在机器人视觉、动作跟踪和单照相机定标等很多领域都有应用。在不同领域用于姿态估计的传感器是不一样的。

基于视频的人体姿态估计是计算机视觉领域一项重要又具有挑战性的任务。虽然目前基于深度学习的人体姿态估计取得了很大进步，但大多数方法存在一个共同问题，即在生成关节点热图的过程中，已有方法都是单个关节点逐点定位，而忽略了关节点之间的联系，人体是一个有机的整体，在运动过程中各个关节点是相互关联的，已有方法逐点定位的方式会破坏人体的结构信息。

发明内容

本发明要解决的技术问题是克服现有的缺陷，提供基于关系建模的人体姿态估计方法，以解决上述背景技术中提出的在生成关节点热图的过程中，已有方法都是单个关节点逐点定位，而忽略了关节点之间的联系，人体是一个有机的整体，在运动过程中各个关节点是相互关联的，已有方法逐点定位的方式会破坏人体的结构信息的问题。

为实现上述目的，本发明提供如下技术方案：基于关系建模的人体姿态估计方法，包括以下步骤：

步骤一：给定一段包含N帧的视频，即

RPSTN采用连续的T帧作为输入，给定由P生成的初始姿态，关节关系提取器(JRE)通过对关节之间的关系建模联合地生成所有关节点热图，然后将包含位姿结构信息的关节热图与位姿F生成的表观特征相结合，传递给关节关系引导的位姿语义传播器(JRPSP)，从而获取姿态的高级语义特征，这些高级语义特征从当前帧传递到下一帧，以指导模型估计下一帧的姿态，考虑到视频的时间语义一致性，连续两帧之间的语义信息是相似的(即外观、场景信息基本不变，只有动作姿态发生微小变化)，因此，使用全局匹配机制在当前帧中搜索与JRPSP提取的语义特征相似的区域；

步骤二：对于第一帧，使用预训练的姿态初始化器生成一系列热图表示的初始姿态，然后JRE模块以P生成的初始热图作为输入，学习任意两个初始关节热图之间的关系，初始热图由JRE模块进行微调，并通过批处理规范化层，将其转换为精确的热图，受JRE模块提取的关系信息的鼓励，RPSTN可以联合生成所有关节的热图，而不是单独检测每个关节，整个过程形式化如下：

M′_t＝BN(R(P(I_t))),t＝1

式中，M′_t,t＝1表示第一帧中的关节点热图，BN(·)表示批归一化层，R(·),P(·)分别代表JRE模块和姿态初始化器；