[发明专利]一种基于多任务非自回归解码的人体骨架的动作预测方法

说明书

本发明公开了一种基于多任务非自回归解码的人体骨架的动作预测方法，用于人体3D骨架的动作预测问题。具体包括如下步骤：获取用于训练的人体3D骨骼关键点数据集，并定义算法目标；建立图卷积编码器，对输入的人体3D骨架进行特征学习，得到输入骨架的特征；建立分类器，对输入的人体3D骨架输入进行行为识别；建立非自回归解码器，预测未来时刻人体3D骨架；使用共享的图卷积编码器和分类器，对预测的人体3D骨架再进行行为识别；使用所述联合学习框架进行未来时刻的人体动作预测。本发明用于真实视频中的人体动作预测分析，面对各类复杂情况具有较佳的效果和鲁棒性。

技术领域

本发明属于计算机视觉领域，特别地涉及一种基于多任务非自回归解码的人体骨架的动作预测方法。

背景技术

基于人体骨架的动作预测问题被定义为如下问题：在包含多帧的一组人体骨骼关键点序列中，预测未来时刻的人体关键点序列。人体骨骼关键点常作为一些高层视觉任务的辅助信息，如人机交互，异常行为检测等。人体骨架动作预测的关键因素包括对于时序结构的建模。传统方法常使用自回归的解码方式，即后一帧的预测结果完全依赖于前一帧的预测结果，利用这种递归的方式对未来时刻进行预测，而没有考虑预测误差也会随非自回归解码过程进行传播这一事实。本发明提出了一种非自回归的解码方式，利用一种未知信息嵌入的特征以表征位置信息，学习到动作信息与位置信息的特定关联，打断了自回归方式中误差传播的路径，从而有效避免了预测误差在解码过程中的传播。

此外，本发明还探究了基于人体骨架的动作预测问题以及基于人体骨架的行为识别问题。由于两种任务的相似性较强，利用一种自监督的方式同时完成动作预测和行为识别，能够有效地提高二者的准确率。

由于统计建模的有效性，目前基于学习的方法逐渐被应用于基于人体骨架的动作预测任务中。现有的基于学习的方法主要采用深度学习框架，输入一组人体骨架序列，输出未来时刻对应的人体骨架序列。深度学习能够有效地解决特征表达的问题。

发明内容

为解决上述问题，本发明的目的在于基于多任务非自回归解码的人体动作预测方法。该方法基于深度神经网络，在解码过程中引入了位置信息嵌入，建模了动作信息和位置信息的关系，避免了预测误差在解码过程中的传播，从而使模型更具准确性和鲁棒性。此外，引入了与动作误测任务强关联的行为识别任务，利用自监督的学习方式同时完成动作预测和行为识别，能够有效地提高二者的准确率。

为实现上述目的，本发明的技术方案为：

基于多任务非自回归解码的人体骨架的动作预测方法，其包括以下步骤：

S1、获取用于训练的人体3D骨骼关键点数据集，并定义算法目标；

S2、建立图卷积编码器，对输入的人体3D骨架进行特征学习，得到输入骨架的特征；

S3、建立分类器，对输入的人体3D骨架输入进行行为识别；

S4、建立非自回归解码器，预测未来时刻人体3D骨架；

S5、使用共享的图卷积编码器和分类器，对预测的人体3D骨架再进行行为识别；

S6、使用S1～S5建立的联合学习框架进行未来时刻的人体动作预测。

基于上述方案，各步骤可以通过如下方式实现：

作为优选，步骤S1中，所述的用于训练的人体3D骨骼关键点数据集，包括给定的人体骨架关键点序列其中表示第t帧中第n个节点的3D信息，N为人体关节点总数，T₁为给定序列帧数；还包括待预测的人体骨架关键点序列其中为待预测的第t帧中第n个节点的3D信息真值，T₂为待预测序列帧数；

定义算法目标为：给定连续T₁帧人体骨架序列作为输入，预测未来T₂帧人体骨架序列的动作信息。