[发明专利]基于注意力机制融合多流图的人体姿态预测方法及系统

说明书

本发明涉及一种基于注意力机制融合多流图神经网络的人体姿态预测方法及系统，其方法包括：S1：获取用于训练的人体关键关节的三维位置数据序列，根据预设的输入序列和输出序列的长度，分为输入序列和输出序列；根据输入序列构建图数据；S2：构建基于注意力机制融合多流图神经网络模型；将图数据输入该模型进行训练，得到训练好的模型；S3：获取用于预测的人体关键关节的三维位置数据序列，构建图数据，输入训练好的基于注意力机制融合多流图神经网络模型，得到人体姿态的预测值。本发明提出的方法，基于人体关节位置数据及结构特征，构建多个图模型，实现了对人体运动系统的建模，以对人体姿态进行预测，并达到了较高的准确率。

技术领域

本发明涉及计算机视觉和图像处理领域，具体涉及一种基于注意力机制融合多流图神经网络的人体姿态预测方法及系统。

背景技术

近年来，随着成本较低的消费级深度相机的广泛使用，人体三维运动姿态的低成本、实时采集成为了可能，因此人体姿态预测成为了图形学与计算机视觉交叉的热点问题，并在机器人领域、医疗领域、自动驾驶技术上有着广阔的应用前景和丰富的应用场景。

在机器人领域，外骨骼机器人相关技术是研究的一大热点，在航空航天中有着非常重要的应用，被认为是开展在轨建造、维修及月面和火星表面活动的关键支撑装备，对于航天出舱任务的完成和应急故障处置都会发挥极为重要的作用。人体姿态预测算法通过对人体运动规律进行识别分析，对航天员的运动意图进行判断和预测，辅助外骨骼机器人完成力柔顺控制，减少外骨骼机器人控制中出现的力突变，从而有效地提高航天服对航天员运动的适应性。

运动捕捉技术早在五十年前就已问世，广泛应用于影视和游戏等娱乐行业，同时也在医疗健康行业帮助着具有运动障碍的患者。但目前，人们仍然无法脱离真实的运动捕捉数据去生成逼真的、符合人体结构特点和运动平衡状态的云中数据，但是目前主流的运动捕捉技术仍然是基于惯性传感器或复杂的光学传感系统的，存在造价高、需要专业场地等劣势，距离“飞入寻常百姓家”，造福需要依靠辅助器械完成日常运动的患者们，还有很远的距离。人体姿态预测算法应用于运动生成技术中，可以大大提高运动捕捉数据的利用率，降低运动数据的后期处理工作量。通过逐渐普及的飞行时间相机，人体姿态预测算法会更容易应用于人机交互领域，例如，人体姿态预测算法根据采集到的受试者的动作，指导受试者完成正确的动作，从而辅助因罹患神经退行性疾病导致肢体认知缺陷的患者康复。

因此，人体姿态预测具有重要的应用价值，但由于人体的运动是具有200个以上自由度，而且人体各个关节的自由度之间有着极大的相关性，如逆运动学、动力学等传统方法对人体运动进行模拟非常困难，无法建立一个精确的人体运动模型，并且人体运动规律复杂性非常高，特别是人体运动的平衡协调机制难以模拟。这给基于传统统计学习方法的人体动作预测带来了巨大的困难。

近年来，随着计算机硬件和机器学习算法的发展，基于深度学习的人体预测方法被提出。在基于深度学习模型方法中，研究者无需关注复杂的运动学约束和参数等不同行为的认知能力，只需构建深度神经网络模型，然后经过大量运动数据的训练，可以学习到人体运动数据中某些潜在的运动特征，并据此预测出一个人接下来的动作轨迹。早期的深度学习模型主要是基于循环神经网络和卷积神经网络，但有一定的缺陷：循环神经网络强调序列的时序关系，忽略空间信息；卷积神经网络的工作则令单帧骨骼数据构造成一维向量，将序列视为二维矩阵，关注于单一关节随时间的位置变化，而忽略了人体各个关节之间的相关性，不能充分利用人体本身的拓扑结构信息。