[发明专利]基于多层感知机的人体3D骨架运动预测方法

说明书

本发明公开了一种基于多层感知机的人体3D骨架运动预测方法。将3D骨架关节点序列数据输入第一时空可分离图卷积网络中，输出预测的第一关节坐标序列；将第一关节坐标序列通过第一全连接层线性投影到隐藏维度，生成二维实值输入表；将二维实值输入表输入至少一个多层感知机混合器块，输出人体骨架时空依赖信息矩阵；将人体骨架时空依赖信息矩阵输入第二时空可分离图卷积网络中，输出预测的第二关节坐标序列；将第二关节坐标序列依次送入第二全连接层和第三全连接层，输出预测的3D骨架关节点序列。本发明提高了短期和长期预测的最新水平，网络计算复杂度低、耗时短、效率高，对不同人体的尺度差异、运动复杂度差异等难点具有较强鲁棒性。

技术领域

本发明涉及一种智能机器人导航技术、智能汽车无人驾驶技术，具体是一种基于多层感知机的人体3D骨架运动预测方法，属于计算机视觉领域。

背景技术

人体运动预测的目的是通过给定的历史运动序列预测基于骨架的人体在未来一段时间内的运动趋势，这是一项重要的计算机视觉任务，具有许多潜在的应用前景，如自动驾驶、人机交互、目标跟踪和运动规划。

给定人体运动的几个时间步长，能够预测这个人将如何继续运动，并想象他们未来运动的复杂动力学，进行这种预测的能力使我们能够对自己的行为做出反应和计划。同样，人类运动的预测模型是许多现实世界计算机视觉应用的重要组成部分，如监控系统，以及机器人和自动驾驶汽车的防撞。近年来，三维人体运动预测的研究备受关注，深度模型的设计是以几步三维运动轨迹作为输入，以预测未来长期的三维运动轨迹作为输出。

发明内容

本发明的目的在于提供一种基于多层感知机的人体3D骨架运动预测方法，以使用远少于现有方法的参数实现最先进的性能。

本发明的目的通过以下技术方案实现：

一种基于多层感知机的人体3D骨架运动预测方法，包括以下步骤：

将3D骨架关节点序列输入第一时空可分离图卷积网络中，输出预测的第一关节坐标序列；

将第一关节坐标序列通过第一全连接层线性投影到隐藏维度，生成二维实值输入表；

将二维实值输入表输入至少一个多层感知机混合器块，输出人体骨架时空依赖信息矩阵；

将人体骨架时空依赖信息矩阵输入第二时空可分离图卷积网络中，输出预测的第二关节坐标序列；

将第二关节坐标序列依次送入第二全连接层和第三全连接层，输出预测的3D骨架关节点序列。

进一步地，所述第一时空可分离图卷积网络包括第一残差块、第一图卷积网络和第一时间卷积网络，所述将3D骨架关节点序列输入第一时空可分离图卷积网络中，输出预测的第一关节坐标序列，包括：

通过第一残差块中的卷积层和归一化层对输入的3D骨架关节点序列中的关节坐标进行编码得到residual；

将3D骨架关节点序列输入到第一图卷积网络中，依次对时间邻接矩阵和空间邻接矩阵进行爱因斯坦求和；

将求和结果输入到第一时间卷积网络中，利用时空表示预测未来的关节坐标

输出第一关节坐标序列

进一步地，所述3D骨架关节点序列为T_h为时间步长，三维人体姿态x_t∈R^3×J，J为人体骨架关节点的个数，预测的第一关节坐标序列为其中K为空间维，K＝3*J，每个时间步长x_t的框架被平化为长度K＝3*J的向量；所述将第一关节坐标序列通过第一全连接层线性投影到隐藏维度，生成二维实值输入表，包括：

将每个身体骨架x_t∈R^K通过第一全连接层线性投影到隐藏维度C，得到二维实值输入表