[发明专利]一种基于图和注意力交织的三维人体姿态估计方法及系统

说明书

本发明涉及一种基于图和注意力交织的三维人体姿态估计方法及系统。该系统通过预训练的二维姿态检测器从图像特征中提取人体的二维骨架信息；将二维骨架嵌入到高维空间；利用图和注意力交织的网络模块挖掘骨架的局部和全局信息；利用U型结构的多层感知机模块捕获骨架的多层次信息；利用回归头模块将高维数据回归到三维骨架；利用关节点的平均误差作为模型训练的损失函数。本发明结合了图卷积和注意力机制在捕获骨架的局部和全局信息上的优势，允许图卷积模块和注意力模块之间双向通信以优势互补，可有效加强模型对人体骨架的建模能力，能够估计得到更接近真实三维姿态的结果。

技术领域

本发明属于机器视觉中的目标识别和智能人机交互领域，具体涉及一种基于图和注意力交织的三维人体姿态估计方法和系统。

背景技术

人体姿态估计的目的是在图片、视频等对象中描绘出人体形态，包括目标识别、图像分割、回归检测等多方面的任务。相比二维姿态估计，三维人体姿态估计对人体姿态的表述比二维姿态更为精准，拥有更高的研究价值。时下，三维人体姿态估计任务已成为计算机视觉领域的研究热点，也是很多研究工作的基础，从图像或视频中提取出的人体三维姿态可进一步用于动作识别、三维网格重建等任务。

现有的三维人体姿态估计方法可大体划分为两类：(1)基于直接回归的三维人体姿态估计。该类方法无需借助二维姿态表示，直接从二维图形中预测三维姿态坐标。这类方法的优势是可以实现端到端的网络训练，但对网络结构和数据预处理的要求较高。(2)基于二维骨架的三维人体姿态估计。该类方法通常分为两阶段，先用预训练好的二维姿态估计网络提取出骨架序列，再将得到的骨架输入到三维姿态估计网络中进行维度提升。得益于现有二维姿态估计算法的成熟，基于二维骨架的三维人体姿态估计方法大大降低了整个任务的复杂性，性能也优于基于直接回归的方法，成为主流。该方案可大幅降低网络结构的复杂度，更容易在真实环境中部署。一个典型的案例是利用由全连接层构建的网络(MartinezJ,Hossain R,Romero J,et al.A simple yet effective baseline for 3D human poseestimation.in Proceedings of theIEEE International Conference on ComputerVision(ICCV).2017:2640-2649.)将二维姿态提升到三维姿态，通过一系列实验证明了该方案的可行性，说明了简单轻量化的网络可以用于从二维人体姿态到三维人体姿态的映射。

尽管三维人体姿态估计于近些年来已取得了长足发展，但仍面临着一些研究难点，主要包括遮挡、二维到三维映射中固有的深度模糊性、数据集匮乏等挑战。

发明内容

针对现有技术存在的问题，本发明的目的是提供一种基于图和注意力交织的三维人体姿态估计方法及系统。本发明利用图卷积和注意力机制同时关注人体骨架的局部和全局信息，进一步让二者之间可进行通信，优势互补，实现更加鲁棒的人体骨架建模。此外，本发明所设计的U型结构多层感知机简单高效，可用于捕获骨架结构的多层次信息。

本发明采用的技术方案如下：

一种基于图和注意力交织的三维人体姿态估计方法，包括以下步骤：

将三维人体姿态估计数据集中的图像作为训练图像；

利用二维姿态检测器从输入的训练图像中提取人体的二维骨架信息；

利用骨架嵌入模块将提取的二维骨架信息映射到至高维空间，得到高维向量；

利用图和注意力交织的网络模块挖掘骨架嵌入模块得到的高维向量中蕴含的人体骨架的局部和全局信息；

利用U型结构的多层感知机模块从图和注意力交织的网络模块的输出中提取人体骨架的多层次信息；

利用回归头模块对提取的人体骨架的多层次信息进行回归，输出得到三维骨架；