[发明专利]一种基于图和注意力交织的三维人体姿态估计方法及系统

权利要求书

1.一种基于图和注意力交织的三维人体姿态估计方法，包括以下步骤：

将三维人体姿态估计数据集中的图像作为训练图像；

利用二维姿态检测器从输入的训练图像中提取人体的二维骨架信息；

利用骨架嵌入模块将提取的二维骨架信息映射到至高维空间，得到高维向量；

利用图和注意力交织的网络模块挖掘骨架嵌入模块得到的高维向量中蕴含的骨架的局部和全局信息；

利用U型结构的多层感知机模块从图和注意力交织的网络模块的输出中提取人体骨架的多层次信息；

利用回归头模块对提取的人体骨架的多层次信息进行回归，输出得到三维骨架；

利用关节点的均方误差作为监督学习的损失函数，对回归头模块估计出的三维骨架进行监督学习，以训练三维人体姿态估计模型；

将二维姿态检测器从待估计图像中提取的二维骨架信息作为训练好的三维姿态估计模型的输入，依次经过骨架嵌入模块，图和注意力交织的网络模块，U型结构的多层感知机模块和回归头模块，最后输出得到三维人体姿态估计的结果。

2.如权利要求1所述的方法，其特征在于，所述图和注意力交织的网络模块包含图卷积块和注意力块，同时结合了图卷积和注意力机制在捕获人体骨架局部和全局特征的优势，并允许二者之间进行通信，以加强模型对骨架的建模能力。

3.如权利要求2所述的方法，其特征在于，所述图卷积块结合了人体骨架的拓扑结构先验，用于捕获人体骨架的局部信息；所述局部信息是指每个关键点着重关注与其临近的节点，对于较远的节点，则倾向于忽略与其的联系。

4.如权利要求3所述的方法，其特征在于，所述人体骨架的拓扑结构先验指用于表示人体骨架的邻接矩阵中，每个关节点不仅与自身相连，也与其相邻的关节点相邻，骨架中对称的关节点相连，借助邻接矩阵将骨架结构的固有特征进行表征。

5.如权利要求2所述的方法，其特征在于，所述注意力块用于捕获人体骨架的全局信息；所述全局信息是指每个关节点都与所有关节点之间建立联系，每一个关节点对整个骨架都有全局的感知。

6.如权利要求1所述的方法，其特征在于，所述U型结构的多层感知机模块由3层全连接网络组成；第一层全连接网络的输出较输入在通道维度上减半，第二层全连接网络的输入和输出在通道维度上保持不变，第三层全连接网络则将输出的通道维度提升到和输入一致；其中维度一致的地方保持short cut连接，包括第一层全连接网络的输入和第3层全连接网络的输出之间采用short cut连接，第二层全连接网络的输入和输出之间保持shortcut连接。

7.如权利要求1所述的方法，其特征在于，所述骨架嵌入模块包含多层全连接网络，逐步将二维输入映射到高维空间；所述回归头模块包含2层全连接网络，用于将高维的特征回归到具体的关节点坐标。

8.一种基于图和注意力交织的三维人体姿态估计系统，其包括：

预处理单元，用于获取三维人体姿态估计数据集中的训练图像，并采用二维人体姿态检测器从输入的训练图像中提取二维骨架信息；

模型训练单元，利用骨架嵌入模块将提取的二维骨架信息映射到高维空间，利用图和注意力交织的网络模块捕获骨架的局部和全局信息，利用U型结构的多层感知机模块捕获骨架的多层次信息，最后利用回归头模块将高维特征回归得到三维骨架，利用关节点的均方误差作为三维人体姿态估计监督学习的损失函数，训练三维人体姿态估计模型；

三维人体姿态估计单元，采用预训练好的二维姿态估计检测器提取图像中人体的二维骨架信息，将提取的二维骨架信息依次输入训练完成的骨架嵌入模块，图和注意力交织的网络模块，U型结构的多层感知机模块，回归头模块，输出得到三维人体姿态估计结果。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一项所述方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一项所述的方法。