[发明专利]人体姿态估计方法、装置、电子设备及可读存储介质

权利要求书

1.一种人体姿态估计方法，其特征在于，包括：

预先构建人体姿态估计组件，所述人体姿态估计组件包括人体姿态初步估计模型、热力图引导的编码器和基于图结构的细化模块；

将待处理图像输入至所述人体姿态估计组件，得到所述待处理图像所包含人体的初始姿态预估信息和每个关键点的偏移信息；

对所述待处理图像所含人体，根据所述初始姿态估计信息和各关键点的偏移信息，确定下一时刻的姿态信息；

其中，所述人体姿态初步估计模型对所述待处理图像进行初始姿态估计，并输出人体关键点特征信息和多个热力图至所述热力图引导的编码器；所述热力图引导的编码器根据所述人体关键点特征信息和各热力图，生成维度为所述人体关键点特征信息通道数的关键点嵌入；所述基于图结构的细化模块根据所述关键点嵌入和人体结构，生成人体的每个关键点的偏移信息。

2.根据权利要求1所述的人体姿态估计方法，其特征在于，所述根据所述人体关键点特征信息和各热力图，生成维度为所述人体关键点特征信息通道数的关键点嵌入，包括：

对所述人体关键点特征信息进行转换，得到相应的空间特征；

对每幅热力图，分别按照预设值更新规则更新各热力图中热力值小于预设阈值的像素位置的值，得到相应目标热力图；

利用所述空间特征和各目标热力图，对人体各关键点特征进行编码；

通过将各目标热力图和所述空间特征，沿通道维度进行矩阵乘法实现以得到所述关键点嵌入。

3.根据权利要求2所述的人体姿态估计方法，其特征在于，所述按照预设值更新规则更新各热力图中热力值小于预设阈值的像素位置值，包括：

调用值设置关系式，更新各原始热力图中热力值小于预设阈值的像素位置的值；所述值设置关系式为：

式中，threshold为所述预设阈值，H_ij'为第i个关键点对应的目标热力图中j点像素位置的热力值，H_ij为第i个关键点对应的原始热力图中j点像素位置的热力值。

4.根据权利要求2所述的人体姿态估计方法，其特征在于，所述利用所述空间特征和各目标热力图，对人体各关键点特征进行编码，包括：

调用编码关系式对人体各关键点特征进行编码；所述编码关系式为：

式中，embdding∈R^K×C，embedding为一个关键点的关键点嵌入，embeddings为所有关键点的关键点嵌入，||表示在通道维数上连接，h_j'为目标热力图中j点像素位置的热力值，f_j为所述空间特征上每个像素位置沿通道方向的特征向量，K为关键点总数，i表示第i个关键点，C为所述关键点嵌入的维度，H*W表示所述空间特征的区域数，R为实数。

5.根据权利要求1至4任意一项所述的人体姿态估计方法，其特征在于，所述基于图结构的细化模块包括多个图卷积层和全连接层；

各图卷积层用于执行各关键点之间的消息传递，并更新所述关键点嵌入；

所述全连接层用于预测每个关键点的偏移量。

6.根据权利要求5所述的人体姿态估计方法，其特征在于，所述基于图结构的细化模块包括多个边卷积层。

7.一种人体姿态估计装置，其特征在于，包括：

组件构建模块，用于预先构建人体姿态估计组件，所述人体姿态估计组件包括人体姿态初步估计模型、热力图引导的编码器和基于图结构的细化模块；

姿态估计模块，用于将待处理图像输入至所述人体姿态估计组件，得到所述待处理图像所包含人体的初始姿态预估信息和每个关键点的偏移信息；对所述待处理图像所含人体，根据所述初始姿态估计信息和各关键点的偏移信息，确定下一时刻的姿态信息；其中，所述人体姿态初步估计模型对所述待处理图像进行初始姿态估计，并输出人体关键点特征信息和多个热力图至所述热力图引导的编码器；所述热力图引导的编码器根据所述人体关键点特征信息和各热力图，生成维度为所述人体关键点特征信息通道数的关键点嵌入；所述基于图结构的细化模块根据所述关键点嵌入和人体结构，生成人体的每个关键点的偏移信息。