[发明专利]人体姿态估计方法、装置、电子设备及可读存储介质

说明书

本申请公开了一种人体姿态估计方法、装置、电子设备及可读存储介质。其中，方法包括将待处理图像输入至人体姿态估计组件，得到待处理图像所包含的各人体的初始姿态预估信息和各人体的每个关键点的偏移信息；人体姿态估计组件包括人体姿态初步估计模型、热力图引导的编码器和基于图结构的细化模块。人体姿态初步估计模型对待处理图像进行初始姿态估计，热力图引导的编码器基于其输入人体关键点特征信息和多个热力图生成关键点嵌入；基于图结构的细化模块根据关键点嵌入和人体结构生成人体的每个关键点的偏移信息。对待处理图像所包含的各人体，根据相应的初始姿态估计信息和各人体关键点的偏移信息可有高效且估计下一时刻的姿态信息。

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种人体姿态估计方法、装置、电子设备及可读存储介质。

背景技术

随着计算机视觉技术的快速发展，2D人体姿态估计也即二维人体姿态估计作为最基本但也十分具有挑战性的计算机视觉任务，也得到了相应的快速发展。人体姿态估计为确定关键点的精确像素位置的技术，其为解决其他高级任务的基本工具，例如行为识别，姿态跟踪，行人重识别以及人机交互等。

近年来，由于CNN(Convolutional Neural Network，卷积神经网络)的强大的表达能力，基于CNN的二维姿态估计得到了巨大的发展。这些基于CNN的多人姿态估计方法可以分为Bottom-up(也即自底向上)方法和Top-down(自顶向下)方法。所谓采用Top-down方法进行人体姿态估计是指：先通过目标检测得到图像中所有的人体实例，之后分别对每个人体实例进行人体姿态估计。现有技术通常基于热力图的CNN模型进行人体姿态估计，基于热力图的模型是将人体姿态估计问题转换为热力图估计问题，为每一个关键点生成一个热力图，热力图中的热力值表示关键点在该像素位置的概率。自顶向下的方法侧重于改进网络结构，以提高热力图回归的有效性，例如可通过增加几个deconvolutional layers(也即反卷积层)来提高输出特征图的分辨率，这是一个相当简单但是性能较好的方法。

而可以理解的是，关键点之间约束关系自然地形成了图结构，合理利用关键点之间的依赖关系有利于关键点定位。但是，CNN无法处理非欧几里得结构的数据，通俗理解就是在拓扑图中每个顶点得相邻顶点数目都可能不同，那么就无法用同样尺寸得卷积核来进行卷积运算。这导致基于CNN的模型，缺乏捕捉关键点之间的依赖关系的能力，难以处理图结构的数据。与基于卷积神经网络的模型相比，图卷积网络在处理人体姿态建模问题时，能够更加有效地捕捉关键点之间的依赖关系。基于图卷积网络的模型执行人体姿态估计任务，但是，图卷积网络以1D也即一维的关键点嵌入(keypoints embeddings)作为输入，关键点嵌入也即关键点的一维的特征表示。相关技术在生成关键点嵌入时，都是直接将2D特征拉平以获得1D的关键点嵌入，这将导致关键点嵌入的维度很大，例如2D特征的大小为64×48，拉平后变为3072，使得关键点嵌入包含了冗余的信息，若关键点嵌入包含较多的冗余信息，将会导致模型的参数量和计算成本提高很多，从而会导致最终的人体姿态估计效率和精准度均无法满足要求。

鉴于此，如何高效且精准地实现人体姿态估计，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种人体姿态估计方法、装置、电子设备及可读存储介质，可有高效且精准地实现人体姿态估计。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种人体姿态估计方法，包括：

预先构建人体姿态估计组件，所述人体姿态估计组件包括人体姿态初步估计模型、热力图引导的编码器和基于图结构的细化模块；

将待处理图像输入至所述人体姿态估计组件，得到所述待处理图像所包含人体的初始姿态预估信息和每个关键点的偏移信息；

对所述待处理图像所含人体，根据所述初始姿态估计信息和各关键点的偏移信息，确定下一时刻的姿态信息；