[发明专利]姿态估计方法、装置、电子设备和存储介质

说明书

本发明公开了一种姿态估计方法、装置、电子设备和存储介质，以解决提高拥挤场景下姿态估计准确度的技术问题。该方法包括：从行人检测框所限定的区域图像中提取视觉特征；根据视觉特征识别区域图像中所有关节并建立候选关节集；对候选关节集中所有关节进行评估并获得区域图像中目标行人实例的目标关节信息；根据目标关节信息生成目标关节估计结果进而生成对应目标行人实例的估计姿态。通过提取的视觉特征识别区域图像中所有关节并建立候选关节集，这时，候选关节集中既包括目标关节又干扰关节，然后再对候选关节集中所有关节进行评估并获得区域图像中目标行人实例的目标关节信息，从而提高拥挤场景下姿态估计准确度。

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种姿态估计方法、装置、电子设备和存储介质。

背景技术

人体姿态估计是计算机视觉中一个基础而又富有挑战性的问题，其目的是从单张RGB图像中，精确地识别出多个人体的位置以及骨架上的稀疏的关节位置。随着深度卷积神经网络 (CNNs)的应用和MSCOCO等大规模数据集的发布，姿态估计方法已经取得了较大的发展。它们大致可以分为bottom-up(即自底向上，下同)和top-down(即自顶向下，下同)的方法。对于bottom-up的方法，首先检测出所有的人体关节，然后将它们分组到不同的人体实例，问题大多集中在如何将候选关节分组到单个人体实例。对于top-down的方法，思路正好相反，首先定位所有人体实例，然后对每个行人做姿态估计，方法主要集中在如何设计更高效的单人姿势估计(SPPE)。相较于不需要检测人体实例的bottom-up方法，top-down方法通常具有更好的姿态估计性能，但推理速度较低。

尽管现有top-down姿态估计方法在简单场景下性能表现较佳，但针对“拥挤场景”仍面临着巨大挑战。所谓“拥挤场景”，就是RGB图像捕捉到具有高度重叠的行人、严重遮挡、不同姿势和多尺度变化的复杂现实场景。针对拥挤场景，现有top-down姿态估计方法会遇到如下两个技术问题：

1)行人检测框包含多个关节。目前top-down的方法假设每个检测到的行人实例仅包含属于目标行人的关节，即目标关节。但拥挤场景通常包含高度遮挡或重叠的行人，这意味着除了目标关节之外，生成的行人检测框还包含属于其他行人实例的关节，即干扰关节。基于上述的假设，传统top-down的方法可能为同一个人的关节分配不同的行人标签，这样一旦将干扰关节确定为目标关节，将导致不可逆的错误。另外，这些干扰关节也将极大可能被视为其他行人的目标关节，所以在增强目标关节响应的同时，本实施例也不能过度抑制干扰关节。由于干扰关节会极大地混淆目标关节的预测，因此如何从给定行人检测中剔除干扰关节是一个非常具有挑战性的技术问题。

2)拥挤场景中的模糊关节。传统的top-down的姿势估计方法高度依赖于姿态视觉特征的提取，因此从区域图像提取的姿态视觉特征仅包含视觉表观，缺乏人体结构的先验知识。当面对拥挤场景导致的模糊关节，比如由于严重遮挡而不可见的关节、或具有高度相似视觉表观的关节，姿势估计器可能会失败。但是，人类可以通过查看周围区域的情况来很好地估计这类模糊关节。例如，基于人类常识的推理能力，人们在看到“头部”和“肩部”后可以轻松推断“颈部”的位置。因此，另一个关键的技术问题是如何将常识知识的建模能力嵌入到当前的姿态估计方法。

发明内容

本发明所要解决的技术问题是：提供一种姿态估计方法、装置、电子设备和存储介质，以提高拥挤场景下姿态估计的准确度。

本发明解决上述技术问题所采用的技术方案是：一种姿态估计方法，包括：从行人检测框所限定的区域图像中提取视觉特征；根据视觉特征识别区域图像中所有关节并建立候选关节集；对候选关节集中所有关节进行评估并获得区域图像中目标行人实例的目标关节信息；根据目标关节信息生成目标关节估计结果进而生成对应目标行人实例的估计姿态。