[发明专利]人体姿势估计系统中使用实时姿势缓冲区校正的方法

说明书

一种在实时2D/3D人体姿势估计系统中使用检测到的姿势的实时缓冲区来校正人体姿势的系统和方法。尽管许多现有的人体姿势估计系统有很高的准确度，但仍然由于问题的复杂性而无法避免错误的输出。在许多情况下，对于两个相似的图像(具有相似的姿势)，系统可能会输出不同的关节定位，或者缺少关节定位。所提出的系统将检测到的置信度得分较高的姿势存储到实时姿势缓冲区中。将下一帧中检测到的姿势与姿势缓冲区进行比较以匹配姿势相似度，并将具有最高姿势置信度和关节置信度的姿势视为当前帧的候选姿势。

一、技术领域:

本发明一般应用于人体姿势估计系统领域，更具体地说，应用于实时2D/3D人体姿势估计系统中的姿势校正。

二、背景技术:

最近深度学习方法的进步、改进的硬件能力和大量可用的数据使人体姿势估计领域得到了蓬勃发展。其广泛的应用正引起该领域许多研究人员的关注。人体姿势估计系统接收图像作为输入，并产生一组人体姿势关键点定位作为输出。根据姿势估计系统的定位器是2D还是3D，关键点定位可以投影到2D或3D 平面上。主流的姿势估计方法可分为以下两类：自顶向下方法或自底向上方法。在前一种方法中，系统首先检测图像中每个人的单独边界框，并对裁剪后的图像进行关节定位估计。而后一种方法首先检测关节定位而不考虑人，最后映射每个定位到图像中的特定人。与其他的实时人体姿势估计系统的工作方式相同，不同之处在于它接收一系列图像作为输入并返回一系列关键点关节集作为输出。很多实时姿势估计系统在理论上产生了最先进的结果，但由于某些原因，系统在应用于实时图像序列时无法获得更高的精度。

现有的许多技术克服了实时估计系统检测中的姿势异常问题。一些技术使用姿势回归器在数据集中存储的姿势空间内选择更接近检测到的姿势。而其他方法使用训练后的深度学习模型以及关节的运动学信息来改进检测到的姿势。几乎所有的技术都将计算密集型子系统级联到估计系统，因此对姿势的改善会导致实时系统的帧速率急剧下降。在实践中可以明显看出，实时估计系统与单独输入图像估计模型相比，它获得的准确度和精度较低。当系统为两个姿势相似的图像返回不同的姿势关节定位时可能会发生异常。图像序列中的后续帧是该场景的一个常见示例，系统返回具有不同定位的姿势，或返回与序列中较早检测到的姿势相同的丢失关节的姿势。

本发明通过使用用于存储姿势结构的集合的姿势缓冲器来最小化所讨论的姿势异常。姿势结构是在前一帧中检测到的具有较高置信度分数的姿势。

三、发明内容

本发明说明了在任何实时2D/3D人体姿势估计系统中使用姿势缓冲器进行姿势校正的系统、方法、过程和模型。该系统作为后处理模块对姿势估计系统返回的姿势进行微调，所有图通过说明后续子模块的工作原理来演示该系统。

图1展示了整个系统的抽象表示。该系统使用通用实时2D/3D姿势人体姿势估计系统作为先验系统。人体姿势估计系统(0102)接收RGB或RGB-D图像序列(0101)作为输入并返回一组检测到的姿势关节定位 (0103)。在2D姿势估计系统中，输入是由单目相机生成的单目RGB图像序列，输出是一组2D定位向量 (每个关节一个)。而在3D姿势估计系统中，输入是RGB-D图像序列(一对RGB图像和同步深度图)，输出是一组3D定位向量(每个关节一个)。参考姿势模型和相应的关节配置，如图5所示。

在许多情况下，2D/3D姿势估计系统检测到的姿势包含异常的位置向量，导致在考虑实时图像序列时难以进行准确的检测。然后将检测到的姿势输入到姿势校正器模块(0104)中，生成具有最小异常的精细姿势(0105)。校正模块是通过维护具有较高置信度分数的检测到的姿势的缓冲区来实现的。

图2展示了基本的2D/3D人体姿势估计系统的结构。系统接收图像或图像序列(0201)并将它们通过姿势估计器(0202)来生成图像中每个人的一组2D/3D关节定位(0203)。对于2D姿势估计系统，输入是单目图像序列，而在3D姿势估计系统中，对序列(单目图像，深度图)作为输入。在2D人体姿势估计系统中，对于具有K个人、N个姿势关节的序列中的所有特定图像，每个2D人体姿势关节表示为：