[发明专利]用于三维姿态估计的装置和方法

说明书

本文公开了用于三维姿态估计的装置和方法。一种装置包括图像同步器(214)，用于同步由第一图像捕获设备(104)生成的第一图像(114)和由第二图像捕获设备(106)生成的第二图像(116)，第一图像(114)和第二图像(116)包括对象(102)；二维姿态检测器(216)，用于基于第一图像(114)并且通过执行第一神经网络模型来预测对象(102)的关键点的第一位置以生成第一二维数据，基于第二图像(116)并且通过执行第一神经网络模型来预测关键点的第二位置以生成第二二维数据；以及三维姿态计算器(218)，用于基于第一二维数据、第二二维数据并且通过执行第二神经网络模型来生成表示第一图像(114)和第二图像(116)中的对象(102)的姿态的三维图形模型(1100)。

技术领域

本公开总体涉及姿态估计，更具体而言，涉及用于三维姿态估计的装置和方法。

背景技术

姿态估计使用图像数据来确定对象(例如，人类)或者目标的姿态(例如，位置和取向)。图像数据被分析，以例如在图像数据中识别指示出对象的姿态的对象关节(例如，肘部、膝部、踝部)的位置。从图像数据中获得的姿态信息可以被用来分析对象的身体在执行诸如体育运动之类的活动期间的特性。

附图说明

图1是示例系统的框图，该系统包括三维(3D)模型生成器，用于基于图像数据生成对象的3D图形模型。

图2是图1的示例系统的框图，该系统包括3D模型生成器的示例实现方式，并且包括一个或多个计算系统，用于训练神经网络以生成模型，以便根据本公开的教导在3D姿态估计期间使用。

图3-图5的流程图图示了由图1的示例3D模型生成器实现的示例算法。

图6图示了根据本公开的教导生成的示例二维(2D)图形模型数据。

图7图示了根据本公开的教导生成的示例归一化2D图形模型数据。

图8图示了根据本公开的教导生成的示例3D图形模型。

图9和图10图示了可用于根据本公开的教导生成3D图形模型的示例参考身体数据。

图11图示了根据本公开的教导生成的另一个示例3D图形模型。

图12是代表示例机器可读指令的流程图，所述指令当被图2的示例系统的第一计算系统执行时，使得第一计算系统训练神经网络以预测图像数据中的对象的关键点的位置。

图13是代表示例机器可读指令的流程图，所述指令当被图2的示例系统的第二计算系统执行时，使得第二计算系统训练神经网络以执行2D骨架数据到关节深度偏移图谱的映射。

图14是代表示例机器可读指令的流程图，所述指令当被执行时，使得图1和/或图2的示例3D模型生成器基于图像数据生成(一个或多个)对象的(一个或多个)3D图形模型。

图15是被构造来执行图12的指令以实现图2的示例第一计算系统的示例处理平台的框图。

图16是被构造来执行图12的指令以实现图2的示例第二计算系统的示例处理平台的框图。

图17是被构造来执行图14的指令以实现图1和/或图2的示例3D模型生成器的示例处理平台的框图。

图18是示例软件分发平台的框图，用于将软件(例如，与图12、图13和/或图14的示例计算机可读指令相对应的软件)分发到客户端设备，例如消费者(例如，用于许可、销售和/或使用)、零售商(例如，用于销售、再销售、许可和/或次级许可)和/或原始设备制造商(OEM)(例如，用于包括在要被分发到例如零售商和/或直接购买客户的产品中)。

附图不是按比例的。相反，在附图中可放大层或区域的厚度。一般而言，相同的标号将在各幅图和伴随的书面描述的各处被用于指代相同或相似的部件。