[发明专利]姿势状态分类

说明书

技术领域

本发明涉及交互系统，更具体地，涉及姿势状态分类。

背景技术

无控制器交互系统，例如游戏系统可以至少部分由自然运动控制。在一些例子中，这样的系统可采用深度传感器或者其他合适的传感器来估计用户的运动并将估计的运动转换为对系统的控制台的命令。然而，在估计用户的运动时，这些系统只能估计用户的主要关节，例如骨架估计，并且缺乏检测细微姿势的能力。

发明内容

因此，在此披露涉及用户的身体部位的姿势估计的各实施例。例如，在一个披露的实施例中，从传感器接收图像，其中此图像至少包括用户图像中含有此身体部位的一部分。从图像中估计用户的骨架信息，至少部分地基于骨架信息来识别与此身体部位对应的图像区域，提取此区域的形状描述符，并根据训练数据分类此形状描述符以估计此身体部位的姿势。随后可基于所估计的身体部位的姿势来输出响应。

提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。

附图说明

图1示出用户使用由深度摄像机捕捉的自然运动来与无控制器游戏系统的一实施例交互的示意图。

图2示出根据本发明一实施例的确定用户的手部状态的示例性方法。

图3例示根据本发明一实施例的确定用户的手部状态的示例性方法。

图4示意性示出根据本发明的一实施例的计算系统。

具体实施方式

无控制器交互系统，例如图1的10所示的游戏系统可采用捕捉设备12，例如深度摄像机或其他合适的传感器来估计用户14的运动。可以用各种不同方式估计用户14的运动。在一示例性方式中，可采用骨架映射来从用户图像中估计一个或多个关节位置。可将所估计的用户运动转换成对系统的控制台16的命令。在某些示例中，这样的命令可允许用户与在显示设备20上的18处显示的游戏进行交互。例如，当用户14与对象，例如显示在显示设备20上的对象26交互时，可在显示设备20上显示用户14的图像28。

但是运动估计例程，例如骨架映射可能缺乏检测用户的细微姿势的能力。举例来说，这些运动估计例程可能缺乏检测和/或辨别用户的细微手部姿势的能力，例如在图1的22和24处分别示出的用户张开和闭合手部这样的细微手部姿势。

因此下面描述的系统和方法将涉及用户手部状态的确定。举例来说，闭合或张开手部的动作可被这样的系统使用，用于触发诸如选择动作、参与动作、或抓握及拖曳屏幕上的对象(例如对象26)的动作之类的事件，这些动作在使用控制器时将对应于按下按钮。这些经过提炼的无控制器交互可用作基于手部挥舞或回旋的替换，后者可能是非直观或麻烦的。通过此处以下描述的用户手部状态的确定，用户与系统的交互可以更多、更简单，且可以向用户呈现更直观的界面。

图2示出根据本发明一实施例的确定用户手部状态的示例性方法200，图3例示根据本发明一实施例的确定用户手部状态的示例性方法，例如方法200的各种步骤。由于图3包括图2的各步骤的示意图例，以下将结合图2和图3一起描述。

在202，方法200从捕捉设备，例如图1所示的捕捉设备12接收深度图像。捕捉设备可以是捕捉三维图像数据的任意合适设备，例如深度摄像机。捕捉设备捕捉的深度图像包括用户图像中的至少一部分，这一部分包含手部。举例来说，如图1所示，用户14可以和计算系统10交互，计算系统10通过捕捉设备12捕捉用户的图像。

图3中的302例示用户一部分的深度图像。深度图像中的每一像素包含深度信息，例如图3中例示的灰度梯度。举例来说，在302，如用户左手的更黑区域指示的那样，左手比右手更靠近捕捉设备。捕捉设备或深度摄像机捕捉观察场景内的用户。如下所述，用户的深度图像可被用来确定用户的各区域的距离信息、用户的尺寸信息、曲线和用户的骨架信息。

在204，方法200包括从步骤202所获得的深度图像中，估计用户的骨架信息以获得虚拟骨架。举例来说，在图3中示出从302所示的用户深度图像中估计的虚拟骨架304。可以从302的深度图像导出虚拟骨架304从而提供用户(例如用户14)的机器可读表示。可以用任何合适方式来从深度图像中导出虚拟骨架304。在某些实施例中，可以对深度图像应用一种或多种骨架适应算法。应理解可以使用任意合适的骨架建模技术。