[发明专利]用于使用融合数据进行对象跟踪的系统和方法

权利要求书

1.一种方法，包括：通过计算系统：

使用在用户所穿戴的可穿戴设备中实现的一个或多个摄像头来捕获第一图像，所述第一图像描绘了在环境中所述用户的正握持控制器的手的至少一部分；

从所述第一图像中识别一个或多个特征，以估计所述用户的所述手的姿势；

基于所述用户的所述手的所述姿势和所估计的抓握，来估计所述控制器的第一姿态，所述所估计的抓握限定了所述用户的所述手与所述控制器之间的相对姿势；

接收所述控制器的惯性测量单元(IMU)数据；以及

通过使用所述控制器的所述IMU数据对所述控制器的所述第一姿态进行更新，来估计所述控制器的第二姿态。

2.根据权利要求1所述的方法，其中，所述第一图像是以第一频率捕获的，并且所述控制器的所述IMU数据是以第二频率接收的，其中，所述第二频率高于所述第一频率。

3.根据权利要求1或权利要求2所述的方法，还包括：

接收所述可穿戴设备的IMU数据，以估计所述可穿戴设备的姿态；

基于所述可穿戴设备的所述姿态，来更新所述用户的所述手的所述姿势；以及可选地，

其中，所述可穿戴设备的所述姿态是基于所述可穿戴设备的所述IMU数据和所述用户的所述第一图像来估计的。

4.根据权利要求1、权利要求2或权利要求3所述的方法，还包括：

基于所述控制器的更新后的第一姿态和所述控制器的所述IMU数据，来估计所述手的IMU预测的姿势；

基于所述手的所述IMU预测的姿势，来估计所述手的第二姿势；

以及可选地，使用所述一个或多个摄像头捕获所述用户的第二图像，所述用户的所述第二图像描绘了在所述环境中所述用户的正握持所述控制器的所述手的至少一部分；

从所述用户的所述第二图像中识别所述一个或多个特征；以及

基于从所述用户的所述第二图像中识别出的所述一个或多个特征，来估计所述手的第三姿势，以及进一步可选地，

其中，估计所述手的所述第二姿势的频率高于估计所述手的所述第三姿势的频率。

5.根据前述权利要求中任一项所述的方法，其中，所述可穿戴设备包括：

所述一个或多个摄像头，所述一个或多个摄像头被配置为捕获所述用户的图像；

手跟踪单元，所述手跟踪单元被配置为估计所述用户的所述手的所述姿势；以及

控制器跟踪单元，所述控制器跟踪单元被配置为估计所述控制器的所述第二姿态。

6.根据前述权利要求中任一项所述的方法，其中，估计所述控制器的所述第二姿态包括：

基于所述所估计的抓握和所述用户的所述手相对于所述环境的所估计的姿势，来估计所述控制器相对于所述环境的姿态；

基于所述控制器的所述IMU数据，来调整所述控制器相对于所述环境的所述姿态；

基于所述控制器相对于所述环境的调整后的姿态和所述控制器的所述IMU，来估计所述控制器相对于所述手的姿态；以及

基于所述控制器相对于所述环境的调整后的姿态和所述控制器相对于所述手的所估计的姿态，来估计所述控制器的所述第二姿态。

7.一种或多种计算机可读非暂态存储介质，所述一种或多种计算机可读非暂态存储介质存储有指令，所述指令在被计算系统执行时使得所述计算系统：

使用在用户所穿戴的可穿戴设备中实现的一个或多个摄像头来捕获第一图像，所述第一图像描绘了在环境中所述用户的正握持控制器的手的至少一部分；

从所述第一图像中识别一个或多个特征，以估计所述用户的所述手的姿势；

基于所述用户的所述手的所述姿势和所估计的抓握，来估计所述控制器的第一姿态，所述所估计的抓握限定了所述用户的所述手与所述控制器之间的相对姿势；

接收所述控制器的惯性测量单元(IMU)数据；以及

通过使用所述控制器的所述IMU数据对所述控制器的所述第一姿态进行更新，来估计所述控制器的第二姿态。