[发明专利]用于使用融合数据进行对象跟踪的系统和方法

说明书

在一个实施例中，一种方法包括：使用在用户所穿戴的可穿戴设备中实现的一个或多个摄像头来捕获第一图像，该第一图像描绘了在环境中该用户的正握持控制器的手的至少一部分；从第一图像中识别一个或多个特征，以估计用户的手的姿势；基于用户的手的姿势和所估计的抓握，来估计控制器的第一姿态，该所估计的抓握限定了用户的手与控制器之间的相对姿势；接收控制器的IMU数据；以及，通过使用控制器的IMU数据对控制器的第一姿态进行更新，来估计控制器的第二姿态。该方法利用多个数据源来在环境的各种条件下跟踪控制器，以一致地提供精确的控制器跟踪。

技术领域

本公开总体上涉及对象跟踪，并且更具体地涉及用于基于对特征估计和传感器数据的融合来进行对象跟踪的方法、装置和系统。

背景技术

提供给增强现实(AR)/虚拟现实(VR)设备的输入指令通常基于控制器跟踪或手跟踪。可以使用由控制器上的红外(infrared，IR)发光二极管(light emitting diode，LED)形成的已知图案来跟踪控制器，并且控制器可以经由控制器上的按钮来将指令输入到环境中的特定位置。也可以通过跟踪手的特征通过手势来作出输入指令。例如，用户可以通过跟踪手的轻扫(swipe)手势来翻转虚拟书的页面。但是，控制器跟踪由于需要附加硬件(例如，控制器上的IR摄像头和IR LED灯，其有时可能会受到遮挡或其他光源的干扰)而因此更昂贵，并且手跟踪不太准确。

发明内容

为了解决前述问题，所公开的是用于通过如下方式来跟踪控制器的方法、装置和系统：估计手的抓握、以及基于来自于控制器的惯性测量单元(inertial measurementunit，IMU)数据而调整手的抓握。本公开提供了一种用于在未在控制器中实现LED的情况下(例如，在不跟踪LED灯的图案的情况下)跟踪控制器的方法，使得本申请中所公开的方法提供了一种经济高效、准确的方式来跟踪控制器。本申请中所公开的方法可以基于从捕获到的用户手图像中识别出的特征跟踪来估计用户的手的抓握，然后可以使用所估计的用户的手的抓握来估计控制器的姿态。此外，本申请的方法可以接收控制器的IMU数据以调整控制器的所估计的姿态，并且本申请的方法可以以更快的频率提供控制器的最终姿态。

本文中所公开的实施例仅为示例，且本公开的范围不限于此。特定实施例可以包括本文所公开的实施例中的部件、元件、特征、功能、操作或步骤中的全部、一些或不包括这些部件、元件、特征、功能、操作或步骤。

根据本发明的一个方面，提供了一种方法，该方法包括：通过计算系统：使用在用户所穿戴的可穿戴设备中实现的一个或多个摄像头来捕获第一图像，该第一图像描绘在环境中用户的正握持控制器的手的至少一部分；从第一图像中识别一个或多个特征，以估计用户的手的姿势；基于用户的手的姿势和所估计的抓握，来估计控制器的第一姿态，所估计的抓握限定用户的手与控制器之间的相对姿势；接收控制器的IMU数据；以及，通过使用控制器的IMU数据对控制器的第一姿态进行更新，来估计控制器的第二姿态。

第一图像可以是以第一频率捕获的，并且控制器的IMU数据是以第二频率接收的，其中，第二频率高于第一频率。

该方法还可以包括：接收可穿戴设备的IMU数据，以估计可穿戴设备的姿态；以及，基于可穿戴设备的姿态，来更新用户的手的姿势。

可穿戴设备的姿态可以是基于可穿戴设备的IMU数据和用户的第一图像来估计的。

该方法还可以包括：基于控制器的更新后的第一姿态和控制器的IMU数据，来估计手的IMU预测的姿势；以及，基于手的IMU预测的姿势，来估计手的第二姿势。

该方法还可以包括：使用该一个或多个摄像头捕获用户的第二图像，该用户的第二图像描绘在环境中握持控制器的用户的手的至少一部分；从用户的第二图像中识别该一个或多个特征；以及，基于从用户的第二图像中识别出的该一个或多个特征，来估计手的第三姿势。

估计手的第二姿势的频率可以高于估计手的第三姿势的频率。