[发明专利]用于移动装置上的深度传感器的功率有效使用的装置、方法和非暂时性计算机可读存储媒体

说明书

本发明呈现在移动装置中用以启用及停用用于跟踪所述移动装置的姿势的深度传感器的系统、设备和方法。在不具有深度传感器的相机上中继的移动装置可在例如低光情形中提供不适当姿势估计。具有深度传感器的移动装置在启用所述深度传感器时使用相当大的功率。本文中所描述的实施例仅在以下情况下才启用深度传感器：当图像被预测为不适当时，例如，加速或移动太快；当惯性传感器测量具过多噪声、光等级太低或太高、图像太模糊，或图像的速率太慢时。通过仅在图像被预测为不适当时使用深度传感器，可节约所述移动装置中的电池功率且仍可维持姿势估计。

相关申请案的交叉参考

本申请案主张2014年11月24日申请的名为“移动装置上的深度传感器的功率有效使用(Power efficient use of a depth sensor on a mobile device)”的美国申请案第14/552,183号的权益和优先权，所述美国申请案主张2013年11月25日申请的名为“移动装置上的深度传感器的功率有效使用(Power efficient use of a depth sensor on amobile device)”的美国临时申请案第61/908,443号的35U.S.C.§119(e)下的权益和优先权，所述美国申请案和所述美国临时申请案的全文以引用的方式并入本文中。

技术领域

本发明大体上涉及用于最小化移动装置上的深度传感器的功率消耗的系统、设备和方法，且更具体地说涉及仅在传感器测量指示图像对于姿势计算不适当时启用深度传感器。

背景技术

使用可供使用的传感器的移动装置的运动估计及轨迹估计具有广泛范围的重要应用。短周期(例如，若干毫秒)内的运动估计在去模糊和超分辩率方面为重要的。经扩展的周期(例如，若干秒)内的轨迹估计适用于增强现实(AR)、近程导航及地点估计。低光情形影响运动估计和轨迹估计两者。

针对这些情形应用常常使用惯性传感器，这是因为惯性传感器以比相机高的速率测量运动。然而，惯性传感器具有固有的偏差和其它误差源，当在不具有常规偏差校正的情况下执行“航位推测”时所述偏差和误差源增加挑战性。也就是说，惯性测量单元(IMU)的偏差状态的更新需要连续姿势估计。移动装置可使用惯性传感器测量计算六个自由度(6DoF)姿势轨迹。6DoF姿势计算考虑上到下(起伏)、右边到左边(摇摆)和向前到向后(浪涌)平移移动以及向前倾斜到向后倾斜(俯仰)、左边回转到右边回转(偏航)和边到边枢转(横摇)旋转移动。移动装置可历时若干100毫秒整合此移动。

在一实例中，假定移动装置不包含对IMU的姿势校正，因此提供经偏差的惯性传感器测量。在短期和长期内整合此惯性传感器测量导致不利地影响结果的误差。举例来说，假定视频的每秒10帧(fps)帧率针对视频中的每一图像导致100毫秒(ms)的曝光时间。进一步假定仅使用惯性传感器测量且在不校正来自IMU的惯性传感器测量的情况下计算移动装置的6DoF姿势。此计算对于IMU将引起姿势误差和过期偏差估计两者。

如果通过来自非IMU装置(例如，相机)的测量来周期性地校正惯性传感器误差状态，那么移动装置可做出较佳运动估计和轨迹估计两者。此外，可通过此类装置校正惯性传感器误差状态。然而，此类非IMU装置不连续地可供使用。举例来说，在视觉惯性跟踪系统中的相机中断或长图像曝光的周期期间，相机不可足够频繁地提供姿势校正和惯性状态校正。另一非相机装置可填充此间隔以较佳地维持姿势和惯性状态校正。此类姿势和惯性状态校正还可增强通常用于维持姿势和惯性状态的估计的递归滤波器的操作，例如扩展卡尔曼(Kalman)滤波器(EKF)。

包含跟踪应用的一些视觉惯性跟踪系统使用来自惯性传感器的惯性传感器测量和来自相机的图像两者。然而，不频繁的相机更新可导致被破坏的惯性误差状态。反过来，被破坏的惯性误差状态可导致归因于不准确的运动预测的相机跟踪中断的周期。在这些中断期间不具有来自另一装置的辅助的情况下，从惯性传感器测量整合的运动可易受偏差浮动影响。此外，整体的滤波器状态可以无界的方式从其正确值偏离。