[发明专利]增强现实效果的动态优雅降级

说明书

在一个实施例中，一种方法包括由设备基于与场景相关联的第一视频帧，使用第一跟踪算法生成第一跟踪数据。可以基于第一跟踪数据显示增强现实(AR)效果。该设备可以生成与第一跟踪数据相关联的第一置信度得分，并且确定第一置信度得分高于阈值。该设备可以基于第一视频帧之后的第二视频帧，使用第一跟踪算法生成第二跟踪数据。该设备可以确定相关联的第二置信度得分低于阈值。作为响应，设备可以基于第二视频帧之后的第三视频帧，使用不同于第一跟踪算法的第二跟踪算法来生成第三跟踪数据。该设备然后可以基于第三跟踪数据显示AR效果。

技术领域

本公开总体上涉及增强现实效果，尤其涉及用于跟踪对象的系统和方法。

背景

增强现实(AR)效果是叠加或合并到现实世界场景的用户视图中的计算机生成的视觉效果(例如，图像和动画)。某些AR效果可以被配置为跟踪现实世界中的对象。例如，计算机生成的独角兽可以如在视频中捕获的被放置在现实世界桌子上。当桌子在所捕获的视频中移动(例如，由于摄像机移动或桌子被搬走)时，所生成的独角兽可以跟随桌子，使得它继续出现在桌子的顶部上。为了实现这个效果，AR应用可以使用跟踪算法来跟踪出现在现实世界场景中的对象的位置和/或定向，并且使用得到的跟踪数据来生成适当的AR效果。因为当场景被观察时AR效果可以实时或接近实时地增强现实世界场景，所以可能需要实时或接近实时地生成跟踪数据，使得AR效果如所期望的出现。

然而，跟踪算法可能需要大量的硬件资源来动态地产生期望的结果。由于AR应用可能在具有不同级别的资源和能力的设备上运行，因此一刀切的方法可能会导致质量受损。举例来说，一个实现最好但(在计算要求方面)成本最大的算法的AR应用可能会在任何达不到最好的设备上以明显滞后或帧丢失产生AR效果。另一方面，如果AR应用替代地实现了成本较低的算法，该算法产生的结果不是最佳的，那么这样做就意味着AR应用将无法以其全部的潜力运行在最先进的设备上。除了在其上运行AR应用的硬件之外，可能很难预测跟踪算法可能被要求来跟踪的真实世界对象的种类。由于某些跟踪算法可能比其他跟踪算法更适合于跟踪具有某些特征的对象，所以实现单个跟踪算法的AR应用有时可能表现不佳。例如，如果AR应用实现了高度精确但鲁棒性较低的跟踪算法，则AR应用可能受限于适合于该算法的特定操作条件。另一方面，如果AR应用实现了鲁棒性更高但不太精确的跟踪算法，那么在其他更精确的跟踪算法可用的情况下，它的性能将是次优的。

特定实施例概述

本文描述的实施例涉及用于使AR应用能够在不同算法之间动态切换以在给定底层设备的能力和当前运行环境的情况下产生最佳AR效果的系统和方法。用于在这些算法之间切换的特定实施例采取(例如，在精度和/或计算成本方面的)渐进降级的方法。这意味着算法最初可能会尝试使用需要最高计算资源的高质量算法来跟踪对象，并降级到需要较少计算资源的下一层算法，直到性能令人满意。因此，本文描述的特定实施例可以提高AR应用的鲁棒性，因为生成AR效果的方式可以基于实时性能和/或设备资源来动态调整。此外，由于跟踪算法的精度和性能也可能取决于现实世界场景的特征(例如，对象的形状和移动、照明等)，随着现实世界场景的变化，可以动态地选择最合适的跟踪算法来产生最佳结果。