[发明专利]基于动态地构建的环境地图数据进行物体追踪

说明书

一种在物体辨识系统中追踪目标物体的计算机实施的方法包含用相机采集多个图像。所述方法进一步包含同时追踪所述目标物体和从所述多个图像动态地构建环境地图数据。所述追踪所述目标物体包含尝试基于所述多个图像中的至少一个和基于目标地图数据估计所述目标物体相对于所述相机的目标姿势。接下来，所述方法确定相对于所述相机对所述目标物体的所述追踪是否成功。如果不成功，则所述方法包含基于所述动态地构建的环境地图数据推断相对于所述相机的所述目标姿势。在一方面中，所述方法包含即使追踪成功也融合所述推断的目标姿势与所述实际目标姿势以改进稳固性。

相关申请案的交叉引用

本申请案主张2013年10月4日申请的美国临时申请案第61/887,211号的权益。

技术领域

本发明大体上涉及基于计算机视觉的物体辨识应用程序，并且具体来说但非排他地，涉及增强现实系统中的物体追踪。

背景技术

在移动电话或其它移动平台上实现增强现实(AR)的一个难题是实时地检测和追踪物体的问题。用于AR应用程序的物体检测具有非常苛刻的要求：其必须提供完整的六个自由度，产生相对于给定坐标系的绝对测量值，非常稳固并且实时地运行。所关注的是使用基于计算机视觉(CV)的途径来计算相机姿势的方法，其依赖于首先检测并且随后在相机视图内追踪物体。一方面，检测操作包含检测数字图像内包含的一组特征。特征可以指数字图像中的一个区域，这个区域的属性(例如亮度或颜色)与所述区域周围的区相比是不同的。一方面，特征是数字图像中的一个区域，在这个区域中一些属性是不变的，或者在规定的值范围内变化。

接着将检测到的特征与特征数据库中包含的已知特征比较，以便确定图像中是否存在现实世界物体。因此，基于视觉的AR系统的操作中的一个重要要素是特征数据库的组成。在一些系统中，在运行时间之前构建特征数据库，构建的方式是通过从多种已知视点取得已知目标物体的多个样本图像。接着从这些样本图像中提取特征并将其添加到特征数据库。

近年来，增强现实系统已经转向基于模型的追踪算法或同时定位与地图绘制(SLAM)算法，其基于相机俘获的颜色或灰度图像数据。SLAM算法从相机俘获的传入图像序列重构三维(3D)点，并且用于实时地构建场景的3D地图(即，SLAM地图)。从重构的地图中，有可能定位当前图像帧中的相机的6DoF(自由度)姿势。

在一些系统中，在运行时间之前并且在离目标物体很近的距离中产生所述物体的SLAM地图。在运行时间中，使用所产生的物体的SLAM地图从传入视频帧估计相机相对于物体的6DoF姿势。

在现有方法中，追踪性能取决于相机视图中的物体的外观和其大小。如果目标物体较小、被部分地遮挡、或者不具有独特的视觉特征，则估计的相机姿势会丢失准确度并且还可能展现明显的追踪抖动。在更极端的情况下，可能根本无法追踪非常遥远的物体和处于当前视场外部的物体，因此与目标对齐的任何虚拟增强也将丢失。

发明内容

本文中论述的一些实施例用于实现任何可追踪的物体的改进的追踪稳固性，并且可以扩展可追踪的姿势的范围使其超出目标的可见范围。本文中论述的实施例可以应用于基于追踪参考目标的任何增强现实(AR)系统。一方面，追踪系统基于目标地图数据估计相机帧中的目标姿势，同时并行地，姿势计算器基于动态地产生的目标周围的环境的3D表示(即，环境地图数据)来确定目标姿势的估计。如果基于目标地图数据追踪失败，则可使用由姿势计算器产生的估计目标姿势。