[发明专利]用于扩增实境的在线参考补丁产生和姿态估计

说明书

未决临时申请案的交叉参考

本申请案主张2011年7月26日申请且标题为“用于扩增实境的在线参考补丁产生和姿态估计(Online Reference Patch Generation and Pose Estimation for Augmented Reality)”的第13／191,340号美国申请案的优先权，第13／191,340号美国申请案又根据35 USC 119而主张2011年4月20日申请且标题为“用于扩增实境的在线参考地图产生和姿态估计(Online Reference Map Generation and Pose Estimation for Augmented Reality)”的第61／477,524号美国临时申请案的优先权，上述两个申请案均转让给本案受让人，且以引用的方式并入本文中。

技术领域

背景技术

扩增实境系统可将虚拟对象插入在真实世界的用户视图中。成功的扩增实境系统的一个关键要求是可准确地估计用户相对于参考(例如3D模型等)的姿态的跟踪系统。这允许虚拟扩增与真实世界环境紧密重合。

用于扩增实境的跟踪系统需要获取参考，其可为环境的3D模型、放在环境中的人工标记，或环境中的平面表面的正视图像。然而，在执行扩增实境之前获得参考并不总是方便或可能的。对环境的现有知识的依赖性大大限制了扩增实境技术的使用。因此，在空中产生环境的参考是合意的。

乔治·克莱因(George Klein)和大卫·穆雷(David Murray)的“相机电话上的并行跟踪和测绘(Parallel Tracking and Mapping0n a Camera Phone)”(第8届IEEE混合与扩增实境国际研讨会(ISMAR)，第83-86页，2009年10月19-22日)(“PTAM”)描述已知跟踪技术的实例，其不需要环境的现有知识。PTAM方法通过检测环境中的平面表面来初始化参考补丁。此方法要求在两个图像中检测表面，且计算两个图像之间的单应性，并将其用以估计在表面上检测到的点的3D位置。因此，PTAM方法需要两个图像来产生参考补丁，而本发明只需要一个。W·李、Y·帕克、V·雷培提(Lepeti)、W·吴的“用于移动电话上的普适加标签的对准即拍(Point-and-Shoot)”(2010年第9届IEEE混合与扩增实境国际研讨会，第57-64页，2010年10月13-16日)中描述跟踪技术的另一实例(有时称为对准即拍方法)，其中通过加速计来估计相机定向。使图像弯曲到正视图，且产生一组“平均补丁”。将每一平均补丁计算为有限范围的视点内的补丁的平均值，且所有平均补丁上的范围涵盖所有可能视图。因此，对准即拍方法依靠传感器来产生参考补丁。此外，对准即拍方法需要垂直或水平位置上的平面对象。例如由ARTookKit使用的另一方法跟踪印刷在待跟踪环境的表面上的预产生的高对比度正方形。因此，改进是合意的。

发明内容

在空中产生未知环境的参考补丁以用于定位和跟踪。使用具有垂直的两平行线集合的平面对象的所捕获图像来产生参考补丁。在图像中检测平面对象，且使用两平行线集合的消失点来界定世界坐标系的轴。基于所界定的轴恢复相机旋转，且使用恢复的相机旋转来产生平面对象的图像的至少一部分的参考补丁。接着可将参考补丁用于基于视觉的检测和跟踪。可在图像中检测平面对象，作为平行线集合或作为矩形。

在一个方面中，一种方法包含：用移动平台捕获平面对象的一个图像，所述平面对象包括第一平行线集合，其垂直于第二平行线集合；检测所述一个图像中的所述平面对象；使用所述第一平行线集合的第一消失点界定世界坐标系的第一轴，且使用所述第二平行线集合的第二消失点界定所述世界坐标系的第二轴；使用所述第一轴和所述第二轴恢复相机旋转；使用恢复的所述相机旋转产生所述平面对象的所述一个图像的至少一部分的参考补丁；以及比较所述参考补丁与所述平面对象的额外所捕获图像，以估计所述移动平台相对于所述平面对象的姿态。