[发明专利]用于移动设备的平面映射和跟踪方法、装置及设备

说明书

相关申请的交叉引用

本申请要求2012年5月3日提交的题为“Planar Mapping and Tracking for Mobile Phones(用于移动电话的平面映射和跟踪)”的美国申请No.13/463,643 的优先权，该美国申请又按照35USC 119要求2011年5月27日提交的题为“Planar Mapping and Tracking for Mobile Phones(用于移动电话的平面映射和跟踪)”的美国临时申请No.61/490,764的优先权，这两件申请皆转让给本申请的受让人并且通过援引纳入于此。

背景

背景领域

本文中所描述的主题内容的实施例一般涉及跟踪和映射，并且尤其涉及移动设备的基于视觉的映射和跟踪。

相关背景

近年来，基于模型的跟踪已成为移动设备上的顶尖技术水平。实时地对先验已知的良好纹理化的图像进行自然特征检测和跟踪已由多个团体证明，并且这些技术已在商业应用和软件开发工具中得到使用。

用单目相机在全三维中映射先验未知的场景并在六个自由度(6DOF)中进行跟踪仍然是困难的任务，在移动设备(诸如蜂窝电话或智能电话)上尤甚。从机器人学中已知的基于扩展卡尔曼滤波器(EKF)的经典办法目前在计算上是不可行的。仅众所周知的平行跟踪和映射(PTAM)系统已被证明作为原型在目前的智能电话上运行。然而，PTAM映射方法基于束调节技术，该技术由于较高的计算需求而随日益增大的映射图大小具有很差的扩展性。

概述

使用未知的平面对象的图像来执行实时跟踪和映射。捕捉该平面对象的多个图像。新图像被选择为新关键帧。为该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧估计单应性。使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构。该图形结构可以是基于树的图形结构，并且该新关键帧和该多个先前关键帧中的每个先前关键帧是节点，且该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性是这些节点之间的边。该图形结构被用于创建该平面对象的映射图。基于该映射图和随后捕捉的图像来跟踪该平面对象。

在一个方面，一种方法包括捕捉平面对象的多个图像；将新图像选择为新关键帧；计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性；使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构；使用该图形结构来创建该平面对象的映射图；以及基于该映射图和随后捕捉的图像来跟踪该平面对象。

在一个方面，一种装置包括能够捕捉平面对象的多个图像的相机；以及耦合至该相机的处理器，该处理器被配置成将新图像选择为新关键帧，计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性，使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构，使用该图形结构来创建该平面对象的映射图，以及基于该映射图和随后捕捉的图像来跟踪该平面对象。

在一个方面，一种设备包括用于捕捉平面对象的多个图像的装置；用于将新图像选择为新关键帧的装置；用于计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的装置；用于使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构的装置；用于使用该图形结构来创建该平面对象的映射图的装置；以及用于基于该映射图和随后捕捉的图像来跟踪该平面对象的装置。

在一个方面，一种包括存储于其上的程序代码的非瞬态计算机可读介质，包括用于从捕捉到的平面对象的多个图像中将新图像选为新关键帧的程序代码；用于计算该新关键帧与该平面对象的在空间上分布的多个先前关键帧中的每个先前关键帧之间的单应性的程序代码；用于使用该新关键帧和该多个先前关键帧中的每个先前关键帧以及该新关键帧与该多个先前关键帧中的每个先前关键帧之间的单应性来生成图形结构的程序代码；用于使用该图形结构来创建该平面对象的映射图的程序代码；以及用于基于该映射图和随后捕捉的图像来跟踪该平面对象的程序代码。

附图简要说明

图1解说了能够使用未知的、纹理化的平面对象的所捕捉图像进行实时姿态跟踪和映射的移动设备。

图2解说了由移动设备用于姿态跟踪和映射的、紧密耦合的跟踪组件和映射组件。