[发明专利]一种鲁棒的实时在线摄像机跟踪方法

说明书

技术领域

本发明属于计算机视觉和增强现实领域，特别是涉及未知场景中实时的摄像机跟踪方法。

背景技术

基于视觉的摄像机跟踪的目的是通过输入的图像序列或者实时的视频估计出一个摄像机相对于它周围环境的姿态(6自由度参数)。它对于很多其他的计算机视觉的应用，如3维重建，视频注册和图像增强都十分有用。传统上，这个问题是通过离线的运动恢复结构方法来解决的。但是，在一些实际应用中，如增强现实和自主导航，实时的相机姿态是必需的前提条件。在这些情况下，离线的方法不能够满足效率的需求，因此在线的实时摄相机跟踪近些年受到更多的关注。

近些年，同时定位和映射技术(Davison，A.，Reid，I.，Molton，N.，Stasse，O.：Monoslam：Real-time single camera slam.IEEE Trans.Pattern Analysis and MachineIntelligence 29(2007)1052-1067)因为其鲁棒性和高效性被广泛应用在实时摄像机跟踪方法中。在完全未知或者仅知道很小部分的场景中，同时定位和映射技术可以精确地有效地估计出实时的摄像机姿态，因而扩展了摄像机跟踪技术的可应用范围。但是，同时定位和映射技术仅适用较少的先验知识也带来了摄像机跟踪技术的鲁棒性问题。

传统的摄像机跟踪方法的鲁棒性问题主要存在于对于三种实际应用中常见的问题的抵御能力不足：(1)快速的摄像机运动；(2)摄像机运动带来的图像模糊；(3)摄像机抖动。其中问题1和问题3的本质上源于同一个原因，即摄像机跟踪技术对于上下两帧之间的连续性假设。绝大多数实时在线摄像机跟踪技术的核心是一个用来通过前几帧的摄像机姿态估计下一帧的摄像机姿态的运动模型和一个用来进行局部特征搜索与匹配的局部定位算法。其中后者又依赖于前者估计出的当前帧的摄像机姿态来作为局部特征搜索的初始值，如果前者估计的结果不可靠，摄像机跟踪就很可能失败。在问题1和问题3中，由于摄像机的运动并不严格遵守运动模型，因此很可能导致摄像机跟踪的失败。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种鲁棒的实时在线摄像机跟踪方法，该方法消除了摄像机跟踪体系对于运动模型所估计的当前帧摄像机姿态的依赖性，提高了摄像机跟踪方法的鲁棒性和稳定性。

本发明的技术解决方案：一种鲁棒的实时在线摄像机跟踪方法，包括初始化阶段和运行时阶段两个部分，其中初始化阶段包括：

(1)用户从输入的视频信号或者图像序列信号中选取两幅图像，并将这两幅图像转换为灰度格式，要求所述两幅图像中均存在同一平面的全部或部分内容；

(2)对于输入的图像采用角点检测方法，检测出图像中存在的角点，再根据每一个角点附近图像块信息，计算以角点为中心的小图像块，即特征点的描述器；以一幅图像中的所有特征为基础集合，在另一幅图像中搜索每一个特征点在基础集合中的距离最近的特征点，组成一个特征点匹配；

(3)根据所有的特征点匹配，计算两幅图像之间的单应性变换矩阵；设定两幅图像中共享的平面为世界坐标系基准平面，计算每一对匹配的特征点在三维坐标系中的交点，从而求得每一对匹配的特征点三维坐标。每一个已知世界坐标系中三维坐标的特征点是一个三维特征；

(4)将所有的三维特征组织成一个初始三维特征集合；

所述运行时阶段包括：

(a)从输入的视频或图像序列中获取一帽图像，并转换为灰度格式；

(b)对于输入的图像采用角点检测方法，检测出图像中存在的角点，再根据每一个角点附近图像块信息，计算以角点为中心的范围内的图像(约4×4的像素范围)的特征描述器；

(c)以初始化阶段步骤(4)中得到的三维特征集合中的特征点为基础集合，对于图像中的每一个特征点，在基础集合中找到与该特征点的特征描述器距离最近的特征点，并用这样的点对构成匹配集合；

(d)对于(c)中形成的匹配集合，检测匹配的特征点在两幅图像之间是否满足同一个刚性变换，对于不满足刚性变换约束的特征匹配，将其从匹配集合中剔除；

(e)根据剩下的特征匹配采用RANSAC的方法计算摄像机姿态；

(f)根据步骤(e)中计算出的摄像机姿态，判断当前输入图像是否应该作为关键帧加入到特征集合中，如果是，将新的特征加入到三维特征集合中。