[发明专利]一种鲁棒的实时在线摄像机跟踪方法

摘要

一种鲁棒的实时在线摄像机跟踪方法，包括步骤：摄像机姿态的估计和关键帧的计算与添加，其中摄像机姿态的估计采用了快速的全局的特征匹配，能鲁棒地估计出当前帧的姿态，同时摄像机跟踪和场景映射建立。这种方法在场景较大或者摄像机运动较快的情况下产生了更稳定的匹配效果，克服了传统的摄像机跟踪方法依赖于局部匹配的局限性。另一方面，该方法对于关键帧的处理速度更快，使得场景中可包含更多的关键帧，增强了摄像机跟踪算法对于摄像机进入未知场景时容易跟踪失败的问题的应对能力。

主权项

一种鲁棒的实时在线摄像机跟踪方法，其特征在于：包括初始化阶段和运行时阶段两个部分，其中初始化阶段包括：(1)用户从输入的视频信号或者图像序列信号中选取两幅图像，并将这两幅图像转换为灰度格式，要求所述两幅图像中均存在同一平面的全部或部分内容；(2)对于输入的图像采用角点检测方法，检测出图像中存在的角点，再根据每一个角点附近图像块信息，计算以角点为中心的小图像块，即特征点的描述器；以一幅图像中的所有特征为基础集合，在另一幅图像中搜索每一个特征点在基础集合中的距离最近的特征点，组成一个特征点匹配；(3)根据所有的特征点匹配，计算两幅图像之间的单应性变换矩阵；设定两幅图像中共享的平面为世界坐标系基准平面，计算每一对匹配的特征点在三维坐标系中的交点，从而求得每一对匹配的特征点三维坐标，每一个已知世界坐标系中三维坐标的特征点是一个三维特征；(4)将所有的三维特征组织成一个初始三维特征集合；所述运行时阶段包括：(a)从输入的视频或图像序列中获取一幅图像，并转换为灰度格式；(b)对于输入的图像采用角点检测方法，检测出图像中存在的角点，再根据每一个角点附近图像块信息，计算以角点为中心的范围内的图像的特征描述器；(c)以初始化阶段步骤(4)中得到的三维特征集合中的特征点为基础集合，对于图像中的每一个特征点，在基础集合中找到与该特征点的特征描述器距离最近的特征点，并用这样的点对构成匹配集合；(d)对于(c)中形成的匹配集合，检测匹配的特征点在两幅图像之间是否满足同一个刚性变换，对于不满足刚性变换约束的特征匹配，将其从匹配集合中剔除；(e)根据剩下的特征匹配计算摄像机姿态；(f)根据步骤(e)中计算出的摄像机姿态，判断当前输入图像是否应该作为关键帧加入到特征集合中，如果是，则初始化新的特征，并将新的特征加入到三维特征集合中。