[发明专利]一种快速相机运动下有效匹配特征的方法

摘要

本发明公开了一种快速相机运动下有效匹配特征的方法。本发明步骤如下：步骤1.收缩膨胀效应和特征区块的变形；步骤2.设计一种一元化的变形方法来处理SE效应；步骤3.在特征跟踪过程中，每个受收缩膨胀效应影响的特征区块都会被对应的投影区块所替代。随后我们利用光度误差与几何误差来匹配投影区块与当前帧图像。本发明将颜色和深度信息结合起来，令二维的区块反投影至三维空间中，并通过初始相机运动将其重新投影到下一帧的观测相机上。投影过程使原始区块变形从而获取区块在连续帧之间的外观变化情况，同时通过这些变形的区块能准确简单地实现特征跟踪。

主权项

1.一种快速相机运动下有效匹配特征的方法，其特征在于包括如下步骤：/n步骤1.收缩膨胀效应和特征区块的变形/n利用快速相机运动下块的三维几何来确定连续图像之间的二维变形；由于块具有不同几何形状和相机运动的不规则性，其可能在连续帧中产生不同程度的变形，具体如下：/n情况1：如果一个块中的像素深度之间没有显著差异，那么无论相机运动有多剧烈，则其形状在两个连续帧中都将保持不变；/n情况2：当相机缓慢移动时，即使块中存在较大的深度差异，其二维形状仍将保持不变；/n情况3：如果相机移动得很快，光强分布和块的形状都将发生改变；/n步骤2.设计一种一元化的变形方法来处理SE效应，区块变形过程如下；/n2-1.从k-1帧中提取的块中的每个像素i都定义为其中，p_i表示面片中像素i的图像坐标，I_i，d_i，n_i分别表示像素i的光度值、深度值和三维法向量；首先将每个块反向投影到三维世界坐标系中：/n /n其中，π(·)表示将一个点从三维相机坐标系投影到二维像素域，π^-1(·)代表对其反向操作；T_k-1是帧k-1的相机姿态，它将帧k-1的相机坐标系中的一个三维点转换为世界坐标系，并将其指定为相机坐标系的第一帧；L_i在世界坐标系中，但索引自第k-1帧中的像素i，所以该情况下投影中强度信息不变；P_i和n_i处在世界坐标系下；/n2-2.将L_i投影到k帧的像素坐标系下，/n其中k′表示L_i被投影到这一帧，而不是最初就处于这一帧；且T_k是需要计算的量，它将影响投影的二维位置；/n2-3.投影后如果P^k-1中两个投影得到的像素恰好在P_i^k'中位于相同的像素坐标，则需要考虑这个块中发生的收缩效应；因此删除与远程区域相对应的像素；接着检测扩展效果是否发生：将投影块的形状设置为所有投影像素的边界框；然后验证扩展效果，即检查投影块的高度(或宽度)是否大于原始块；不管发生哪种效应，都把P_i^k'作为特征跟踪步骤中的变形区块；/n步骤3.在特征跟踪过程中，每个受到收缩膨胀效应影响的特征区块都会被对应的投影区块所替代；随后利用光度误差与几何误差来匹配投影区块与当前帧图像；/n每个投影区块的光度误差以如下方式计算；首先在当前帧图像上提取投影特征区块所处坐标的区块光度信息记为P^k，然后计算该光度信息与投影区块光度信息的误差：/n /n其中Y表示该区块的像素数量；I表示区块对应的光度值；/n随后计算点到平面的几何误差：/n /n特征区块跟踪的能量函数就表示为：/n /n其中j表示第j个特征区块，M表示特征区块的数量；/n最后我们利用高斯牛顿下降法求得该优化问题的解，得到快速运动下特征匹配的结果以及相机快速运动下的运动姿态T_k。/n