[发明专利]基于ORB特征的立体匹配补偿方法

摘要

本发明公开了基于ORB特征的立体匹配补偿方法，ORB使用oFAST进行特征检测之后使用rBRIEF进行描述，在特征点31×31邻域选择点对作为描述子，特征点31×31中的每个点均由5×5子窗口平均灰度代替单点灰度。RANSAC通过多次迭代的方式，从观测集中随机选取一定数量的样本来估计模型参数，并以此模型对测试数据集进行内外点划分，最终得到占据内点数最多的模型。此处用以估计两个平面的投影变化模型即单应性矩阵。本方法采用一种四分区的SAD进行立体匹配，通过对图像周围7×7区域使用SAD计算匹配代价，并对其进行四分块，分别进行代价融合，若满足任意两块的融合代价均小于设定阈值，则认为匹配成功。最终将两次匹配的集合作为立体匹配的内点。

主权项

1.基于ORB特征的立体匹配补偿方法，其特征在于：该方法的实现过程如下，ORB使用oFAST进行特征检测之后使用rBRIEF进行描述，在特征点31×31邻域选择点对作为描述子，特征点31×31中的每个点均由5×5子窗口平均灰度代替单点灰度，图像邻域P的测试函数τ为：x、y分别代表邻域内被选择到的点对，p(x)是图像在P区域经过平滑处理后点x＝(u,v)，u、v分别代表图像点x在图像平面的横纵坐标的像素值；n_d(x,y)是唯一对应的二值测试点对集合，最终描述子的表达式为：c表示二值测试点的序号数，而对于深度不连续区域和遮挡区域；RANSAC通过多次迭代的方式，从观测集中随机选取一定数量的样本来估计模型参数，并以此模型对测试数据集进行内外点划分，最终得到占据内点数最多的模型；此处用以估计两个平面的投影变化模型即单应性矩阵；对于三维空间中的任意点Q，任意点Q在相机图像上的投影q由下式变换得到：q＝sMWQ，   (3)其中s为常数因子，M为相机内参，W为空间变换矩阵，Q＝(X,Y,Z,1)T表示空间点的齐次坐标，(X，Y，Z)为三维空间中的坐标，q＝(x,y,1)T表示图像点的齐次坐标；由于单应性矩阵为平面透视投影映射，所以可将空间三维点简化为二维，即令Z＝0，Q’＝(X,Y,1)T，同时将W除去对应列变为W’，令H＝sMW’则：q＝HQ’   (4)H为3×3矩阵，实现了两个平面的二维投影变换，称之为单应性矩阵；通常将末尾元素设置为1作为归一化矩阵，h1‑h8为单应性矩阵的子元素，则H可设为：根据式(4)得到下式：由于h1‑h8为八个待求解的参数，那么至少需要四对不共线的匹配点方得到该单应性矩阵，因此设置RANSAC最小样本数为4，RANSAC中的置信度设为0.97；首先利用匹配特征对得到单应性矩阵H，之后将所有被划分为外点的左视图特征点重新整理为集合So，使用H估计So中所有点在右视图的范围，利用SAD匹配算法进行二次匹配，从而对特征数量进行补偿；SAD匹配算法的公式如下：x',y'分别代表当前像素点的坐标；m，n为SAD窗口的大小；i的取值为(‑m，m)表示，j的取值为(‑n，n)；i、j分别为当前像素点的坐标偏移量；Il，Ir分别代表左、右视图的像素点的像素值；通过迭代得到SAD匹配算法的最小值，则其对应的(x,y)就是要查找的对应点，d为对应的视差。