[发明专利]一种基于ORB特征匹配的航拍影像及地理数据拼接方法

摘要

本发明提出了一种基于ORB特征匹配的航拍影像及地理数据拼接方法，包括：步骤1，读取待拼接图像及地理信息；步骤2，对处理器进行任务分配；步骤3，提取待拼接图像的ORB特征；步骤4，对拍摄待拼接图像的相机参数进行初始化估计并求出旋转矩阵；步骤5，用光束法平差提高估计精度；步骤6，对待拼接图像进行初始拼接；步骤7，对拼接后的图像进行亮度的增量补偿以及基于图像金字塔的多波段融合，对拼接后的地理信息进行有条件的插值融合，得到拼接结果图像；步骤8，对每一个处理器所有线程处理的拼接结果图像进行一次综合拼接融合，合并形成最终结果图像。

主权项

1.一种基于ORB特征匹配的航拍影像及地理数据拼接方法，其特征在于，包括以下步骤：步骤1，计算机读取待拼接图像及存储地理信息的文件，并将地理信息存储在二维双精度浮点矩阵中，其中地理信息包含经度和纬度信息；步骤2，计算机基于计算机的处理器逻辑核心数计算任务分配数，对处理器进行任务分配；步骤3，提取待拼接图像的ORB特征；步骤4，根据任意两幅待拼接图像的匹配与这些匹配计算出的单应性矩阵，对拍摄待拼接图像的相机的参数进行初始化估计；步骤5，用光束法平差提高估计精度；使用光束法平差算法对所有待拼接图像进行相机参数校正，以初始化所有待拼接图像为相同的旋转和焦距长度；步骤6，根据相机参数以及单应性矩阵，对待拼接图像进行矩阵变换，完成待拼接图像的初始拼接；对存储地理信息的二维双精度浮点矩阵使用对应待拼接图像的单应性矩阵进行矩阵变换，完成对地理信息的拼接；步骤7，对拼接后的图像进行亮度的增量补偿以及基于图像金字塔的多波段融合，对拼接后的地理信息进行有条件的插值融合，得到拼接结果图像；步骤8，对每一个处理器所有线程处理的拼接结果图像进行一次综合拼接融合，合并形成最终结果图像；步骤1中所述二维双精度浮点矩阵使用XML结构存储；步骤2中，计算机将任务分配给每个处理器，采用如下公式计算处理器每线程最多处理的待拼接图像数并进行任务分配：其中，n为处理器每线程最多处理的待拼接图像数，N为待拼接图像总数，x1为重叠图像数，0≤x1≤N‑1，t为线程数，N≥2；步骤3包括如下步骤：步骤3‑1，对待拼接图像构建金字塔；步骤3‑2，用加速分割测试特征算法检测关键点的位置，关键点即角点，角点为邻域内具有两个主方向的特征点；步骤3‑3，对关键点用Harris角点检测，从中选出Harris角点响应值最大的N1个特征点，其中Harris角点的响应函数R定义为：R＝detM‑α(traceM)2，其中，I为图像像素灰度值，Ix为图像x方向的偏导数，Iy为图像y方向的偏导数，w为加权函数，detM为矩阵M的行列式，traceM为矩阵M的直迹，α为常数；步骤3‑4，对于选取的N1个角点，根据强度中心算法计算角点的方向，即得到oFAST特征；步骤3‑5，将步骤3‑4中计算出来的角点方向作为BRIEF的方向进行旋转，得到有向的BRIEF，用贪婪学习算法筛选出具有高方差和高不相关的有向BRIEF，称之为rBRIEF；步骤3‑6，将oFAST和rBRIEF组合得到ORB特征；步骤4包括：使用最近邻和次近邻方法对任意两幅待拼接图像进行特征点的匹配：最近邻匹配距离与次近邻匹配距离的比值小于一定的阈值，即认为特征点匹配，否则为不匹配，并删除置信度低的图像，即删除不是同一个全景图中的图像，当找到可以拼接的两幅图像后，将其合并到一个拼接集合中，扩展这个集合得到最大的可拼接集合；单应性矩阵中包含旋转矩阵R0和平移列向量t0，通过单应性矩阵的限制条件估算相机内参数矩阵：如果两幅图像所对应的摄像机坐标之间的变换为(R0,t0)，其中R0＝(r1,r2,r3)，(r1,r2,r3)为组成旋转矩阵R0的三个列向量，(R0,t0)是世界坐标系到摄像机坐标系之间的刚体变换，摄像机内参数矩阵为K，n0是空间平面在世界坐标系下的法向量，符号～表示在相差一个常数因子意义下的相等，空间平面上的点x2＝[a,b,c]T到图像平面上的点m之间的映射关系，即：a,b,c为点x₂的空间坐标，空间平面在世界坐标系下的方程为则两幅图像对应点之间的单应性矩阵为：m和m'分别为两幅图像平面坐标上的点，当单应性矩阵H已知时，从H得到关于摄像机内参数矩阵K的两个线性约束方程，由于H＝(h₁h₂h₃)～K(r₁r₂t₀),(h₁h₂h₃)为组成矩阵H的三个列向量，所以K^‑1(h₁h₂h₃)～(r₁r₂t₀)；又由于对摄像机内参数矩阵K得到如下两个约束：其中，aspect＝1.0，ppx和ppy分别赋值为图像中心点横坐标值和纵坐标值，f为焦距，求取焦距中值或平均值作为所有图像的焦距初始化估值；步骤7包括如下步骤：步骤7‑1，对拼接后的图像的重叠区域进行分块估计平均光强；步骤7‑2，用最大流方法检测图像重叠区域之间的缝隙；步骤7‑3，进行多波段融合：将待拼接图像分解成两个以上不同空间分辨率、不同尺度的子图像构成金字塔，然后由各层金字塔分别进行融合，最后组合得到拼接图像；步骤7‑4，对拼接后的地理信息进行有条件的插值融合：如果在拼接过程中，其中一幅图像全部或部分区域地理信息未知，而另一幅图像相同区域的地理信息已知，则直接将已知的地理信息作为拼接后图像的地理信息；如果拼接的两幅图像在融合点处的经纬度相差小于0.0002度，则取两幅图像在融合点处的经纬度的平均值作为拼接图像的经纬度；如果拼接的两幅图像在融合点处的经纬度相差大于或等于0.0002度，则判定为拼接失败；包括步骤9，基于SIFT特征点对最终结果图像进行验证：使用拼接前的图像与拼接后的图像进行SIFT特征匹配，用随机抽样一致算法选出匹配度高的特征点，并比较拼接前和拼接后特征点地理信息的差异，即比较SIFT匹配点之间拼接前与拼接后图像的经度差和纬度差，如果其差异小于或等于0.0001，则判定拼接的地理信息正确。