[发明专利]基于大规模街景数据的实时图片匹配地理定位方法和系统

说明书

本发明公开了一种基于大规模街景数据的图片实时匹配地理定位方法及实现该方法的系统。所述方法包括实时匹配部分：从查询图片中提取局部特征作为查询特征集；其次，对每个查询特征点在预处理建立的索引中，检索K个近似最近邻点(NN)，生成距离从小到大排序的特征分布表，用比值法剔除其外点；然后，把NN对应的参考图片作为候选图片，遍历分布表生成候选图片的R近邻特征集(RNN)和匹配相似度；最后，选择RNN个数最多且匹配相似度最高的候选图片作为匹配图片；其中K为整数。本方法优选还可以包括预处理部分，将比较耗时的“建立索引结构部分”分开提前进行处理。本方法和系统具有定位精度高、实时匹配等特点。

技术领域

本发明涉及图像定位技术领域，尤其涉及一种基于大规模街景数据的图片实时匹配地理定位的方法和系统。

背景技术

图片地理定位是根据图片视觉信息确定或估计图片的地理位置。这个问题有许多的运用场景，例如汽车自动驾驶，移动终端导航，视频地理轨迹生成等。最近几年，街景图片正在不断地更新完善，在某些城市可以做到街道视野的全覆盖。街景图片中有大量的特征信息，例如建筑物、路标和广告牌等，故我们可以提取图片的局部特征，采用特征点匹配的方法进行图片地理定位。

在学术研究领域，Zamir和Zemene等作者提出了基于特征点匹配的大规模街景图片地理定位方法。Zamir等作者对每个查询特征点检索1个近似最近邻点(NN)，用比值方法过滤匹配外点，把参考图片对应的近邻特征点个数作为票数，选择票值最高的参考图片作为匹配图片。在接下来的工作中，该作者把NN个数扩展到K，用第1个和第K个NN点的到查询特征点的比值关系，根据经验性设定的阈值过滤匹配外点；在特征点匹配部分，用广义最小团对每个查询特征点选择一个具有全局一致性的最近邻点以确定匹配图片。Zemene等作者在最新的定位工作中把该问题分为两步进行，他们把固定K值选择NN的方法扩展为按照经验性设定的阈值动态选NN；在特征点匹配部分，用主导集聚类对查询特征点生成具有全局一致性的最近邻特征的局部最优解；进而生成多个局部解，然后用受限主导集从中选择一张匹配图片。

在特征点删除部分，Zamir、Zemene等作者通过经验性地设置固定阈值，采用比值方法对查询特征点和最近邻点进行修剪。然而在不同参考数据集上，若参考特征点较多，此时需要根据参考数据集情况，才能合理设置阈值。在Zemene的工作中，给定某个查询特征点，根据前后最近邻点到查询特征点距离的比值与手动设置阈值的大小比较作为是否选择NN的条件。然而在参考数据集相似特征点较多的情况下，手动设定的阈值可能无法满足实际情况，该方法会对每个查询特征点选择大量的NN点，失去了方法的意义。

在特征点匹配部分，他们用GMCP或DSC搜索具有全局一致性的最近邻点，然而这两个算法均是NP-Hard问题，求解复杂度高且所求结果均为局部最优解。Zemene等作者提出的框架目前定位准确率最高，但是这个定位框架为两次匹配，且受限主导集也为NP-Hard问题，整个框架算法复杂度高，不具备特征点实时匹配的特点。

在实际运用领域，Google公司研发了一个定位一张图片位置的Google Photos技术。用户把图片上传到服务器中，当服务器接收到需要定位的图片时，它首先会将图片分解成像素级别，然后将这些信息和数据库中的信息进行比对，通过一定的算法判断出照片所在大概区域，如某个国家的某个景区等。接着再根据数据库中保存的GPS地理信息进一步判断，如照片特征符合某个经纬度信息就为其匹配对应的地理位置，这样通过实际经纬度信息就可以对照片进行定位。然而此定位方法是在全球范围内，定位准确率低，无法满足实际要求。

发明内容

为了解决街景图片匹配速度慢、外点过滤需要设置固定阈值和只能求出局部最优解的问题，本发明公开了一种基于大规模街景数据的图片实时匹配地理定位方法，可以仅根据图片视觉信息进行地理定位，具有匹配速度快和定位精度高的特点。

本发明解决其技术问题所采用的技术方案是：

一种基于大规模街景数据的图片实时匹配地理定位方法，具体步骤可包括：