[发明专利]一种用于无人机图像和卫星图像跨视角图像匹配方法

说明书

本发明公开了一种用于无人机图像和卫星图像之间的跨视角图像匹配方法，属于遥感图像技术领域。本发明在考虑无人机视角与卫星视角图像本身的相似性后，将同一目标地点的两个视角的图像无差别的看做同一类图像，即将地点作为类别，训练两种视角下的地点分类模型。并将去除分类层的分类模型作为图像特征提取器；再基于该图像特征提取器，分别对请求匹配的图像和候选图像库中的每幅图像进行特征提取，得到各图像的图像特征向量；基于图像特征向量，计算请求匹配的图像和候选图像库中的每幅图像之间的图像特征相似度，将最高图像特征相似度作为请求匹配的图像的匹配结果。本发明可以用于基于图像的无人机图像定位和无人机导航。

技术领域

本发明属于遥感图像技术领域，具体涉及一种用于无人机图像和卫星图像之间的跨视角图像匹配方法。

背景技术

遥感技术在近几十年快速发展，遥感平台逐渐向多样化发展。卫星平台、航空平台、无人机平台都已成为重要的遥感图像获取平台。尤其是无人机，因为其具有机动性强、受天气影响小、成本低廉等优点，已经被广泛用于各行各业。在大部分情况下，无人机图像定位和无人机导航可以通全球定位系统很好的被解决。但是人们还是会面临定位没有地理标签的无人机图像和导航没有全球定位系统的问题。跨视角图像匹配由于可以实现基于图像的地理定位，近年来已收到广泛关注。其主要内容是将没有地理标签的图像和有地理标签的图像进行匹配，实现基于图像的地理定位。其中含有地理标签的图像主要是高空间分辨率的卫星图像。因此如何基于卫星图像实现无人机图像的地理定位和无人机导航就成为了一个很有意义的问题。其中一个可能的有效途径是无人机图像与卫星图像的跨视角匹配。深度学习近年来已经在图像处理中取得巨大成就，因此利用深度学习技术来完成无人机与卫星之间的跨视角图像匹配是可行的。

先前的跨视角图像匹配都是基于地面视角图像和卫星视角图像或者航空视角图像进行。这些方法考虑的情况都是在同一目标地点且每个视角都只有一张图像的情况。两张来自不同视角的图像被称为图像对。属于同一地点叫正图像对，否则叫负图像对。在进行匹配处理时，利用双分支卷积神经网络分别提取两个视角的图像特征，然后优化正图像对之间的特征距离，使其最小化，优化负图像对之间的距离，使其最大化。最后通过计算特征距离的方式实现两个视角的图像匹配。

但是，现有的地面与卫星图像(航空图像)的跨视角匹配方法不适用于无人机与卫星视角之间的跨视角图像匹配处理，其原因主要有三个。第一，地面与卫星图像(航空图像)的跨视角匹配方法在模型的训练过程中没有考虑一个目标地点在某一个视角有多个视点图像的情况，这些方法所采用的训练数据在每个目标地点的某个视角都只有一张图像，因此处理时都只用考虑目标地点两个视角下的图像对之间的对应关系；但是在无人机与卫星图像的匹配过程中，无人机在同一个目标地点往往可以在不同角度和高度以不同的姿态获取多张无人机视角图像，与相同地点的一张卫星图片存在多对一的对应关系。第二，地面图像与卫星图像(航空图像)的跨视角匹配方法针对的是地面视角图像和空中视角图像的匹配，这两个视角存在巨大的视角差异，地面视角是水平视角，大多数情况下获取的地面物体的侧面信息，而空中视角是垂直向下或者倾斜向下的视角，这种视角下的图像获取的都是地面物体的顶部和上表面信息。因此这两种视角几乎没有相似性，在方法构建时不用考虑视角的相似性。而本发明的发明人在本发明的实现过程中发现，无人机视角和卫星视角都属于空中视角，它们有一定的视角相似性。当无人机获取图像是倾斜拍摄时，无人机图像与卫星图的相似性会被减弱，而当无人机图像的拍摄角度与卫星图像的拍摄角度一致时，无人机图像与卫星图像有最大的视角相似。无论无人机以何种方式获取图像，只要无人机飞行高度较高，都会获取到地面物体的顶部信息。因此在进行无人机图像与卫星图像的跨视角匹配时，考虑它们之间的视角相似性是十分必要的。第三，地面图像与卫星图像(航空图像)的跨视角匹配方法考虑的往往是如何将两个视角的图像特征如何拉近到同一空间，最终目标是削弱视角差异带来的图像特征差异。而无人机图像与卫星图像应该更加注重的是目的地点之间的差异。

发明内容