[发明专利]一种基于卷积神经网络的多视角空天遥感图像匹配方法

说明书

本发明涉及一种基于卷积神经网络的多视角空天遥感图像匹配方法，相较于传统匹配算法，不仅能够保证多视角遥感图像的匹配效率，而且能显著提高多视角遥感图像的匹配准确率，具体包括：归一化预处理待匹配的航天遥感图像和航空遥感图像；通过稠密多视角特征提取神经网络对输入图像进行稠密特征提取，得到多视角显著特征点集；结合显著特征点的梯度信息和视角差异信息构建特征描述符；设计用于神经网络训练的三元组损失函数，提升神经网络提取特征点和描述特征的准确度；根据特征点描述值使用Flann特征匹配，再通过RANSAC进行筛选，得到最终匹配结果。

技术领域

本发明涉及遥感图像处理技术领域，尤其是涉及一种多视角遥感图像特征匹配方法。

背景技术

进入21世纪，航空/航天遥感由于其宏观、快速、准确认识对象的优势使其在很多领域都得到应用，如灾害监测，智慧城市构建，情报侦察等。然而，航天侦察虽覆盖范围广，但难以获得目标全方位立体信息，且由于重返周期问题导致时效性受限。航空遥感监测手段虽然具有获取及时性、低空成像清晰等特性，但对于特定区域只能远距离、大倾角观测。因此，综合利用两者互补优势的空天图像(航天与航空图像)，挖掘与关联不同传感器、不同时相、不同角度、不同分辨率的图像信息，实现高精度、高效率的区域动态监测、变化检测、目标识别与定位等视觉任务，为灾害应急、反恐响应、精确打击等提供支撑，具有重要的理论意义与实用价值。其中，图像匹配是其关键核心技术和基础工作，匹配效果直接影响与制约着后续任务的成败。

图像匹配旨在将两幅图像中具有相同或相似属性的区域或结构进行像素上的对齐与映射，精确获取图像间特定区域发生的几何变换关系。由于航空平台大倾角的观测，造成了空天图像之间存在显著的视角变化和尺度差异，给空天图像特征匹配带来了极大的困难。而随着深度学习的发展，卷积神经网络(Convolution Neural Networks,CNN)在图像处理领域取得了较大的成功。CNN中的卷积层具有强大的特征提取能力，在网络训练的过程中，通过监督信息和反向传播函数更新网络层参数，使得CNN对形变和噪声等也具有较好的鲁棒性。深度学习为遥感图像匹配的研究提供了新的思路，基于深度学习的遥感图像匹配方法也更多的应用于社会生活和工业自动化。

如上所述，多视角遥感图像匹配为灾害应急与敏感区域动态监测提供技术支撑，具有十分重要的理论和实践意义。但是空天图像之间存在显著的视角变化和尺度差异增大了图像特征提取及匹配的难度，使多视角遥感图像匹配成为两种图像信息有效集成的“瓶颈”。因此，多视角遥感图像的匹配成为目前多传感器卫星图像匹配的研究热点及难题。

图1为多视角空天影像，其中左边为航空大倾角影像，右边为航天正射影像，图中白色A框所示为建筑物目标不同视角影像对比，白色B框所示为油罐目标不同视角影像对比，白色C框所示为道路目标不同尺度影像对比，正是由于上述空天图像之间目标特性的差异，使得二者的配准难度大大增加，传统的图像匹配方法并不适合于多视角遥感图像匹配问题，需要结合新的思路对其进行改进。现有图像匹配方法大体上可分为基于灰度的匹配方法和基于特征的匹配方法。下面将分别对这两类方法以及基于深度学习的图像匹配方法和多视角图像匹配的改进方法进行综述分析。

(1)基于灰度的匹配方法

基于灰度的匹配方法直接利用影像或者预设的模板窗口上的灰度信息作为基准进行匹配，而不用考虑显著的特征。经典的基于灰度的匹配方法有相关法(张祖勋等，1998；陆和平和高磊，2009)、互信息法(Maes et al.,1997；Suri and Reinartz,2010)、傅立叶方法(Foroosh et al.,2002)等。基于灰度的匹配方法对同源遥感影像的匹配具有有效性和准确性，然而文献(Zitova and Flusser,2003；宋智礼，2010；叶沅鑫，2013)指出基于灰度的匹配方法对影像间的灰度差异比较敏感，它只能满足灰度特性线性正相关影像的匹配，对于影像间存在较大的几何形变时，该方法往往会失效，很难用于异源遥感影像的匹配。

(2)基于特征的匹配方法