[发明专利]一种基于卷积神经网络的多视角空天遥感图像匹配方法

权利要求书

1.一种基于卷积神经网络的多视角空天遥感图像匹配方法，其特征在于，包括以下步骤：

步骤1，归一化预处理待匹配的航天遥感图像和航空遥感图像；

步骤2，将步骤1中预处理之后的图像对输入神经网络的特征提取器中，获得三维特征图；

步骤3，对步骤2所得的三维特征图进行稠密特征筛选，得到多视角显著特征点集；

步骤3的具体实现包含以下子步骤；

3a)为了提取更多以及在多视角和多尺度更显著的特征点，结合稠密特征的思路，使用3*3*n的网格分割步骤2所得的三维特征图F，如下所示：

F^l×w×n＝k×g^3×3×n

g代表着每个网格，k则是网格的数量，l、w和n分别为长度，宽度和通道数；

3b)每个g中存在3*3*n个像素值，相当于9个n维向量，每个向量都代表着图像中一个点的特征，从中筛选出在各个维度特征显著的点，采用以下公式：

D_ij＝max(d_ij),d_ij∈g

其中d_ij代表着每个属于g区域的特征点，i、j代表着特征点在图像中的的像素坐标，I代表着特征点在不同维度的像素值，n则是代表维度，D为筛选出的显著特征点；

3c)为了提取更多显著的特征点和减少提取无用的特征点，在提取每个网格中局部最显著特征点的同时再做一层筛选，设定两个优先级更高的判定：

一、如果该特征点在各个维度的显著度高于等于设定的阈值t1，便将其直接设为显著特征点，保存该特征点位置信息；

二、如果该特征点在各个维度的显著度低于设定的阈值t2，即便是网格区域内最显著特征点，也舍弃该点；

判定公式如下：

D_ij＝d_ij，d_ij≥t1

D_ij≠d_ij，d_ij＜t2

其中d_max为全局最显著特征点；

3d)经过多层筛选后，得到代表全图各个显著稠密特征点的像素位置坐标点集D，其中每个显著特征点D_ij∈D，0＜i＜l，0＜j＜w；

步骤4，结合步骤2的三维特征图和步骤3所得的多视角显著特征点集，构建特征点的描述符；

步骤4中所述的构建特征点的描述符，包含以下子步骤；

4a)根据步骤2和步骤3所得的信息确定显著特征点在三维特征图的位置：每个特征点为D_ij＝[D_ij¹，D_ij²，…，D_ijⁿ]^T，其中任一显著特征点在任一维度像素值为D_ij^m，m的取值为1，2，…，n；n代表着特征点所在的所有维度；

4b)围绕着任一显著特征点D_ij构建描述符，受SIFT匹配算法的启发，首先提取显著特征点的梯度信息：

首先找出特征点D_ij最为显著的维度m，公式如下：

D_ij^m＝max(D_ij¹，D_ij²，…，D_ijⁿ)

然后在此维度提取该特征点与周围的梯度信息，以该点为中心构造一个3*3的矩阵，该矩阵包含特征点D_ij在内共有9个点，根据这9个点在m维度的像素值计算得出特征点D_ij的梯度信息，计算公式如下：

其中e为常数，d_i′j′^m为包含特征点D_ij在内及其周围点共9个点在m维度的像素值，通过该公式就能得到包含特征点D_ij简单梯度信息的特征描述值α_ij；

4c)然后提取显著特征点的视角差异信息：

由于提取的显著特征点在某些维度的信息会比较显著，而在另一些维度信息就没那么显著，根据这些差异信息来凸显各个显著特征点之中的差异，计算视角差异信息公式如下：

其中为特征点D_ij在各个维度的平均像素值，通过该公式计算得出包含特征点D_ij视角差异信息的特征描述值β_ij；

4d)最后综合算得特征描述符

由于上述两种特征描述值均为一维的数值，为了凸显各显著特征点的差异性，最终的特征描述符采取上述两种特征描述值相乘得到的方式，公式如下：

s_ij＝α_ij·β_ij

s_ij便为特征点D_ij的特征描述符，其中包含特征点的梯度信息和视角差异信息，综合得到整幅图像的描述符集合S；

步骤5，神经网络训练的损失函数设为一种三元组损失函数，通过该损失函数使神经网络参数进行自适应调整；

步骤6，根据步骤4得到的特征点的描述值，进行粗匹配；

步骤7，对步骤6所得的粗匹配结果进行精筛，得到最终匹配结果。