[发明专利]基于深度学习的跨视角影像实时匹配地理定位方法及系统

权利要求书

1.一种基于深度学习的跨视角影像实时匹配地理定位方法，其特征在于，包括以下步骤：

步骤S1，利用域对齐算法将空视图像与街景图像初步对齐；

步骤S2，构建孪生神经网络，所述孪生神经网络的结构包括两个提取特征图的卷积神经网络分支，后接全局描述向量编码模块，再接距离度量层；

步骤S3，在包含街景图像与遥感图像的已有数据集基础上训练步骤S2所述孪生神经网络；

步骤S4，构建具体应用场景的数据集，并继续在步骤S3训练所得的孪生神经网络基础上进行微调训练；

步骤S5，现场抓拍街景图片，并利用训练好的网络在步骤S4构建的数据集中检索与之匹配的卫星图像，从而完成街景图片的定位。

2.根据权利要求1所述的一种基于深度学习的跨视角影像实时匹配地理定位方法，其特征在于：所述步骤S1中的域对齐算法实现方式如下，

将街景图像近似转换为空视图像的逆极坐标转换，通过以下公式进行转换，

其中，是原始街景图像像素坐标，是合成空视图像像素坐标，W_a和H_a分别为原始空视图像的宽和高，W_s和H_s分别为原始街景图像的宽和高。

3.根据权利要求1所述的一种基于深度学习的跨视角影像实时匹配地理定位方法，其特征在于：所述步骤S1中的域对齐算法实现方式如下，

将空视图像近似转换为街景图像，通过以下公式进行转换，

其中，是原始空视图像像素坐标，是合成街景图像像素坐标，W_a和H_a分别为原始空视图像的宽和高，W_s和H_s分别为原始街景图像的宽和高。

4.根据权利要求1或2或3所述的一种基于深度学习的跨视角影像实时匹配地理定位方法，其特征在于：所述步骤S2的孪生神经网络具体结构实现如下，

两个提取特征图的卷积神经网络分支，采用卷积层与池化层的复合而成的网络；

全局描述向量编码模块为全连接层，其中每层的节点个数根据实际应用场景设定；

距离度量层计算全局描述向量的欧式距离。

5.根据权利要求1或2或3所述的一种基于深度学习的跨视角影像实时匹配地理定位方法，其特征在于：所述步骤S3的网络训练实现方式如下，

每次训练时，按三元组样本对训练网络，从训练集中随机选择一张来自同一地点拍摄的街景图像和卫星图像作为正样本对，再选择一张来自另一地点的卫星图像与前面选择的街景图像组成负样本对，这三张图像组成三元组输入进网络；

将样本输入网络，依次经过特征提取层，全局描述向量编码层，距离度量层，最后得出样本对之间的距离大小，并带入加权软间距排序损失；

网络根据损失函数反向传播以自动调整参数。

6.根据权利要求1或2或3所述的一种基于深度学习的跨视角影像实时匹配地理定位方法，其特征在于：步骤S5中利用训练好的网络判断街景图像地理位置，实现方式如下，

将拍摄的街景图片与卫星图片数据集中的图片输入训练好的网络中；

网络自动将两视角图片编码为一维的全局描述向量，并计算两向量之间的距离，最后从卫星图片数据集中检索出与查询街景图片特征距离最近的卫星图片，将其位置坐标赋与查询街景图片。

7.一种基于深度学习的跨视角影像实时匹配地理定位系统，其特征在于：用于实现如权利要求1-6任一项所述的一种基于深度学习的跨视角影像实时匹配地理定位方法。