[发明专利]跨模态检索的视觉位置识别方法、存储介质和电子设备

说明书

本发明提供了一种跨模态检索的视觉位置识别方法、存储介质和电子设备，所述方法包括：以离线方式一次性构建3D点云地图数据库，将数据库中密集的点云表示转换为轻量级结构形式的点云，并利用注意力机制为轻量级点云融合上下文信息，以得到3D点云地图数据库的全局特征；以在线方式实时获得待查询图像，通过轻量型图像骨干网络提取待查询的2D图像的全局特征；计算3D点云地图数据库的全局特征和2D图像的全局特征的欧氏距离，并建立两者的对应关系。而后可以通过2D待查询图像的特征去实时检索以轻量级结构表示的3D点云数据库特征，以获得与待查询图像处于同一地理位置的点云图，能够快速地提取查询图像的特征信息。

技术领域

本发明涉及深度学习领域，具体涉及一种跨模态检索的视觉位置识别方法、存储介质和电子设备。

背景技术

近年来，深度卷积神经网络(Deep Convolutional Neural Networks)的发展极大促进了计算机视觉(Computer Vision)领域相关算法的进步。视觉位置识别(VisualPlaceRecognition)作为计算机视觉领域的研究分支之一，其主要任务是对当前视觉位置进行定位，识别出当前处于地图数据库中哪个位置。视觉位置识别任务是即时定位与建图(Simultaneous Localization and Mapping)系统的重要组件，用于解决回环检测(Loop-closure Detection)问题。通常在弱GPS环境下进行定位任务主要依赖于即时定位与建图系统，通过设备构建的地图数据库定位设备当前位置，且通过不断地定位来完善地图数据库，在无人驾驶、机器人和增强现实等应用中具有突出贡献。而回环检测用于判断是否曾经到达过当前位置，以检测回环。

通常设备上的传感器获取的位置信息分为两种主流数据类型：2D图像和3D点云。2D图像由相机直接拍摄而成，3D点云由激光雷达扫描场景生成，图像极易受光照、天气和季节影响，易造成识别精度下降，而激光雷达安装昂贵且难以维护，实际应用中成本高昂。目前，采用的视觉位置识别方法主要包括基于2D图像的视觉位置识别方法和基于3D点云的视觉位置识别方法。

基于2D图像的视觉位置识别方法通过相机拍摄生成查询图像和数据库图像，使用经典的图像骨干网络提取查询图像和数据库图像的特征，通过局部聚合特征向量网络层(Net Vector of Locally Aggregated Descriptors)将提取的特征聚合成全局特征，利用简单的欧几里得距离在数据库图像中检索出与查询图像相匹配的数据库图像。车载相机安装简单，成本较低，且易于维护。

基于3D点云的视觉位置识别方法通过车载激光雷达扫描生成查询点云和数据库点云，使用经典的点云骨干网络提取查询点云和数据库点云的特征，同样通过局部聚合特征向量网络层(Net Vector of Locally Aggregated Descriptors)将提取的特征聚合成全局特征，利用全连接层将全局特征的维度降低，进行特征向量压缩，以达到高效检索的目的，最后使用欧几里得距离在数据库点云中检索出与查询点云相匹配的点云图。车载激光雷达扫描场景，不受光线、天气和季节影响，即便在夜晚也能完整地扫描出场景点云图，确保位置识别的高准确率。

然而，基于2D图像的视觉位置识别方法容易受光线影响，在夜晚的识别准确率非常低，且若是跨季节进行位置识别，识别精度也易受影响。基于3D点云的视觉位置识别方法虽然能够很好地解决场景外观变化带来的挑战，但是安装昂贵的激光雷达设备难以实现，且难以维护。

发明内容

为此，需要提供一种跨模态检索的视觉位置识别的技术方案，解决现有技术涉及的视觉位置识别的方法识别精度差、维护成本高等问题。

为实现上述目的，在第一方面，本发明提供了一种跨模态检索的视觉位置识别方法，所述方法包括以下步骤：

S1：在以离线方式构建3D点云地图数据库时，将密集的点云压缩成第一轻量级结构点云；

S2：将所述第一轻量级结构点云输入到旋转学习网络，生成第二轻量级结构点云；