[发明专利]一种基于神经网络的单目相机位姿优化方法及装置

说明书

本发明公开了一种基于神经网络的单目相机位姿优化方法及装置，包括：获取单目图像；基于卷积神经网络对单目图像进行特征点提取，得到目标特征点以及像素坐标和视觉特征描述子；当当前帧为有效帧，基于目标特征点的像素坐标和视觉特征描述子利用图神经网络对目标特征点与历史特征点进行匹配；当匹配结果满足要求，利用目标算法解算单目相机的位姿信息；当当前帧为关键帧，计算关键帧中的词向量并在预设词向量数据库中检索关键帧中的词向量；当关键帧中的词向量与预设词向量数据库中词向量的相似度大于预设阈值且连续多个关键帧的词向量与预设词向量数据库中的词向量的相似度大于预设阈值，则判定检测到回环并执行全局BA操作以优化单目相机位姿。

技术领域

本发明涉及定位技术领域，具体涉及一种基于神经网络的单目相机位姿优化方法及装置。

背景技术

自动驾驶车辆又称无人驾驶车辆，是一种依靠车载传感器系统、计算系统和控制系统自主执行驾驶任务的复杂无人系统，为实现期望的自动驾驶功能，首先需要解决自动驾驶车辆的自主定位问题。

现有技术中的定位与地图构建(Simultaneouslocalizationandmapping，SLAM)是解决自动驾驶车辆自主定位问题的一种技术，其根据使用的传感器类型的不同，SLAM可以分为依托视觉相机的视觉SLAM、依托激光雷达的激光SLAM和同时依托视觉相机和惯性器件的视觉惯性SLAM等不同类型。相较于激光雷达、视觉相机具有低成本、信息量丰富等优势，其中尤以单目相机应用最为广泛、技术最为成熟，因此基于单目相机的视觉SLAM技术具有很高的研究价值和广阔的应用前景。为了保证基于单目相机的视觉SLAM定位技术的准确性，亟待提出一种新的单目相机位姿优化方法以优化相机位姿。

发明内容

因此，本发明提供一种基于神经网络的单目相机位姿优化方法及装置以优化相机位姿，提高基于单目相机的视觉SLAM定位技术的准确性。

根据第一方面，本发明实施例公开了一种基于神经网络的单目相机位姿优化方法，包括：获取单目相机实时采集的车辆行驶前方单目图像；基于卷积神经网络对所述单目图像进行特征点提取，得到目标特征点以及所述目标特征点的像素坐标和视觉特征描述子；根据提取到的目标特征点数量确定当前帧是否属于有效帧，当所述当前帧属于有效帧，基于所述目标特征点的像素坐标和视觉特征描述子利用图神经网络对所述目标特征点与历史特征点进行匹配；当匹配结果满足预设匹配要求，利用目标算法解算所述单目相机的位姿信息；根据所述位姿信息确定所述当前帧是否为关键帧，当所述当前帧为关键帧，计算所述关键帧中的词向量，并在预设词向量数据库中检索所述关键帧中的词向量；当所述关键帧中的词向量与所述预设词向量数据库中词向量的相似度大于预设阈值且连续多个关键帧的词向量与所述预设词向量数据库中的词向量的相似度大于预设阈值，则判定检测到回环并执行全局BA操作以优化单目相机位姿

可选地，所述卷积神经网络包括编码器和解码器，所述基于卷积神经网络对所述单目图像进行特征点提取，包括：将所述单目图像进行灰度处理，得到灰度图像；将所述灰度图像输入到所述编码器进行卷积操作，得到所述灰度图像的特征图；将所述灰度图像的特征图输入到所述解码器进行分类操作，得到所述目标特征点以及所述目标特征点的像素坐标和视觉特征描述子。

可选地，所述根据提取到的目标特征点数量确定当前帧是否属于有效帧，包括：判断提取到的目标特征点的数量是否大于目标数量；当提取到的目标特征点的数量大于所述目标数量，判定所述当前帧属于有效帧；当提取到的目标特征点的数量小于或等于所述目标数量，则重新获取当前帧。

可选地，基于所述目标特征点的像素坐标和视觉特征描述子利用图神经网络对所述目标特征点与历史特征点进行匹配之前，所述方法还包括：确定是否已进行用于获取历史特征点信息的初始化操作；当未进行用于获取历史特征点信息的初始化操作，检测用于存储所述历史特征点的地图数据库是否为空；若用于存储所述历史特征点的地图数据库为空，利用对极约束求解当前帧的相机位姿，并使用三角测量算法估计目标特征点深度，以生成所述地图数据库的初始关键帧位姿和初始历史特征点信息。