[发明专利]一种基于语义的相机位姿估计方法及系统

说明书

本发明涉及一种基于语义的相机位姿估计方法及系统，其方法包括：S1：利用RGB图像序列构建图像数据库、语义特征数据库和全局特征数据库；S2：提取待估位姿RGB图像的全局特征向量进行RGB检索，得到RGB检索结果集合R₁；S3：提取待估位姿RGB图像的静态语义图的语义特征向量进行语义检索，得到检索结果集合R₂；S4：对R₁和R₂使用区间选择算法进行优化，得到集合R；步骤S5：将R中每幅图像与待估位姿RGB图像构成图像对，通过图像特征匹配和图像数据库的三维信息得到2D‑3D匹配对，输入位姿估计算法计算得到相机的位姿估计。本发明提供的方法，利用图像语义信息增强位姿估计算法的鲁棒性，使其在环境光照变化、动态物体遮挡情况下得到更准确的位姿估计结果。

技术领域

本发明涉及自主导航和机器人领域，具体涉及一种基于语义的相机位姿估计方法及系统。

背景技术

对于增强现实、自主导航和智能机器人等诸多应用来说，精确的位姿估计对应用的体验和性能有着至关重要的影响。只有精确的估算出设备当前的位姿信息，才能在自动导航中准确的校准当前位置，才能在各种增强现实的场景中准确的融合虚拟物体。传统的民用GPS定位方法，水平误差往往在10m以内，存在信号波动时误差可能会达到20～30m，无法满足一些精确定位的需求；激光雷达定位方法需要配备专用的激光雷达设备，成本较高且便携性较差；射频识别定位方法需要在场景部署相应的无线通信设备，对环境和设备要求较高；利用相机的视觉定位方法，可以从图像数据中提取丰富的视觉特征信息进行精确的相机位姿估计，而且，相机作为最普遍的传感设备被广泛应用在各类应用和场景中，有着精度高、成本低、部署简单、适用范围广等优点，因此相机位姿估计技术具有广泛的应用场景和巨大的研究价值。

已有先驱者对相机位姿估计技术进行了不同程度的研究。Alex Kendall等人提出了利用深度神经网络直接回归出相机绝对位姿的方法，Laskar Z等人结合图像检索提出了利用深度神经网络回归出图像对间相对相机位姿的方法。以上基于机器学习的方法需要大量数据进行驱动，场景泛化能力不足。Shotton J等人通过场景坐标回归森林估计图像上任意一个像素的三维空间坐标，由此构建2D-3D匹配，再通过计算得到相机位姿。BrachmannE,Rother C等人利用全卷积网络对输入的图像进行坐标估计，得到每个像素的空间坐标，从而构建稠密的2D-3D匹配，计算得到相机位姿。Sarlin P.-E等人结合图像检索技术和图像局部特征提取匹配技术得到2D-3D匹配，计算得到相机位姿。以上构建2D-3D匹配的方法，利用多视几何的相关知识，通过数学方法计算得到相机位姿，位姿估计精度较高，但是2D-3D匹配的构建过于依赖图像的RGB视觉信息，因此在环境光照变化、动态物体遮挡等情况下位姿估计效果下降明显。Toft C等人提出了语义匹配一致性定位方法，利用语义匹配一致性评分调整位姿估计时RANSAC的采样过程，大概率的选中语义一致性较高的匹配点对集合，从语义层面优化位姿估计的结果。J.L等人构建了体素级的3D语义地图，并将位姿估计任务与3D语义体素的匹配进行结合。以上基于语义的方法，都采用重投影的方式对语义信息进行处理，并且都使用图像语义信息进行精确的位姿估计，但是位姿估计的效果依赖于语义分割的精度，在现有技术条件下不具备优势。

发明内容

为了解决上述技术问题，本发明提供一种基于语义的相机位姿估计方法及系统。

本发明技术解决方案为：一种基于语义的相机位姿估计方法，包括：

步骤S1：通过相机预先获取RGB图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；将所述RGB图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对所述语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取所述静态语义图序列的语义特征向量，构建语义特征数据库；提取所述RGB图像序列的全局特征向量，构建全局特征数据库；