[发明专利]一种基于语义的相机位姿估计方法及系统

权利要求书

1.一种基于语义的相机位姿估计方法，其特征在于，包括：

步骤S1：通过相机预先获取RGB图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；将所述RGB图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对所述语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取所述静态语义图序列的语义特征向量，构建语义特征数据库；提取所述RGB图像序列的全局特征向量，构建全局特征数据库；

步骤S2：获取一张相机拍摄的待估位姿RGB图像，提取所述待估位姿RGB图像的全局特征向量，计算所述全局特征向量与所述全局特征数据库中全局特征向量的欧几里得距离，使用最近邻匹配算法进行RGB检索，得到RGB检索结果集合R₁；

步骤S3：将所述待估位姿RGB图像输入所述语义分割网络，得到语义分割结果；利用语义图修复方法对所述语义分割结果进行恢复，得到静态语义图；获取所述待估位姿RGB图像的静态语义图的语义特征向量，计算所述语义特征向量与所述语义特征数据库中语义特征向量的欧几里得距离，使用最近邻匹配算法进行语义检索，得到语义检索结果集合R₂；

步骤S4：对R₁和R₂进行整合后使用区间选择算法进行优化，得到优化后的检索结果集合R；

步骤S5：将R中每幅图像与所述待估位姿RGB图像构成图像对，利用图像局部特征提取和匹配技术生成2D-2D匹配点对，并结合图像数据库中的三维信息转化为2D-3D匹配点对；将所述2D-3D匹配对输入位姿估计算法，得到所述相机的位姿估计。

2.根据权利要求1所述的基于语义的相机位姿估计方法，其特征在于，所述步骤S1：通过相机预先获取RGB图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；将所述RGB图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对所述语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取所述静态语义图序列的语义特征向量，构建语义特征数据库；提取所述RGB图像序列的全局特征向量，构建全局特征数据库，具体包括：

步骤S11：通过相机预先获取RGB图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；

步骤S12：将所述RGB图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对所述语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取所述静态语义图序列的语义特征向量，构建语义特征数据库；

步骤S13：提取所述RGB图像序列的全局特征向量，构建全局特征数据库。