[发明专利]一种结合场景标注信息的视觉定位方法和系统

权利要求书

1.一种结合场景标注信息的视觉定位方法，其特征在于，所述方法包括：

获取定位地图，对所述定位地图中场景图像的图像信息、关键点信息和场景信息进行信息提取，得到所述定位地图的多类定位信息，其中，所述定位地图中的场景图像均包含多层的场景标注信息图层，通过所述场景标注信息辅助信息匹配，具体步骤包括：从三维点云中直接获得所述场景标注信息图层，通过对图像做深度学习语义分割、场景人工标注获取所述场景标注信息图层，根据地理信息区域划分得到所述场景标注信息图层，其中，在所述场景标注信息图层中设置场景标签，动态物体标签被赋予较低的可信度，静态物体标签被赋予较高的可信度；通过对定位地图中的场景信息进行标注，针对不同区域设置不同类型的标签，赋予不同类型标签以不同的可信度；对所述场景标注信息图层中不同标注类型和不同场景语义标签，设置不同的可信度权重；通过动态可更新权重的方法，对所述可信度权重进行不同场景下的适应性动态调整；

其中，所述通过所述场景标注信息辅助信息匹配包括：根据图像检索、词带模型和特征点聚类的算法获取定位地图中的图像候选帧，并通过所述候选帧中多层场景标签的加权可信度，对所述候选帧进行筛选或排序，辅助所述图像信息检索匹配；

获取待定位图像，并对所述待定位图像进行信息提取，得到所述待定位图像的多类定位信息，其中所述信息提取的方法包括关键点提取、语义信息提取、相片EXIF信息提取；

根据所述待定位图像的多类定位信息，与所述定位地图的多类定位信息进行匹配和计算，得到匹配信息，包括：获取所述待定位图像的所述语义信息中不同类型标签的占比面积，并将所述待定位图像的标签占比面积和所述定位地图中相似图像的标签占比面积进行对比匹配，得到所述匹配信息；

或，采用位姿预测网络，以及特征匹配结合几何校验的方法，计算出图像的6DoF定位结果，在计算出所述待定位图像的定位结果后，将所述定位结果的语义分割图层投影到所述定位地图中相似图像的视角下，在同一视角中对比所述待定位图像和所述定位地图中相似图像之间不同类型标签的重叠度，或仅对比所述不同类型标签中高可信度标签的重叠度，得到所述匹配信息；

对定位地图中的 2D 关键点和 3D 点设置对应标签的可信度权重，在进行关键点信息匹配时，对定位地图中的不同标签的2D关键点和3D点赋予不同的权重，在最小化重投影误差中，带入所述权重进行计算，使得高权重的点对定位结果的影响更大；在计算得到定位结果的位置和朝向时，获取符合定位结果的2D-3D点对的标签，判断2D-3D点对的标签是否一致，若不一致则认为这对点不可靠，在标签一致的情况下，如果该标签具有低可信度，则这对点的可信度即标签可信度也很低，如果待定位地图中2D-3D点对的平均可信度很低，则认为定位结果错误，进行排除；

根据所述匹配信息获取定位结果，得到所述待定位图像的6DoF位置和朝向。

2.根据权利要求1所述的方法，其特征在于，所述对所述待定位图像进行信息提取，得到所述待定位图像的多类定位信息包括：

对所述待定位图像进行深度学习语义分割得到语义信息，对所述待定位图像中有效语义标注的区域进行关键点提取。

3.根据权利要求1所述的方法，其特征在于，所述通过所述场景标注信息辅助信息匹配还包括：

对所述定位地图中的2D关键点和3D点设置对应标签的可信度权重，辅助所述关键点信息匹配。