[发明专利]一种基于计算机视觉技术的前后端架构地图定位方法

权利要求书

1.一种基于计算机视觉技术的前后端架构，其特征在于，包括前端和后端；

所述前端包括单目相机，以及基于嵌入式设备并与单目相机连接的地图定位模块；所述地图定位模块包括依次连接的语义分割单元、特征点提取与描述子计算单元、视觉单词分类单元、全局地图匹配单元、TCP客户端；所述语义分割单元与单目相机之间进行数据连接；

所述全局地图匹配单元包括二维与三维匹配单元及姿态估计单元，所述TCP客户端包括子地图接收单元及定位信息传输单元；

所述后端包括双目相机、基于PC端的地图构建模块、全局地图以及基于PC端的地图传输模块；

所述地图构建模块包括与双目相机连接的预处理单元，以及与预处理单元和全局地图连接的地图生成单元；所述地图传输模块包括与全局地图连接的地图处理单元，以及与TCP客户端连接的TCP服务器；

所述预处理单元包括深度图处理模块、语义分割图处理模块、相机轨迹处理模块；

所述地图生成单元包括特征点提取与描述子计算模块、视觉单词归类模块、三维特征点云模块；

所述地图处理单元包括地图读取模块、地图分割模块；

所述TCP服务器包括与子地图接收单元连接的子地图发送单元，以及与定位信息传输单元连接的前段定位监控单元。

2.一种基于计算机视觉技术的前后端架构地图定位方法，其特征在于，包括以下步骤：

步骤S1.在后端启动地图构建模块，提前对后续需要进行定位的地图区域进行全局地图的离线构建，确定包含三维特征点云和目标真实轨迹信息的全局信息；所述三维特征点云由大量三维特征点组成；

步骤S2.全局地图构建完成后，在线启动地图传输模块，读取已有的全局地图并将整个全局地图切割成一块块便于并行传输的子地图；在地图定位模块运行前，地图传输模块预先将相对于定位端的前几块子地图先传输至地图定位模块，以便开始进行定位；

步骤S3.在前端启动单目相机和地图定位模块，单目相机以视频流的方式逐帧获取单目图像并输入到地图定位模块中，由地图定位模块对输入的图像依次进行语义分割、特征点提取与描述子计算、视觉单词归类、特征点匹配，估计出当前相机在全局地图中的姿态信息，获得当前运行定位程序的嵌入式设备的位置信息，从而完成地图的在线定位。

3.根据权利要求2所述的一种基于计算机视觉技术的前后端架构地图定位方法，其特征在于，所述步骤S3中的语义分割具体是指：先区分动态物体和静态物体的特性，再提取出图像中动态物体的区域，并将该区域剔除。

4.根据权利要求2所述的一种基于计算机视觉技术的前后端架构地图定位方法，其特征在于，所述步骤S3中的视觉单词归类具体步骤如下：

步骤S3.1.1.利用FLANN通过不相关的图像中的特征点来训练出一个视觉词典；

步骤S3.1.2.以视觉词典为基础将前端的单目图像中的二维特征点与后端图像中的三维特征点进行视觉单词归类；

步骤S3.1.3.当步骤S3.1.2中所述的二维特征点和三维特征点的视觉单词号相同时，认定这两个特征点具有相似性，可成为一个视觉单词匹配对；

步骤S3.1.4.当在一次定位中得到大量的视觉单词匹配对后，进行后续的姿态估计。

5.根据权利要求4所述的一种基于计算机视觉技术的前后端架构地图定位方法，其特征在于，所述步骤S3中特征点匹配具体是指，将前端当前单目图像的特征点与后端传送来的子地图的特征点进行全局地图匹配；具体包括以下步骤：

步骤S3.2.1.对视觉单词匹配对进行进一步的描述子匹配操作，即当一个前端的二维特征点和一个后端的三维特征点的视觉单词号相同时，再对这两个特征点的描述子进行距离的计算；

步骤S3.2.2.若步骤S3.2.1中两个特征点的描述子的距离在阈值范围内，则真正认定这两个特征点是相互匹配的；

步骤S3.2.3.重复步骤S3.2.2获得多组相互匹配的特征点，然后再通过多组相互匹配的特征点匹配对来解决透视多点问题，由此估计出相机姿态信息；

步骤S3.2.4.使用计算当前估计出的相机姿态与子地图最后一个相机姿态之间的在XZ轴上的距离，即相机的运动的距离，若小于阈值则切换到下一片新的子地图。