[发明专利]一种地图增强现实系统

说明书

本发明涉及一种地图增强现实系统，属于地图信息显示领域，包括四层结构，分别为用户层、功能层、底层库和数据库层；用户层为用户提供地图以及地图信息服务，为用户提供地图以及地图信息服务，包括移动设备地图增强现实系统初始化模块；功能层包括跟踪注册模块、虚实结合模块和人机交互模块，跟踪注册模块通过摄像头，从视频流获取关键帧，进行图像匹配、位姿计算；底层库通过OpenCV和OpenGL ES构建，在移动设备上实现三维模型与地形等虚拟信息的渲染；数据库层包括模板地图图像、三维模型、图片、文字以及视频和音频数据。本发明将深度学习技术、增强现实技术、移动开发技术进行结合，实现对纸质地图表达地理信息的形式和内容以及交互性能的拓展和提升。

技术领域

本发明涉及地图信息显示领域，尤其涉及一种地图增强现实系统。

背景技术

增强现实（AR，Augmented Reality） 是利用虚拟物体对真实场景进行现实增强的技术。 增强现实保留用户实际所处的环境作为用户的主要感知和交互环境， 通过将文本、二维图形、三维模型等虚拟生成的信息标注在显示屏上所显示的用户实际所处环境中的物体上，从而实现对用户所处的环境的注释、说明，或者增强现实环境的效果。比如，用户带上专用的增强现实显示眼镜，亲身到某博物馆参观，其在观看某个文物时，他不仅可以看到文物及其周围环境本身，还可以看到通过增强现实技术附加的对该文物的介绍信息。

随着增强现实技术研究的快速发展，以及地图和地理信息应用的不断深入，在增强现实成为研究热点的同时，人们正尝试将增强现实技术应用于平面地图的显示增强和地理信息可视化。但是，目前针对平面地图的增强现实应用仍存在诸多的问题，例如，用于增强现实的虚拟三维模型比较单一，没有将虚拟三维模型有效地融合至真实场景。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种地图增强显示系统，将深度学习技术、增强现实技术和移动开发技术等进行结合，实现丰富的地理信息承载与表达。

为实现上述目的，本发明所采用的技术方案是：

一种地图增强现实系统，包括四层结构：

第一层为用户层，位于地图增强现实系统最上层，为用户提供地图以及地图信息服务，包括移动设备地图增强现实系统初始化模块，用于对模板地图图像的离线处理和移动设备地图增强现实系统相关参数进行初始化；

第二层为功能层，包括跟踪注册模块、虚实结合模块和人机交互模块；跟踪注册模块通过移动设备的摄像头，从视频流获取关键帧，进行图像匹配、位姿计算，图像匹配部分使用深度学习算法进行特征提取、描述、匹配，消除误匹配点，进行单应性矩阵循环校正和光流法跟踪，得到精确的匹配点对和单应性矩阵之后即可求得移动设备摄像头的位姿，确立虚实融合的位置关系；虚实结合模块在跟踪注册完成之后，得到了虚拟信息与纸质地图上可靠的位置对应关系，通过 OpenGL ES 实现虚拟信息的渲染并显示在移动设备的屏幕上；人机交互模块用于实现用户与虚拟信息的交互操作；

第三层为底层库，底层库通过OpenCV 和 OpenGL ES构建，OpenCV 负责跟踪注册模块的功能实现，OpenGL ES负责在移动设备上实现三维模型与地形等虚拟信息的渲染；

第四层为数据库层，包括模板地图图像、三维地形模型、图片、文字以及视频和音频数据，数据类型以文件目录的形式存放于系统硬盘，存放路径采用MySQL数据库进行集中维护与管理；

地图增强现实系统在应用时，通过对移动终端电子设备的摄像头采集的视频流中的关键帧，采用深度学习算法进行特征提取，将得到的描述子集合与离线阶段存储在数据库中的模板地图描述子集合进行匹配，将满足匹配数目阈值要求的特征点中的误匹配的点去除，，如果匹配成功并满足精确度要求，则实时更新特征点位置进行位姿计算，地图增强现实系统会根据匹配图像从MySQL数据库中检索出对应的数据信息，然后将其叠加显示在虚拟信息显示区域，使用 OpenGL ES 进行虚拟信息的渲染，实现虚实融合场景；如果匹配不成功，则重新提取关键帧的特征信息进行匹配，实现地图增强现实表达，对后续帧，使用光流法进行特征跟踪。