[发明专利]一种地图增强现实系统

权利要求书

1.一种地图增强现实系统，其特征在于，包括四层结构：

第一层为用户层，位于地图增强现实系统最上层，为用户提供地图以及地图信息服务，包括移动设备地图增强现实系统初始化模块，用于对模板地图图像的离线处理和移动设备地图增强现实系统相关参数进行初始化；

第二层为功能层，包括跟踪注册模块、虚实结合模块和人机交互模块；跟踪注册模块通过移动设备的摄像头，从视频流获取关键帧，进行图像匹配、位姿计算，图像匹配部分使用深度学习算法进行特征提取、描述、匹配，消除误匹配点，进行单应性矩阵循环校正和光流法跟踪，得到精确的匹配点对和单应性矩阵之后即可求得移动设备摄像头的位姿，确立虚实融合的位置关系；虚实结合模块在跟踪注册完成之后，得到了虚拟信息与纸质地图上可靠的位置对应关系，通过 OpenGL ES 实现虚拟信息的渲染并显示在移动设备的屏幕上；人机交互模块用于实现用户与虚拟信息的交互操作；

第三层为底层库，底层库通过OpenCV 和 OpenGL ES构建，OpenCV 负责跟踪注册模块的功能实现，OpenGL ES负责在移动设备上实现三维模型与地形等虚拟信息的渲染；

第四层为数据库层，包括模板地图图像、三维模型、图片、文字以及视频和音频数据，数据类型以文件目录的形式存放于系统硬盘，存放路径采用MySQL数据库进行集中维护与管理；

地图增强现实系统在应用时，通过对移动终端电子设备的摄像头采集的视频流中的关键帧，采用深度学习算法进行特征提取，将得到的描述子集合与离线阶段存储在数据库中的模板地图描述子集合进行匹配，将满足匹配数目阈值要求的特征点中的误匹配的点去除，，如果匹配成功并满足精确度要求，则实时更新特征点位置进行位姿计算，地图增强现实系统会根据匹配图像从MySQL数据库中检索出对应的数据信息，然后将其叠加显示在虚拟信息显示区域，使用 OpenGL ES 进行虚拟信息的渲染，实现虚实融合场景；如果匹配不成功，则重新提取关键帧的特征信息进行匹配，实现地图增强现实表达，对后续帧，使用光流法进行特征跟踪。

2.根据权利要求1所述的地图增强现实系统，其特征在于，所述数据库预留有数据操作接口以进行数据插入和数据更新。

3.根据权利要求1所述的地图增强现实系统，其特征在于，所述三维地形模型的数据来源是通过地图下载器下载的DEM数据，然后通过坐标转换，再将.dem格式的高程数据转换成3D Max 中的.obj 格式，最后给模型贴上材质得到。

4.根据权利要求1-3任意一项所述的地图增强现实系统，其特征在于，跟踪注册模块具有深度学习网络训练部分，深度学习网络训练部分根据地图图像特征数据→网络模型建立→损失函数→卷积网络模型的步骤进行特征描述。

5.根据权利要求1-3任意一项所述的地图增强现实系统，其特征在于，系统内为用户添加了兴趣点，用户通过点击感兴趣的内容，能够得到与之相关的信息，包括地理坐标、相关的人文介绍信息，这些信息为调用数据库中的数据信息，并且能够以文字、视频或者图片的形式展现。