[发明专利]一种基于强化学习的自适应调节地图匹配搜索半径的方法

说明书

本发明公开了一种基于强化学习的自适应调节地图匹配搜索半径的方法。运用强化学习中的Q学习算法完成自适应调节搜索半径，确定Q学习算法自适应调节搜索半径的智能体、环境、状态和动作变量，构建兼顾搜索候选路段集合大小和地图匹配准确性能的双目标奖励函数，制定基于策略的动作价值函数来确定最佳搜索半径策略。此外，利用启发式算法对GPS样本进行筛选以选择一定数量的训练数据，提高强化学习的训练效果。本发明能根据GPS的位置信息，自适应确定搜索半径，从而提高地图匹配的计算效率。

技术领域

本发明涉及计算机技术领域和数据处理技术，具体涉及地图匹配中搜索候选路段技术，可应用于定位、导航、路线规划等基于位置的服务，尤其涉及一种基于强化学习的自适应调节地图匹配搜索半径的方法。

背景技术

随着GPS传感器等定位技术和设备的日益普及和应用(如导航和路线规划等)，大量的GPS轨迹数据被收集和应用于不同的领域。由于GPS传感器的读数存在一定的定位误差和采样误差，原始GPS轨迹需要在使用前进行预处理。地图匹配是最重要的预处理任务之一，其目的是通过GPS定位序列与底层道路网络的匹配，确定给定GPS轨迹的实际行驶路线。地图匹配算法的基本思想是根据车辆的GPS位置和其对应的路网数据信息确定该车辆实际行驶的道路，将一系列有序的车辆原始GPS采样点映射到道路网络中，通过地图匹配算法找出原始GPS采样点在道路网络中真实位置。地图匹配算法主要流程如下(见图1)：

(1)基于原始GPS采样点和给定的搜索半径确定采样点的候选路段；

(2)候选路段的特征提取和候选路段之间的时空关系建模；

(3)选取最优的候选路段序列成为匹配路径。

大量的地图匹配方法已经被提出，其中大多方法都基于隐马尔科夫模型(HiddenMarkov Model，HMM)开发的。HMM模型善于通过结合额外的特征(如道路连通性和旅行方向)对GPS位置序列进行建模。文献(Paul Newson and John Krumm.2009.Hidden Markov mapmatching through noise and sparseness.In Proceedings of the 17th ACMSIGSPATIAL International Conference on Advances in Geographic InformationSystems(GIS'09).Association for Computing Machinery,New York,NY,USA,336–343.)将原始GPS采样点的位置信息和开源地图OpenStreetMap(OSM)的道路网络信息联系起来，计算原始GPS采样点到附近的路段概率值(即观察概率)，以及候选路段之间的转移概率，最终选取累积概率值最大的候选路段序列作为最终的匹配路径。该基于隐马尔科夫模型地图匹配算法对原始GPS采样点的位置信息和路段之间连通的合理性都很敏感。HMM地图匹配的主要流程如下：

(1)利用R树或四叉树索引对路网构建索引，并运用索引搜索各个GPS采样点的候选路段；

(2)计算候选路段状态观测概率和转移概率；

(3)使用维特比(Viterbi)算法计算最优匹配路径。