[发明专利]一种基于强化学习的自适应调节地图匹配搜索半径的方法

权利要求书

1.一种基于强化学习的自适应调节地图匹配搜索半径的方法，其特征在于，包括：

基于预设大小的六边形网格对城市道路网络进行划分；

将路网空间索引作为环境，地图匹配算法作为智能体，对每个六边形网格内给定的GPS样本，以不同搜索半径值作为状态，搜索半径扩大、不变和缩小作为动作，以包含正确路段且候选路段集合尽可能小为原则建立奖励函数，将每个六边形网格的自适应调节搜索半径问题建模为马尔科夫决策过程；

利用Q学习算法获取所有六边形网格的最佳搜索半径。

2.根据权利要求1所述的方法，其特征在于，所述以不同搜索半径值作为状态包括：设置最大搜索半径值后，以预设步长将搜索半径值进行离散，获得若干个基于搜索半径值表征的状态。

3.根据权利要求1所述的方法，其特征在于，对搜索半径扩大、不变和缩小三个动作进行对应的赋值，利用数值表征相应的动作。

4.根据权利要求1所述的方法，其特征在于，所述奖励函数定义如下：

其中，为GPS样本g当前状态s_i对应的候选路段集；G_g为GPS样本g的正确候选路段，通过地图匹配获得；或0，表示是否包含路段G_g。

5.根据权利要求1所述的方法，其特征在于，利用Q学习算法获取所有六边形网格的最佳搜索半径的方式为：

以每个六边形网格包含的GPS样本为输入，先将状态初始化为最大搜索半径，之后对每个GPS样本依次基于即时奖励函数值更新状态-动作值函数，遍历完所有GPS样本后输出状态-动作表。

6.根据权利要求5所述的方法，其特征在于，在学习过程中，以ε-greedy策略选择一个动作从而获得一个新的状态。

7.根据权利要求5所述的方法，其特征在于，对于错过正确候选路段的情况，以预设步长逐渐扩大搜索半径来进行候选路段的搜索。

8.根据权利要求1所述的方法，其特征在于，所述GPS样本基于如下方式筛选：

预设筛选轨迹数量阈值，在阈值范围内进行轨迹筛选操作：

遍历轨迹数据，对每条轨迹建立包含轨迹上GPS样本的六边形网格的序列；

对每个六边形网格，按其包含的轨迹数量从少到多的顺序进行轨迹选择，对六边形网格选择一条经过的轨迹后，清除该轨迹经过的六边形网格，从其余网格中继续按照包含的轨迹数量从少到多的顺序进行轨迹选择，直至选择的轨迹覆盖所有六边形网格。

9.根据权利要求8所述的方法，其特征在于，在六边形网格包含两条或两条以上的轨迹时，选择包含GPS样本最多的轨迹。

10.根据权利要求8所述的方法，其特征在于，如果筛选完毕后轨迹数量未达到阈值，则重复轨迹选择直至轨迹数量达到阈值。