[发明专利]一种基于改进Q-learning算法的最短路径问题的解决方法

摘要

本发明公开了一种基于改进Q‑learning算法的最短路径问题的解决方法，具体包括：建立位置‑动作的价值表格，将Q表全部初始化为0，选择合适的更新步长、贪婪参数、奖赏折扣及平滑参数；根据最短路径问题的要求设置初始位置记作x₀，目标位置记作x_tf；将当前位置记作X，并将初始位置赋值给当前位置，用epsilon‑greedy方法选取动作，记为A；在X处采取动作A，并记录获得的收益r和采取动作A后转移到的位置X’，若X’等于目标位置x_tf，则将初始位置x₀赋值给X，否则将X’赋值给X；更新Q表；取位置X邻近的所有位置将其记作X_1,X_2,…_,X_n，并更新Q表；重复上述步骤直到Q表收敛。本发明缓解了目前已有的使用Q‑learning解决最短路径问题问题时Q表格收敛时间长的问题。

主权项

1.一种基于改进Q‑learning算法的最短路径问题的解决方法，其特征在于，包括如下步骤：步骤1，建立位置‑动作的价值表格，即Q表，将Q表全部初始化为0，并设置如下参数：更新步长α、贪婪参数ε、奖赏折扣γ及平滑参数s；步骤2，将最短路径问题的初始位置记为x₀，目标位置记为x_tf；步骤3，将当前位置记为X，并将初始位置赋值给当前位置，用ε‑greedy方法选取动作，将这个被选取的动作记为A；步骤4，在位置X处采取动作A，并记录获取的收益r和采取动作A后转移到的位置X′，若位置X′等于目标位置x_tf，则将初始位置x₀赋值给X，否则将X′赋值给X；步骤5，更新Q表，将Q(X,A)更新为Q(X,A)+α[r+γmax_aQ(X′,a)‑Q(X,A)]，其中，Q(X,A)表示在位置X处采取动作A所能获得的价值，max_aQ(X′,a)表示在位置X′处采取使Q(X′,a)最大的动作a所获得的价值；步骤6，将位置X邻近的所有位置记为X₁,X₂,…,X_n，其中，n＝2N，N为最短路径问题所在空间的维数，并将Q(X_i,A)更新为Q(X_i,A)+sα[r+γmax_aQ(X′,a)‑Q(X,A)]，i＝1,2,…,n；步骤7，重复步骤3‑步骤6直至Q表收敛，当Q表收敛后，在当前位置采取Q值最大的动作，即可从初始位置一步一步移动到目标位置。