[发明专利]路径规划方法、装置、设备及计算机可读存储介质

权利要求书

1.一种路径规划方法，其特征在于，包括：

获取车辆的出发点、当前位置以及目的地；

根据实际城市道路构建路网信息模型；其中，所述路网信息模型将需进行方向选择的道路口抽象为路网节点；每个路网节点包含三个属性：节点的位置坐标、节点沿各个方向道路的拥挤程度、节点沿各方向道路长度；

基于劳动分工策略通过个体之间、个体与环境间的交互得到Q-Table的初始权值；其中，Q-Table是一个与路网信息模型相关的数值矩阵；

在路网信息模型中，通过Q-learning对交通数据进行学习并得到路径，同时基于开发和探索策略调整Q-Table；

根据调整的Q-Table，通过滚动规划策略，确定行进路径，直至到达目的地。

2.根据权利要求1所述的路径规划方法，其特征在于，通过劳动分工策略通过个体之间、个体与环境间的交互得到Q-Table初始值，具体为：

基于交互规则，将车辆和路网节点看作个体，将道路长度和道路拥挤程度看作环境，利用激发-抑制机制处理个体与个体的交互，利用刺激-响应机制处理个体与环境的交互，以构造分工概率模型；

根据分工概率模型得到Q-Table的初始值。

3.根据权利要求2所述的路径规划方法，其特征在于，所述分工概率模型表示为：

P(total)＝ηP₁(·)+(1-η)P₂(·)

其中，P₁为激发抑制模型概率，且A为激发剂强度，且A＝f(d₁,L)，I为抑制剂强度，且

P₂为刺激响应模型概率，且s外部环境刺激强度，其更新为：s(t+1)＝s(t)+δ-σn_act，θ为个体响应阈值，其更新为：θ(t+1)＝θ(t)+β_i；η为权重系数，满足1＞η＞0。

4.根据权利要求3所述的路径规划方法，其特征在于，

激发剂强度与目的地、车辆当前位置以及下一步预测位置有关，基本思想为目的地对车辆的吸引作用；相对的抑制剂强度与不可达节点、车辆当前位置以及下一步预测位置有关，基本思想为不可达节点对车辆的排斥作用；

环境刺激强度为路网道路的各种信息，包括拥堵程度，若是拟选择的下一路径的拥堵程度大于路网平均拥堵程度，则说明该路径路况较差，应避免驶入；相反若拥堵程度小于路网平均拥堵程度，则说明该路径路况较好。

5.根据权利要求4所述的路径规划方法，其特征在于，通过Q-learning对交通数据进行学习并得到路径，同时基于开发和探索策略，进一步调整Q-Table，具体为：

在每个路网节点处计算分工概率模型P(total)，将P(total)代入初始Q-Table的对应路口节点，并设定学习迭代次数N₁；

在Q-learning中，根据得到的初始化Q-Table，按照90％概率执行开发和10％概率执行探索的方式进行学习；

根据每次迭代后的路径情况，采用奖励-惩罚的学习方式，基于以往数据和在线数据学习调整Q-Table数值：其公式如下：

Q(s,a)←Q(s,a)+α[max_a′Q(s′,a′)-Q(s,a)]

即根据下一个状态S’中选取最小的Q(s′,a′)值乘以衰变α加上真实回报值作为Q现实，而根据过往Q-Table里面的Q(s,a)作为Q估计，其中α∈(0,1)。

6.根据权利要求3所述的路径规划方法，其特征在于，根据调整的Q-Table，通过滚动规划策略，确定行进路径，直至到达目的地，具体包括：

在车辆出发前，已通过将当前路网信息代入分工概率模型和Q-Learning得到了调整后的Q-Table数值表，并通过Q-Table选取确定当前行进路径；

在车辆每到达下一路网节点前，均对剩余路线进行一次路径分配，根据实时更新的最新路网信息，及时调整当前路径直至到达目的地。