[发明专利]一种基于强化学习的车辆路径规划方法

说明书

本发明提供一种基于强化学习的车辆路径规划方法，将客户节点的状态序列作为输入信息，将输入信息送往决策网络，决策网络依据动作值函数选择动作并计算规划车辆行进路线。本发明基于历史配送数据以强化学习算法来训练模型，从而达到在道路交通状况和配送目标节点数变化的情况下动态规划行车路径的目的。本方法考虑现实生活中复杂多变的道路交通情况和配送目标数不定的配送任务，动态调整行车路线，从而提高运输效率并降低成本。

技术领域

本发明涉及智能交通领域，具体而言，尤其涉及一种基于强化学习的车辆路径规划方法。

背景技术

车辆路径有效规划是物流管理、公交与出租客运、以及从事相关领域运营等服务的重要环节，有助于提高运输效率并降低成本。

Oriol Vinyals等(Vinyals O,Fortunato M,Jaitly N.Pointer networks[C]Advances in Neural Information Processing Systems.2015:2692-2700.)提出了一种简单而有效的架构称为Pointer Net来学习组合优化问题，该模型首次采用机器学习的方法来求组合优化问题，在sequence-to-sequence和Neural Turing Machines的基础上使用神经注意机制解决了可变大小输出字典的问题，并采用监督学习的方式来训练模型，以纯粹的数据驱动方法来学习计算难以处理的问题的近似解。

Irwan Bello等(Bello I,Pham H,Le Q V,et al.Neural combinatorialoptimization with reinforcement learning[J].arXiv preprint arXiv:1611.09940,2016.)改进了Vinyals等^[1]提出的指针网络，提出了一种利用强化学习和神经网络来解决组合优化问题的框架-神经组合优化，其中决策指针网络由两个长短期记忆网络(LSTM)构成，采用Policy-gradient算法优化决策网络。为将神经网络作为解决组合优化问题的通用工具提供了一条有趣的研究途径。

Khalil E等(Khalil E,Dai H,Zhang Y,et al.Learning combinatorialoptimization algorithms over graphs[C]Advances in Neural InformationProcessing Systems.2017:6348-6358.)提出了一个端到端的机器学习框架，称为S2V-DQN，用于为图上的NP-hard组合优化问题自动设计贪心启发式算法，方法的核心是深度图嵌入与强化学习的结合。框架主要由两部分组成，首先采用Structure2Vec图形嵌入网络形嵌入网络对当前的图对当前的图形结构进行编码，采用采用强化学习中的Deep QLearning DQN算法进行训练，优化决策网络。学习策略的行为类似于逐步构建解决方案的元算法，其动作由图形嵌入网络在解决方案的当前状态上确定。该框架的主要优点是充分利用了图的结构来学习启发式算法，学习得到的启发式算法在相似的图结构中可以通用。

上述提到的方法都是在已知模型的情况下进行求解的，即已知各个节点之间的二维欧几里德距离。然而在现实配送中通常存在配送时间最短，或在规定时间内完成配送的目标。配送时间通常受到城市交通状况的影响，而交通情况在每个时间段通常是变化的，即在每个时间段两个节点之间的权重(时间)不是固定不变的，而且每天配送任务的目标节点数也是在某个范围内动态变化的。现实中通常我们可以得到的是某个区域内配送过程中记录的历史数据，即从某个节点到某个节点在某个时间段花费了多长的时间，基于历史配送数据采用机器学习的方法基于不同节点数来规划配送路线，达到最小化配送时间的目标，上述方法不适用于此类问题的求解。

发明内容