[发明专利]一种基于强化学习的取送货车辆路径规划方法

说明书

本发明公开了一种基于强化学习的取送货车辆路径规划方法。所述方法包括以下步骤：构建基于A2C框架的强化学习模型及其优化目标；初始化强化学习模型所有的参数值，随机生成数据集；构建强化学习模型的训练过程，将生成的数据集输入强化学习模型，计算每一轮训练结果的奖励值；根据损失值采用基于策略梯度的强化学习方法对强化学习模型进行优化；设置最大训练轮数，重复训练得到训练完成的强化学习模型，采用训练完成的强化学习模型进行取送货车辆路径规划。本发明不同于传统的精确算法和启发式算法，能够快速求解大规模路径规划问题。

技术领域

本发明属于物流调度领域，具体涉及一种基于强化学习的取送货车辆路径规划方法。

背景技术

近年来，随着移动互联网的普及和发展，电子商务的规模不断扩大，与之相关的物流行业也得到了迅速的发展，物流行业的产值不断高速增长。根据国家统计局的数据，2020年行业业务总量突破2万亿元，同比增长29.7％，快递业务量突破800亿件，同比增长31.2％。而伴随着城市化的不断加深，城市配送已经成了整个物流行业中重要的一环。在强调运用高科技手段建设智慧城市的当今社会，结合最新的软硬件技术提高城市配送的效率已经成了新的挑战。

取送货问题作为组合优化领域经典的NP难问题得到了许多关注，研究人员们对其理论和实际应用进行了大量的研究，提出了许多的精确算法和启发式算法。其中，精确算法包括分支定价法、列生成法等，这些算法的优势在于能求得问题的最优解，但是当问题规模增大时，它的求解时间将呈指数级增加，无法在可接受的时间内获得令人满意的结果。

于是，更多的研究转向了启发式算法。启发式算法的求解过程一般是先生成一个初始解，根据模拟自然界的某些现象来制定迭代策略，通过一定次数的迭代获得最终解。研究人员们提出了遗传算法、人工免疫算法、禁忌搜索算法等多种启发式算法。虽然运用启发式算法获得的结果不一定是最优的，但它能在一个合理的时间获得相对不错的结果，目前应用的最为广泛。但是在面对大规模且求解时间要求即时迅速的问题时，它的表现仍然不算好。

为了解决这一问题，一些研究者开始尝试引入一些新的方法。最近几年，强化学习在相关领域取得了非常突出的效果。取送货问题等相关路径规划问题的求解都涉及到了序列决策问题，而强化学习非常适合做序列决策。于是，有研究人员开始使用强化学习来求解TSP、VRP等路径规划问题，求解时间有了很大的提升，而求解质量也有一定的竞争力(M.Nazari,A.Oroojlooy,M.and L.V.Snyder,“Reinforcement learning forsolving the vehicle routing problem,”Adv.Neural Inf.Process.Syst.,vol.2018-Decem,pp.9839–9849,2018.)。相比于传统的精确算法和启发式算法，它的优势在于求解的快速性，即使复杂的大规模问题也能较快得到合理的解。但它同样有不足之处，主要有以下三点：模型的训练时间非常长；训练过程需要大量的数据；解的质量离传统算法还有一定的差距。

发明内容

本发明的目的是快速智能地为城市配送中的取送货问题提供一种可行的解决方案，从而提高整体效率。

本发明的目的至少通过如下技术方案之一实现。

一种基于强化学习的取送货车辆路径规划方法，包括以下步骤：

S1：构建基于A2C框架的强化学习模型及其优化目标；

S2：初始化强化学习模型所有的参数值，随机生成数据集；

S3：构建强化学习模型的训练过程，将步骤S2中生成的数据集输入强化学习模型，计算每一轮训练结果的奖励值；

S4：根据损失值采用基于策略梯度的强化学习方法对强化学习模型进行优化；

S5：设置最大训练轮数，重复步骤S3-步骤S4，得到训练完成的强化学习模型，采用训练完成的强化学习模型进行取送货车辆路径规划。