[发明专利]一种基于强化学习的共享公交车贴线调度方法

说明书

本发明公开了一种基于强化学习的共享公交车贴线调度方法，包括如下步骤：S1：基于真实数据搭建公交路网仿真模型作为强化学习的环境；S2：使用多智能体强化学习对共享公交车调度模型进行优化、分析与验证。本发明考虑交通路网中的动态变化带来的影响，基于真实的数据搭建公交路网仿真模型作为强化学习的环境，使用多智能体强化学习的算法对调度模型进行优化、分析与验证，可以有效提高公司收益，并且具有更高的鲁棒性，是一种高效实用的共享公交车调度算法。

技术领域

本发明涉及城市交通领域，特别是涉及一种基于强化学习的共享公交车贴线调度方法。

背景技术

大都市的出行需求可分为短途出行和长途出行，其中有明显的潮流现象。例如在深圳，人们早上从住宅区集中到商业区，晚上从商业区返回到住宅区，这是典型的潮汐现象，这一现象导致高峰时段的公共资源供应不足。随着公交公司提出共享公交车这一服务来解决这一问题，车队管理问题成为一个极其重要的问题。例如，深圳东部公交公司开发了共享公交车(E-bus)服务，与普通公交车合作，在高峰时间协助常规公交车对高峰线路进行(贴线)合作载客以提高运输效率。

如何准确、高效地管理和调度车队成为城市公共交通优化的任务之一。具体来说，公交车运营商管理许多车队，这些车队分为普通公交车和共享公交车两种，分别完成普通线路和专用公交车任务。政府会在每天的早高峰、晚高峰及其他时段(包括工作日及节假日)向普通公交车公布具体的发车间隔及车辆班次要求，公司需要满足政府的发车要求，并在满足正常公交车的运营要求后，对共享公交车进行调度优化，来增加公司收入。如图1，图中表示常规情况下共享公交车的调度策略，共享公交车在早上从车场出发完成特定的任务(通常指公司的通勤任务)，完后需要空驶回车场并在晚上前往公司完成后续的通勤任务，这样的任务使得共享公交车造成了大量的空驶损耗。

发明内容

为了弥补上述现有技术的大量空驶损耗的不足，本发明提出一种基于强化学习的共享公交车贴线调度方法。

本发明的技术问题通过以下的技术方案予以解决：

本发明提出一种基于强化学习的共享公交车贴线调度方法，包括如下步骤：S1：基于真实数据搭建公交路网仿真模型作为强化学习的环境；S2：使用多智能体强化学习对共享公交车调度模型进行优化、分析与验证。

在一些实施例，S1步骤具体包括：S11：通过面向对象的交通路网环境进行刻画，通过贴线任务时间的结束作为仿真推进的时间点来对仿真环境进行更新，每次共享公交车完成指定任务策略后根据所处时间对道路客流量进行更新；S12：该仿真模型对交通路网的变化进行数值化的描述和仿真，其中仿真环境输入参数由实际数据拟合得到，客流数据包含一段时间内所有工作日及节假日各公交线路的客流数据。

在一些实施例，S12步骤中，把一天分为24个时段，通过统计和分布检验进行拟合，得到客流仿真参数，作为模拟输入参数。

在一些实施例，S12步骤中，针对各项数据按照实际情况进行设定，并作出如下假设：由于贴线任务需完成整条线路的运行，不会在中途站停止任务，所以选择以全线客流作为预测单位，忽略跨区域站间的差异；仿真模型中线路定义为单向线路，公交线的上下行分别处理，便于计算，执行任务过程中，共享公交车默认从始发站运行至终点站，然后再选择下一次任务；由于正常线路的发车频率远高于共享公交车的贴线任务，所以电动公交车非正常调度对客流的影响是短期且递减的。

在一些实施例，S2步骤具体包括：S21：强化学习通过观察环境中每个状态的变化，从环境中获得动作反馈，通过设计适当的奖励来评估反馈的好坏，将共享公交车定义为对象，将城市公交网络仿真模型定义为环境，状态定义为一天中每个时段整个公交路网的客流量，状态的数量等于一天中时间段的数量；S22：当共享公交车在完成上一次任务后到达公交车站可以执行的行动，包括选择一条常规线路进行贴线任务或者在原地等待一段时间使得下一个时刻可以选择长期收益更高的任务。