[发明专利]一种基于深度强化学习的单点交叉口信号配时优化方法

说明书

本发明公开了一种基于深度强化学习算法对单点交叉口进行自适应信号配时优化的方法，旨在通过实际道路数据，利用深度强化学习对单点交叉口进行仿真配时优化，并最终将仿真方案应用于实际道路，该方法克服了现有自适应信号配时方法的弊端，提供了一种可以进行高维输入，快速收敛的一种新颖算法。在实施本方法的过程中，首先对原始原始数据进行矩阵化处理，通过经验回放策略随机抽取输入数据，并利用ε‑贪婪策略对强化学习的动作进行选择，通过不断地迭代训练，最终得到一个信号配时的最优方案。

技术领域

本发明公开了一种对单点信号交叉口进行控制优化的深度强化学习方法，属于智能交通技术领域。

背景技术

随着世界经济的发展和城市化的快速推进，城市的规模以及人口也在不断地扩大、增加。虽然城市的扩张一定程度上促进了经济的发展，但是越来越多的私家车的出现造成了城市交通的拥堵。而为了加强对城市道路的管理，减少交通事故及拥堵的发生，需要在交叉口设置交通信号灯，从而提高道路使用率，改善交通状况。目前的交通信号控制大致分为三类：(1)固定信号配时。这种配时策略根据以往的交通数据信息，设置好固定的绿信比及信号周期，它的优点是成本低，可以对流量较小的道路进行管控，但是不适用于流量较大的道路。(2)感应信号配时。这种配时策略没有固定的绿信比和相位时长，其工作原理是在车道进口设置车辆到达检测器，检测道路的车流量。在这种策略下，信号灯的周期、绿信比及相位变化会根据交通路口的交通流量的需要变化而变化，控制方式比较灵活。但是其缺点也比较明显，因为需要安装检测器，它的安装及维护成本较高。(3)自适应信号配时。这种配时策略和感应信号配时类似，也是通过检测器检测到交通流信息，然后将这些数据实时的通过网络传到上位机，上位机实时的产生最佳的绿灯配时方案，并付诸实施，这种策略可以将一段时间内汽车的放行量达到最大，或者使其它交通控制评价指标如延误、停车次数等最小。这种策略可以对交叉口的信号机进行最优或次最优的信号配时优化，使其运行方案可以根据交通流的变化而自适应的调整，从而提高车辆在交叉口的通行效率。

而目前的自适应信号控制算法主要有以下几种：(1)模糊算法。这种算法可以把信号控制经验用模糊原则表达出来，从而实现决策推理的过程。Pappis等人就将模糊控制应用在交通控制上，通过建立相应的模糊规则从而实现对各种交通状况进行模糊控制。该方法可以应用在单点交叉口甚至区域交通控制中，但是这种方法不能够充分表示实时交通的不确定性。(2)遗传算法。常云涛等人提出的基于遗传算法的交通配时信号优化方法整合了基于延时和宽带模型方法的特点，同时也对信号周期、绿信比、相位差和相序进行了优化。但是遗传算法的计算量太大，很难做到实时信息的反馈与优化，并且其优化参数难以确定。(3)数据驱动控制。其在不能完全获取交通系统状态信息、对交通系统内部机理不理解的情况下可以自主寻找隐藏在系统中的控制信息，它具有无模型、自学习的特点。但是其对复杂交通系统的控制仍然存在许多的不足，例如鲁棒性较差，不够稳定等。

强化学习算法应用在交通领域的时间比较早，可以对简单的交通信号配时进行控制优化，但是对于传统的强化学习算法来说，虽然它可以解决简单的控制问题，由于其本身算法的限制，它不能解决输入维度高的问题，同时计算过程十分复杂繁琐，所以不适用于现今的交通信号控制。

发明内容

1.发明目的

本发明针对当前城市道路在交通流量比较大的时候容易形成交通拥堵的现状，提出一种基于深度强化学习的交通信号优化方法，该方法可在复杂交通环境下对交通信号配时进行优化，可以有效地减少交通拥堵，提高通行效率。

2.本发明所采用的技术方案

本发明是一种基于SUMO交通仿真软件，通过深度强化学习的方法对单点交叉口信号配时进行优化的方法，具体实现步骤如下所示：

(1)SUMO道路生成及流量、配时计划设置。通过SUMO仿真软件生成本事例中所需的一个单点交叉口，并输入实际道路中的流量及信号初始配时方案。