[发明专利]一种基于强化学习的交通信号灯控制方法及系统

说明书

本发明公开了一种基于强化学习的交通信号灯控制方法及系统，首先建立信号灯控制Agent模型，其次建立道路及道路交叉口模型，将道路交通状态信息表示成速度、位置和当前信号灯状态矩阵，然后在传统Q‑Learning的基础上根据道路环境信息建立基于Deep Q Network(DQN)的交通信号灯控制算法；最后通过Agent与环境交互获取实时的路况信息，在行为空间进行搜索自学习，估计当前状态下执行所有可能动作的Q值，利用ε‑greedy策略选择Q较大的动作执行。本发明改进了现有的交通信号灯控制方法，最小化路口车辆的等待时间，最大化信号控制周期有效绿灯时间，助力车辆快速通过路口，有最短的通行时间，同时使路口有最大车流量，从而达到缓解交通拥堵的目的，实现交通信号灯的自适应控制。

技术领域

本发明涉及智能交通控制技术领域，具体是一种基于强化学习的交通信号灯控制方法及系统。

背景技术

随着机动车保有量的快速增长，城市道路交通的承载能力明显不足，交通拥堵问题日益凸显。在城市道路交通系统中，各交叉口处的交通流是相互关联和影响的，任何一个交叉口某相位的交通拥堵都会导致与之相邻的相位也会发生拥堵，接着导致相邻的路口和区域也会发生拥堵。近年来交通拥堵越来越引起人们的关注，现有的缓解交通拥堵的途径主要有两种：一是加强基础设施建设，如提高路网的通行能力、扩建桥梁与道路等外延设施，这种方式成本高且不易实施。二是采用先进、有效的智能决策控制方法，合理使用现有交通设施，充分发挥其能力，该方式主要体现在交通信号灯的自适应控制，这也符合我国提出的数字城市与智慧城市发展理念。

传统的交通信号灯，在交叉路口的每个方向，无论车辆数目如何变化，信号时间间隔都是不变的，这就很容易导致交通设施的低效运用。比如，在车流高峰时间段，过短的绿灯会导致车辆拥堵情况的加剧；在车辆较少的时间段，过长的绿灯又会造成行人通行延缓。为了能够让车辆在交叉路口的通行更加通畅，人们利用智能系统将交通信号灯的周期与道路上汽车数量结合起来，设计出可以根据道路实际情况调控交通信号配时方案的自适应交通信号灯控制系统。

现有的自适应交通信号灯控制系统大多根据历史交通数据预测道路车流量，根据预测的车流数量，改变信号灯的状态和周期，对历史数据、模型依赖严重并且人为干预因素较大，并非真正的自适应控制。强化学习方法不需要外部环境的数学模型，对环境的先验知识要求低，可在大空间、复杂的非线性系统中取得良好的学习性能。因此，结合道路状态信息，设计基于强化学习的交通信号灯控制方法及系统具有重要研究意义。

发明内容

本发明针对现有自适应交通信号灯控制方法及系统对历史数据、模型依赖严重并且人为干预因素大，并非真正的自适应控制问题，提出了一种基于强化学习的自适应交通信号灯控制方法及系统。

本发明的技术方案如下：

一方面，一种基于强化学习的交通信号灯控制方法，包括以下几个步骤：

步骤1：建立信号灯控制Agent模型；

以道路交叉口车道上的所有车辆等待时间最小作为信号灯控制Agent的信念；以道路交叉口上的红绿灯在一个信号控制周期内的有效绿灯时间最长作为信号灯控制Agent的愿望；以道路交叉口上的红绿灯信号状态的切换操作作为信号灯控制Agent的意图；

基于信念-愿望-意图(Belief-Desire-Intention，BDI)理论的混合型信号灯控制Agent模型，能够实时地、动态地、自主地与不断变化着的外部环境进行交互，感知并作用于环境，并且通过自己行为的执行而达到缓解交通拥堵的目的。

首先，Agent观察交通环境，记录路口每条道路上每个车道的车辆位置、速度以及路口信号灯相位，作为控制算法的输入；然后，利用经验回放机制进行自学习，得出下一时刻的动作，用于指导制定信号灯的信号切换策略，完成信号切换；最后，交通环境进入一个新的状态并给Agent行为一个奖励，Agent再次观察环境信息，完成学习与决策；