[发明专利]一种基于深度强化学习的区域边界主交叉口信号控制方法

说明书

本发明公开了一种基于深度强化学习的区域边界主交叉口信号控制方法，包括步骤：将路网分为关键区域与外围区域两大部分；基于Sumo搭建仿真平台，导入真实的公交出行数据，合理设置社会车流量，借助仿真获取关键区域MFD；建立关键区域与外围区域之间的交通流动态守恒方程；基于步骤S3建立的交通流动态守恒方程，结合模型预测控制MPC与遗传算法，求取最优边界控制参数；在求得最优边界控制参数的情况下，进行深度强化学习，得到最优的区域边界主交叉口信号控制方案，使得实际转移车流量与预期转移车流量之间的差距最小。本发明实现了城市路网的边界交叉口信号智能控制，动态的调节各区域间的进出比，以达到缓解交通拥堵的目的。

技术领域

本发明涉及智能交通的技术领域，尤其涉及到一种基于深度强化学习的区域边界主交叉口信号控制方法。

背景技术

随着经济的快速发展，城市交通拥堵问题变得非常严重，造成了巨大的经济损失，尤其是在中国。道路交叉口的短时交通需求具有时变性、非线性、复杂性等特征，很难建立起精确的数学模型，简单的定时控制、感应控制方法难以适应交通流量的动态、复杂、快速变化，控制效果不好。智能交通的发展，利用人工智能知识，加强对城市交通信号的有效控制，可以有效缓解城市拥堵。

目前存在的边界控制方案：以两个交通区域为研究对象的一种最优边界控制方法，即模型预测控制法(MPC)，构建一个预测控制模型，最后以城市不同拥挤程度下MFD的稳定性作为分析指标，证明该方法比反馈调节算法更优。

目前存在的信号控制方案：一种基于信号灯组的交通信号强化学习控制方法，其每个流向的信号灯组为一个RL智能体，并采用Q学习算法根据交通流状态自动优化相位结构及顺序。

虽然基于MFD理论的边界控制已有较为成熟的发展历程，但也存在以下不足：以往的研究多是确定控制方案使路网运行效率最大化，并不从系统角度考虑寻找一个策略使路网运行效率在研究时段内整体最高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度强化学习的区域边界主交叉口信号控制方法，以提升城市道路对居民出行的服务能力为导向，围绕基于MFD边界控制理论，开展相应调研、仿真路网搭建、数据采集处理、人工智能算法设计与优化，旨在实现城市路网的边界交叉口信号智能控制，动态的调节各区域间的进出比，以达到缓解交通拥堵的目的。本发明有利于对交通信息资源的管理和利用，提升城市道路基础设施、路况信息的服务质量，为社会公众提供安全、优质、便捷、高效的运输服务。

为实现上述目的，本发明所提供的技术方案为：

一种基于深度强化学习的区域边界主交叉口信号控制方法，包括以下步骤：

S1、将路网分为关键区域与外围区域两大部分；

S2、基于Sumo搭建仿真平台，导入真实的公交出行数据，合理设置社会车流量，借助仿真获取关键区域MFD；

S3、建立关键区域与外围区域之间的交通流动态守恒方程；

S4、基于步骤S3建立的交通流动态守恒方程，结合模型预测控制MPC与遗传算法，求取最优边界控制参数；

S5、在求得最优边界控制参数的情况下，进行深度强化学习，得到最优的区域边界主交叉口信号控制方案，使得实际转移车流量与预期转移车流量之间的差距最小。

进一步地，所述步骤S3建立的状态平衡方程如下：

n_ij(k+1)＝n_ij(k)+d_ij(k)-m_ij(k)*μ_ij(k) (1)