[发明专利]一种基于3DQN_PSER算法的单交叉口信号控制方法

说明书

本发明涉及一种基于3DQN_PSER算法的单交叉口信号控制方法，本发明结合典型单交叉路口的特点并遵循信号控制基本原则，在离散交通状态编码的基础上增加信号灯状态；并引入动作奖惩系数来满足最小最大绿灯时间约束；还采用排队长度、累计等待时间、刹车次数和相位是否切换进行多指标系数加权奖励。在此基础上，考虑到交通流数据和信号方案之间存在时序相关性，采用基于优先序列经验重放的方式来更新经验池中的样本数据优先级，并通过双Q网络来调整Q值的选择，以及使用竞争架构Q网络来微调网络结构。本发明克服了原有的单一状态设计的局限性问题，通过信号控制，可以大大缓解交通拥堵问题。

技术领域

本发明涉及智慧交通技术领域，尤其涉及一种基于3DQN_PSER算法的单交叉口信号控制方法。

背景技术

交通拥堵问题是屡见不鲜的“城市病”，而信号控制一直被认为是治理拥堵的最佳方式。由于交通系统具有较强的非线性、模糊性和不确定性，传统的理论和方法很难对其进行有效的控制，随着近些年机器学习和人工智能技术的火热发展，学者们发现强化学习这种无模型自学习的方法，非常适合序列决策的交通信号控制问题。强化学习核心三要素为状态、动作和奖励，若将其应用在交通信号控制领域，复杂的交通状态空间容易引发“维数灾难”问题，所以通常将深度学习这种能够抽取大样本集数据特征的新技术结合强化学习，也就是深度强化学习。

在深度强化学习处理信号控制领域中，仍然存在一些问题：状态设计主要采用离散交通状态编码(DTSE)将进口道从停车线位置开始划分成若干网格，并将网格内的车辆信息组装成三维张量；动作调整主要基于两类，一类是固定相序，通常做法是在满足最小绿灯时间前提下的每一时刻做出选择，保持当前相位还是切换下一相位，另一类是可变相序，在达到最小绿灯时间基础上从若干相序方案中做出选择；奖励主要通过单指标来评价，但实际控制效果无法通过单一指标来衡量；从采用的深度强化学习算法来看，未能结合实际交通流量数据时序特性来进行算法优化。

发明内容

本发明为克服上述的不足之处，目的在于提供一种基于3DQN_PSER算法的单交叉口信号控制方法，本发明基于3DQN_PSER算法(采用优先序列经验重放、基于双深度网络(Double DQN)和竞争结构网络(Dueling DQN)技术的深度强化学习算法)，结合典型单交叉路口的特点并遵循信号控制基本原则，在离散交通状态编码的基础上增加信号灯状态；并引入动作奖惩系数来满足最小最大绿灯时间约束；还采用排队长度、累计等待时间、刹车次数和相位是否切换进行多指标系数加权奖励。在此基础上，考虑到交通流数据和信号方案之间存在时序相关性，采用基于优先序列经验重放的方式来更新经验池中的样本数据优先级，并通过双Q网络来调整Q值的选择，以及使用竞争架构Q网络来微调网络结构。本发明克服了原有的单一状态设计的局限性问题，通过信号控制，可以大大缓解交通拥堵问题。

本发明是通过以下技术方案达到上述目的：一种基于3DQN_PSER算法的单交叉口信号控制方法，包括如下步骤：

(1)对城市道路交叉口各进口道卡口电警的过车数据进行统计；

(2)对步骤(1)采集到的流量数据进行预处理，根据车牌号匹配的方法消除重复数据，并对缺失数据，按照短期内流量的时序相关性，采取前后流量数据的均值进行修复；

(3)基于步骤(2)得到的各车道流量数据，生成OD矩阵，配置对应的路由数据文件，并根据实际交叉口拓扑结构生成路网文件，基于需要探测的车辆运行状态配置车道区域探测器；

(4)通过离散交通状态编码技术设计路口的车辆动态流信息，组装成三维张量输入，并根据不同流向当前的信号状态，设计一维数组表示作为另一输入；

(5)将相位方案库离散化，作为动作集合A，引入动作奖惩系数δ来满足相位最小最大绿灯时间约束，对信号灯状态转变进行设计以实现相位过渡；