[发明专利]一种基于深度强化学习的多交叉口信号灯协同控制方法

说明书

本发明涉及一种基于深度强化学习的多交叉口信号灯协同控制方法，其包括以下步骤：1)根据多交叉口交通网络的实际情况，建立能够反映该交通网络原始交通状态的多通道张量；2)根据得到的多交叉口交通网络的多通道张量，建立多交叉口协同控制神经网络模型；3)采用模仿学习和强化学习相结合的方法，对建立的多交叉口协同控制神经网络模型进行训练，得到训练好的多交叉口协同控制神经网络模型；4)将当前多交叉口的相位信息输入训练好的多交叉口协同控制神经网络模型，得到当前多交叉口信号灯的协同控制输出结果。本发明可以广泛应用于多交叉口信号灯协同控制领域。

技术领域

本发明涉及交通路网中多交叉口信号灯协同控制技术领域，特别是关于一种基于深度强化学习的多交叉口信号灯协同控制方法，采用模仿学习与深度强化学习对交通路网中多交叉口场景进行建模，形成新的多交叉口信号灯协同控制方案。

背景技术

交叉口作为城市交通网络的枢纽和关键结点，对交通网络的运行效率有着举足轻重的影响。所以对交叉口信号灯的相位时长进行优化可以在很大程度上提高现有城市交通网络的运行效率。而随着云计算以及5G等智能交通相关技术的不断发展，通过中央控制系统对交通网络进行实时控制已经变得越来越可行了。车辆对车辆(V2V)和车辆对基础设施(V2I)通信为十字路口的交通信号控制提供了新的机会。通过V2I和V2V通信，交通信号控制器可以实时获取接近车辆的更精确的位置和运动信息，为更有效的交通信号控制提供基础。深度强化学习是近年来兴起的一种人工智能算法，这种方法的特点是可以通过实时和所在环境交互，通过摸索与试错的方法找到一种合理的策略，在特定情况下可以达到甚至超越人类的水平。

基于此，利用深度强化学习对多交叉口组成的交通网络进行建模并优化分析是一件很有经济价值和理论价值的事情。相关的研究成果主要分为以下几类：

1、基于DQN(深度Q网络)的方法。这种结构会将输入状态转化为不同动作的价值，每一次决策都只使用价值最大的动作。但是这种输出方式导致基于DQN的模型只能处理单交叉口问题，无法拓展到多交叉口问题中。一些研究者们提出将每一个DQN模型看做一个智能体，然后利用多个智能体来同时控制多个交叉口，与此同时通过智能体间共享奖励函数的方式来实现协同。但是此类方法会增加模型的整体复杂度和训练难度，而且由于需要在局部与整体之间平衡，这类模型也容易陷入局部最优。

2、基于Actor-Critic(执行器-判别器)的方法。这种方法的特点是将交叉口周围的交通状态转化为图像或者元胞，然后利用深度神经网络来自动进行特征提取，网络的输出为执行其中每一个相位的价值或者概率，通过选取价值最大的相位或者按照概率来选择相位的方式来进行信号灯控制，并通过策略梯度方法进行模型优化。这种方法的特点是信息完备，不会造成信息的丢失，但是由于强化学习的训练效率较低，深度神经网络本身也会会消耗更大的计算资源，所以效率低下。

发明内容

针对上述问题，本发明的目的是提供一种基于深度强化学习的多交叉口信号灯协同控制方法，通过对多交叉口信号灯进行协同控制，有效提高交通网络的运行效率。

为实现上述目的，本发明采取以下技术方案：一种基于深度强化学习的多交叉口信号灯协同控制方法，其包括以下步骤：

1)根据待协同控制的多交叉口交通网络的实际情况，建立能够反映该交通网络原始交通状态的多通道张量；

2)根据得到的多交叉口交通网络的多通道张量，建立多交叉口协同控制神经网络模型，该模型以多交叉口交通网络中每个交叉口信号灯的相位信息作为输入，以一组多维动作作为输出；

3)采用模仿学习和强化学习相结合的方法，对建立的多交叉口协同控制神经网络模型进行训练，得到最优多交叉口协同控制神经网络模型；

4)将当前多交叉口的相位信息输入最优多交叉口协同控制神经网络模型，得到当前多交叉口信号灯的协同控制输出结果。