[发明专利]一种基于深度强化学习的多交叉口信号灯协同控制方法

权利要求书

1.一种基于深度强化学习的多交叉口信号灯协同控制方法，其特征在于包括以下步骤：

1)根据待协同控制的多交叉口交通网络的实际情况，建立能够反映该交通网络原始交通状态的多通道张量；

2)根据得到的多交叉口交通网络的多通道张量，建立多交叉口协同控制神经网络模型，该模型以多交叉口交通网络中每个交叉口信号灯的相位信息作为输入，以一组多维动作作为输出，其中，每一个维度的动作分别表示相对应的交叉口切换相位的概率；

3)采用模仿学习和强化学习相结合的方法，对建立的多交叉口协同控制神经网络模型进行训练，得到最优多交叉口协同控制神经网络模型；

4)将当前多交叉口的相位信息输入最优多交叉口协同控制神经网络模型，得到当前多交叉口信号灯的协同控制输出结果。

2.如权利要求1所述的一种基于深度强化学习的多交叉口信号灯协同控制方法，其特征在于：所述步骤1)中，根据待协同控制的多交叉口交通网络的实际情况，建立能够反映该交通网络原始交通状态的多通道张量的方法，包括以下步骤：

1.1)按照预设规则将与多交叉口交通网络内其中一个交叉口相连的各个方向的车道进行拼接，得到该交叉口的车道图像信息；

1.2)对得到的交叉口的车道图像信息进行处理，得到能够反映该交叉口原始交通状态的车道矩阵信息；

1.3)重复步骤1.1)～1.2)，获得多交叉口交通网络各个交叉口的车道矩阵信息；

1.4)将得到的各个交叉口的车道矩阵信息进行叠加，得到多交叉口交通网络的多通道张量。

3.如权利要求1所述的一种基于深度强化学习的多交叉口信号灯协同控制方法，其特征在于：所述步骤2)中，建立的多交叉口协同控制神经网络模型包括第一、第二两个卷积层、第一、第二两个池化层、合并层以及一个全连接层；

所述第一卷积层用于对输入的多交叉口交通网络进行局部特征提取，得到的结果发送到所述第一池化层；

所述第一池化层用于对输入的数据进行降维和去噪处理后，得到的结果发送到所述第二卷积层；

所述第二卷积层用于对输入的数据进行全局信息提取，得到的结果发送到所述第二池化层；

所述第二池化层用于对输入的数据进行降维和去噪处理并发送到合并层；

所述合并层将得到的数据以及多交叉口交通网络中各个交叉口的相位信息进行合并后，发送到所述全连接层；

所述全连接层根据输入的数据得到用于控制各个交叉口的交通信号灯的一组多维动作以及用于表示当前时刻多交叉口交通状态的价值。

4.如权利要求1所述的一种基于深度强化学习的多交叉口信号灯协同控制方法，其特征在于：所述步骤3)中，采用模仿学习和强化学习相结合的方法，对建立的多交叉口协同控制神经网络模型进行训练，得到最优多交叉口协同控制神经网络模型的方法，包括以下步骤：

3.1)采用模仿学习方法对建立的多交叉口协同控制神经网络模型进行训练，得到初步优化后的多交叉口协同控制神经网络模型；

3.2)采用强化学习方法对步骤3.1)得到的模型继续训练，直到模型精度达到预设阈值，得到最优多交叉口协同控制神经网络模型。