[发明专利]基于深度强化学习单路口交通信号控制方法、系统、装置

摘要

本发明属于城市交通控制领域，具体涉及了一种基于深度强化学习单路口交通信号控制方法、系统、装置，旨在解决复杂交通状况的交通信号控制效果不好的问题。本发明方法包括：建立微观交通仿真环境并定义参数，设定评判网络、交通信号生成网络；基于当前阶段以及前一阶段数据计算评判网络的训练误差并更新网络参数；基于更新后的评判网络、当前阶段以及前一阶段数据，计算更新后的评判网络训练误差，并更新评判网络、交通信号生成网络参数；采用训练好的交通信号生成网络获取交叉口信号灯下一相位时长。本发明减少了事先了解路口车流量信息的调研工作，并能够随路口车流量需求改变而及时做出调整，大大提高了复杂交通状况的交通信号控制的效果。

主权项

1.一种基于深度强化学习单路口交通信号控制方法，其特征在于，该控制方法包括：步骤S10，获取当前交叉口交通状态信息；步骤S20，基于所述当前时刻交叉口交通状态信息，采用交通信号生成网络计算交叉口信号灯下一相位时长；其中，所述交通信号生成网络基于深度强化学习方法训练，包括：步骤B10，根据获取的交叉口交通状态信息建立交叉口微观交通仿真环境；针对每个交通相位，定义深度强化学习模型的奖励、动作以及状态，设定评判网络和交通信号生成网络；步骤B20，将所述深度强化学习模型应用于所述交叉口微观交通仿真环境的路口，采用所述交通信号生成网络在设定的动作取值范围内输出动作获得交叉口信号灯下一相位时长，并获取第一预设数量的交叉口交通状态信息元组作为训练数据；步骤B30，获取当前阶段第二预设数量的交叉口交通状态信息元组并结合所述训练数据，采用所述交通信号生成网络在设定的动作取值范围内输出动作获得交叉口信号灯下一相位时长，并计算所述评判网络的训练误差值；步骤B40，更新所述评判网络的参数并重复执行步骤B30直至达到第一预设训练次数，获得第一评判网络；步骤B50，获取当前阶段第三预设数量的交叉口交通状态信息元组并结合所述第二预设数量的交叉口交通状态信息元组、所述训练数据，采用所述交通信号生成网络获得交叉口信号灯下一相位时长，并计算所述第一评判网络的训练误差值；步骤B60，更新所述第一评判网络以及交通信号生成网络的参数并重复执行步骤B50直至达到第二预设训练次数，获得训练好的交通信号生成网络。