[发明专利]一种交叉口信号配时控制优化的方法和装置

说明书

本发明公开了一种交叉口信号配时控制优化的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取状态‑动作‑奖励样本集，状态‑动作‑奖励样本集包括至少一个交叉口的状态‑动作‑奖励子样本集；基于神经网络和状态‑动作‑奖励样本集，训练得到交通状态模拟器；基于强化学习和状态‑动作‑奖励样本集、交通状态模拟器，训练得到信号配时控制模型。本发明实施例能够基于神经网络模型和状态‑动作‑奖励样本集训练得到交通状态模拟器，并且基于该交通模拟器和强化学习，训练得到信号配时控制模型。解决了现有技术中由于收集或假设多个交通参数，导致模拟出的数据与实际交通状况脱节失准的问题，并且提高了普适性和灵活性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种交叉口信号配时控制优化的方法和装置。

背景技术

随着城市化进程的不断推进，以及汽车保有量的不断上升，交通拥堵已成为困扰各大城市的一大通病。除了因为路网中车流量过大造成的拥堵以外，交叉口信号灯不合理的配时也会造成额外路口通过时间延迟，导致不必要拥堵的产生。

现有技术中，一些交叉口的信号配时采用定时控制机制，即交叉口的交通信号控制机按预设的几个配时方案运行，在某一时间段内采用某一个固定的配时方案，其中，信号配时为交叉口各方向红、黄、绿灯时间的配比。这种控制机制因为在任意时间段内使用静态的配时方案，所以无法对在时间上具有高度可变性的道路交通流进行优化调控。另一方面，制定一套信号配时方案也需要针对每一个交叉口进行交通调查与信息收集，非常耗费人力、物力，从而导致用传统交通工程的方法难以对全城大量的交通信号灯做短时段精细化的信号配时优化。

目前交通信号控制优化方法主要包括：传统交通工程领域信号控制优化方法和基于交通仿真模拟器和强化学习的信号控制优化方法。其中，传统交通工程领域的信号控制优化方法主要依赖大量实践中统计的工程经验，通过实地收集或假设一系列交通参数(例如交叉口几何结构，车辆、行人通行速度与时间，各方向车流量、绿信比等)，使用经验公式计算优化的信号灯配时方案。基于交通仿真模拟器和强化学习的信号控制优化方法，是使用传统微观交通仿真模拟器以及强化学习的方法对信号控制进行模拟优化。传统微观交通仿真模拟器主要基于交通流理论中的跟驰模型(car-following model)，对车辆的行驶行为，以及相邻车辆间的跟驰行为进行仿真模拟。微观交通仿真模拟器主要用于模拟不同交通流、信号灯配时参数下的交叉口交通状况，模拟生成的数据被用在强化学习算法之中，通过反复的迭代以寻找最优的信号灯配时策略。

发明内容

有鉴于此，本发明实施例提供一种交叉口信号配时控制优化的方法和装置，能够基于网络模型和状态-动作-奖励样本集训练得到交通状态模拟器，并且基于该交通模拟器和强化学习，训练得到信号配时控制模型。解决了现有技术中由于收集或假设多个交通参数，导致模拟出的数据与实际交通状况脱节失准的问题，并且提高了普适性和灵活性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种交叉口信号配时控制优化的方法。

本发明实施例的交叉口信号配时控制优化的方法包括：获取状态-动作-奖励样本集，所述状态-动作-奖励样本集包括至少一个交叉口的状态-动作-奖励子样本集；基于神经网络和所述状态-动作-奖励样本集，训练得到交通状态模拟器；基于强化学习和所述状态-动作-奖励样本集、交通状态模拟器，训练得到信号配时控制模型。

可选地，基于神经网络和所述状态-动作-奖励样本集，训练得到交通状态模拟器的步骤包括：对于每个交叉口的状态-动作-奖励子样本集，基于神经网络对其进行训练，以得到单交叉口交通状态模拟器；根据所述单交叉口交通状态模拟器和所述状态-动作-奖励样本集，训练得到多交叉口交通状态模拟器。