[发明专利]一种交通信号控制方法、装置、电子设备及存储介质

说明书

本公开提供了一种交通信号控制方法、装置、电子设备及存储介质，其中，该方法包括：获取目标路口的车流状态信息及至少一个相邻路口的车流状态信息，并获取针对目标路口对应的预训练的强化学习网络；基于目标路口的车流状态信息、至少一个相邻路口的车流状态信息以及强化学习网络，确定针对目标路口的交通信号控制信息；其中，交通信号控制信息用于控制目标路口的交通灯，按照强化学习网络输出的相位组合策略执行信号切换动作。本公开针对目标路口对应的相位组合策略是结合目标路网中有关目标路口的相邻路口的车流状态信息共同确定的，信号调控能力更强，从而便于进行实际道路的部署。

技术领域

本公开涉及交通信号控制技术领域，具体而言，涉及一种交通信号控制方法、装置、电子设备及存储介质。

背景技术

随着城市的不断发展，车辆的不断增多，交通拥堵已成为现代社会最令人头痛的一件事，交通管理工作越来越受到关注。交通信号控制问题是解决交通拥堵，优化交通运输效率的重要研究方向。目前，交通控制是通过路口的红绿信号灯来实现的。

在目前阶段，大型城市道路网络(简称“路网”)的交通信号控制主要采用传统控制方法实现，包括固定时间交通灯控制计划，即预先设定每种信号相位的时间周期，并通过设定的时间周期控制路口设置的红绿信号灯。除此之外，工程师还可以基于路口检测到的车流长度手动地调整不同信号相位的时间长度和比例，以更好的改善交通拥堵的问题。

然而，上述控制方法在复杂车流情况中调整能力较弱，对于改善交通状况的作用非常有限，且工程师的手动调整方式也存在一定的不便之处。

发明内容

本公开实施例至少提供一种交通信号控制方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种交通信号控制方法，包括：

获取目标路口的车流状态信息及至少一个相邻路口的车流状态信息，并获取针对所述目标路口对应的预训练的强化学习网络；

基于所述目标路口的车流状态信息、所述至少一个相邻路口的车流状态信息以及所述强化学习网络，确定针对所述目标路口的交通信号控制信息；

其中，所述交通信号控制信息用于控制所述目标路口的交通灯，按照所述强化学习网络输出的相位组合策略执行信号切换动作。

采用上述交通信号控制方法，在获取到目标路口及其至少一个相邻路口的车流状态信息以及针对目标路口对应的预训练的强化学习网络的情况下，可以结合强化学习网络对目标路口的车流状态信息进行分析以确定该路口对应的相位组合策略，也即，本公开针对目标路口对应的相位组合策略是基于目标路网中包括的其它相邻路口的车流状态信息共同来确定的，信号调控能力更强，从而便于进行实际道路的部署。

在一种可能的实施方式中，所述基于所述目标路口的车流状态信息、所述至少一个相邻路口的车流状态信息以及所述强化学习网络，确定针对所述目标路口的交通信号控制信息，包括：

将所述目标路口的车流状态信息以及所述相邻路口的车流状态信息输入所述强化学习网络进行动作预测，确定对所述目标路口的交通灯进行信号切换动作控制的相位组合策略；所述相位组合策略用于指示对应目标路口的交通信号控制信息。

这里，针对目标路口可以是基于该路口及其相邻路口的车流状态信息而实现的动作预测，这可以使得各路口之间的调控更为顺滑，提升整体路网的调控能力。

在一种可能的实施方式中，在所述目标路口属于目标路网的任一路口的情况下，在确定针对所述目标路口的交通信号控制信息之后，所述方法还包括：

基于所述目标路网包括的各个路口分别对应的当前车流状态信息确定针对所述目标路网的状态奖励值；

基于所述状态奖励值以及所述各个路口在当前相位组合策略下的回报奖励值，对所述目标路口对应的强化学习网络进行调整；