[发明专利]交通信号调节方法、系统及介质

说明书

本发明提供了一种交通信号调节方法，包括：初始化步骤：初始化设置基本要素；智能体状态函数构造步骤：构造智能体的状态计算；智能体行为函数构造步骤：构造智能体的行为计算；智能体奖励函数构造步骤：构造智能体的奖励计算；网络结构构造步骤：构造算法的网络结构；行为更新步骤：更新行为策略；预测结果计算步骤：得到交通信号的预测结果。本发明对多交叉路口情况进行研究，更为精准；利于缓解交通压力。

技术领域

本发明涉及计算机软件和交通领域，具体地，涉及一种交通信号调节方法、系统及介质。尤其地，涉及一种基于强化学习和最大交通压力控制理论的交通信号调节方法。

背景技术

道路交叉路口的信号灯协调控制是影响道路交通效率的重要因素之一，所以一个高效的道路交叉路口信号灯控制算法是至关重要的。

近期，越来越多的研究者们开始研究用强化学习算法来实现交通信号灯的控制。已有相关研究成果表明，在交通信号控制方面，经过高级设计的强化学习方法的表现要优于传统方法。强化学习方法最大的优势是，它是直接通过之前行为策略在环境下的反馈来学习如何采取下一步行为。

目前，对于应用强化学习算法来实现交通信号控制，存在的一个主要问题是，其算法过程往往是启发式的，并且缺乏合适的交通控制方面的理论依据。这往往导致其表现非常敏感，而且学习过程非常耗时。对于这个问题，本发明主要从强化学习中智能体的奖励和状态的构造上来实现其优化。

首先，目前有多种方法可以实现智能体奖励的构造，其难点在于，通行时间是比较难直接优化的目标。通行时间是一个基于一序列行为才能得到的一个长期奖励，属于长期优化目标，所以一个行为的效果一个行为的好坏很难在短时间内评判。为了解决这个问题，有研究者通过选择短期优化目标如序列长度或者延时时间来近似代替通行时间。所以奖励函数常被构造成这些项的加权求和。然而，微调这些项的权重会导致最后通行时间的巨大差异。一些研究讨论了如何在考虑现有交通方法的基础上定义奖励函数，但是这些研究都是主要研究单个交通交叉路口的情况，并没有对多交叉路口情况进行研究。

另外，现有的强化学习方法有一个趋势，就是利用越来越复杂的状态表示。近期的研究表明，利用可视化图像来描述道路交叉路口在全交通情况下的状态，其维度会达到上千的规模。在单个道路交叉路口情况下，目前的研究结果表明，增加额外的训练信息是有助于提升预测表现的。对于多道路交叉路口而言，也有相同的结论。但值得注意的是，状态函数定义的越复杂会增加学习时间，但并不一定就会带来明显的预测表现上的提升。状态函数的定义依赖奖励函数的设置。从奖励函数的设置上来看，相邻信息并不是特别必要。所以，问题在于，我们能够从理论上确定使用多少信息来优化状态函数的构造。

强化学习在交通信号控制领域面临的挑战，使众多研究者开始从交通专业的理论基础中寻求启发。从交通领域的论文中可以看出，最大交通压力控制的理论是目前交通控制方面最新最有效的理论方法。其关键在于降低道路交叉路口的压力，关于交叉路口的压力可以很容易被定义为流入车辆数减去流出车辆数。当将降低交叉路口的压力作为目标函数，那么最大交通压力控制理论的作用就是最大化整个道路网络的流量。然而，最大交通压力控制理论属于贪婪算法，其会导致获得局部最优解。

在本发明中，我们基于强化学习和最大交通压力控制理论来实现交通信号的调节。在强化学习中，长期奖励是优化目标，其求解方法属于试错搜索。在最大交通压力控制理论中，目标是降低交通压力其求解方法属于贪婪算法。所以，如果将奖励函数按照最大交通压力理论的目标来设置，那么就会得到与最大交通压力理论相同的结果。

综上所述，虽然众多研究人员将强化学习在交通信号控制领域进行了研究性探索，并取得了一定的成绩。但在交通信号控制方面，目前还没有将强化学习与最大交通压力理论结合在一起，来解决交通信号控制这一具有挑战且对人们日常生活具有重要影响的问题。