[发明专利]一种交通信号灯控制方法、装置及计算机可读存储介质

说明书

本发明涉及一种交通信号灯控制方法、装置及计算机可读存储介质，所述方法包括以下步骤：获取车辆位置、车辆速度、车辆转向灯色及信号灯色，根据所述车辆位置、车辆速度、车辆转向灯色及信号灯色确定状态矩阵；确定动作要素及奖励要素，构建深度神经网络，根据所述状态矩阵、动作要素及奖励要素对所述深度神经网络进行训练，得到基于信号灯动作的深度神经网络模型；重新获取车辆位置、车辆速度、车辆转向灯色及信号灯色，根据所述基于信号灯动作的深度神经网络模型，获取当前信号灯最优动作，根据所述信号灯最优动作控制信号灯，提高了交通信号灯控制的有效性和效率。

技术领域

本发明涉及信号灯控制技术领域，尤其涉及一种交通信号灯控制方法、装置及计算机可读存储介质。

背景技术

快速的城市化导致私家车保有量持续增加，路网压力增大，随之而来的交通拥堵已是限制我国各大城市发展面临的公共问题。交叉口作为城市道路交通流汇聚和疏散必经之处，其控制方式的管理成了治理交通问题的重点。在现有路网资源下，如何通过提高对城市路网的智能管理水平来提高路网运行效率，是当下交通信号控制需要解决的关键问题。

人工建模依赖大量专家规则，其策略常伴有局限性，难以满足动态调整的要求。强化学习具有无模型、从真实环境状态中在线学习等优势，能在有限的感知条件下学习拟合出高效的决策，并有广泛的环境适应性，很好地契合了交通的动态特性。人工智能方法中的强化学习算法能够得到良好的学习效果，但是也面临着一些问题，1)现有的强化学习交通信号控制模型大多集中在对基于值函数的方法研究，然而强化学习是基于不确定性马尔科夫环境的，后续动作的奖励遵循一个概率分布，相同的动作值函数背后代表的分布可能是不同的，因此用Q值代替拟合奖励实际上是不准确的，造成了部分信息丢失，使模型难以找到最优策略，2)状态空间通常取整个交叉口，导致状态矩阵较大、训练速度慢；同时未考虑实际交叉口进口道变道问题，笼统获取较大长度范围内的车辆信息不够准确，3)动作设计为每一步中随机选择一个相位，而不考虑其顺序，不符合交通规则中信号灯色是按照顺序变化的规则；同时跳跃式的灯色变化会让司机感到困惑，导致不能提前为下一相位做准备；这些使得交通信号灯控制的有效性和效率较差。

发明内容

有鉴于此，有必要提供一种交通信号灯控制方法、装置及计算机可读存储介质，用以解决现有交通信号控制的有效性和高效性较差的问题。

本发明提供一种交通信号灯控制方法，包括以下步骤：

获取车辆位置、车辆速度、车辆转向灯色及信号灯色，根据所述车辆位置、车辆速度、车辆转向灯色及信号灯色确定状态矩阵；

确定动作要素及奖励要素，构建深度神经网络，根据所述状态矩阵、动作要素及奖励要素对所述深度神经网络进行训练，得到基于信号灯动作的深度神经网络模型；

重新获取车辆位置、车辆速度、车辆转向灯色及信号灯色，根据所述基于信号灯动作的深度神经网络模型，获取当前信号灯最优动作，根据所述信号灯最优动作控制信号灯。

进一步地，所述状态矩阵包括可变道区中车辆位置、车辆速度和信号灯色三个矩阵以及不可变道区中车辆位置、车辆速度和车辆转向灯色三个矩阵的堆叠。

进一步地，所述动作要素为信号灯下一相位是否改变，所述奖励要素为所有进口道上排队车辆的总和与所有出口道上排队车辆总和之差的负值。

进一步地，所述构建深度神经网络具体包括，根据值分布强化学习算法构建深度神经网络，所述深度神经网络的输入为状态矩阵，将所述状态矩阵输入至深度神经网络后，经过两层卷积神经网络提取状态特征，通过激活函数激活，经过全连接层，再次经过激活函数后，经回归输出与动作对应的原子概率。

进一步地，所述根据所述状态矩阵、动作要素及奖励要素对所述深度神经网络进行训练，具体包括：