[发明专利]一种自动驾驶多车智能协同的区域交通流导引方法

说明书

本发明公开一种自动驾驶多车智能协同的区域交通引导方法，应用于智能车联网领域，针对传统路径规划算法的短视性，以及其忽略通信资源约束的问题；本发明提出了一种具有自演进功能的多智能体深度确定性策略梯度模型，能够对路网数据进行集中式训练，分布式执行，即每辆自动驾驶车辆可以有不同的奖励结构，并依据自己的局部信息进行决策，一定程度上避免了策略的冲突引发的策略性拥塞；区域服务器对区域内的车辆建立数字孪生进行路况推演，并对车辆产生周期性反馈；本发明通过数字孪生迭代车辆策略，精准推测多车作用下未来交通状况，作为输入反馈给车辆用以分布式决策；本发明在考虑个人出行安全与时间约束前提下，使系统内多车出行效率显著提升。

技术领域

本发明属于智能车联网领域，具体涉及一种多车智能协同区域交通流导引技术。

背景技术

有效的路径规划对于提高运输效率起到关键性作用。如果没有全面的实时交通信息，驾驶员只能根据自己有限的视野做出路线决定，这些短期和非协同的路线选择不可避免地会造成规划路线上的大量冲突，降低道路网络的资源利用效率。近年来，车辆感测，计算和通信能力的不断提高为改善城市交通提供了机会。具体来说，启用5G的车载自组织网络(5G-VANET)有助于在车辆和基础设施之间交换实时交通信息。此外，云计算和边缘计算范式可协助车辆进行复杂的信息处理(例如，数据融合和交通预测)和实时决策能力。结合这些最先进的技术，大数据和机器学习在减少交通拥堵，改善道路安全和提高驾驶舒适性方面发挥着越来越重要的作用。

自动驾驶车辆能够更加迅速且精准的感知周边环境，从而对潜在的威胁做出反应，同时驾驶员无需操纵车辆，从而节约人力成本，因此，自动驾驶正以迅猛之势发展。再结合智能车联网技术，未来交通将会呈现出多车协同自动驾驶与人工驾驶并存的新模式。该模式下的路网除了要支持基础的交通功能，还需要具备车辆网络通信能力来保障智能汽车行驶安全。所以面对未来自动驾驶的路径规划，不仅需要考虑车辆密度、行驶速度、道路拥塞等常规路网状态，还需要将道路通信带宽以及区域内其余车辆的行为等因素纳入考虑。因此设计同时考虑交通与通信资源来避免未来交通拥堵的多车在线路径规划策略对提高交通路网运输效率至关重要。

目前已有研究中，已出现许多交通流导引方法，较为经典的方法为用户最优和系统最优两种，往往满足其中一者，就需要牺牲另一者的利益。在IET Intell.Transp.Syst.,2019,Vol.13Iss.12,pp.1851-1859中提出一种强制节点的交通流导引方法，类似于计算机网络中的路由算法，用以均衡用户和系统的利益。但在大多数情况下，这些规划策略并没有考虑到未来道路拥堵或出行安全会受到通信资源的约束，当通信资源不足时可能导致车辆在规划道路上产生通信延迟高难以保障诸如感知、控制、安全等车联网业务需求，形成安全隐患，同时会导致车辆为保证安全降低速度进而引发拥塞。另一方面，传统路径规划算法普遍存在仅根据当前交通状况提供最快/最短路径，这些看似最优的路线可能吸引大量的车辆，存在短视性问题，使得规划后的路线变得极度拥挤。

数字孪生最初是为了通过虚拟和学习网络空间物理空间的数据来实现智能制造而设计的。数字孪生现在是物联网里面的一个概念，通过集成物理反馈数据，辅以人工智能、机器学习和软件分析，在信息化平台内建立一个数字化模拟。这个模拟会根据反馈，随着物理实体的变化而自动做出相应的变化。理想状态下，数字孪生可以根据多重的反馈源数据进行自我学习，几乎实时地在数字世界里呈现物理实体的真实状况。

多智能体深度确定性策略梯度模型是深度确定性策略模型的一个改进，是由OpenAI2017发表在NIPS上的文章《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》所提出的。该模型由多个深度确定性策略模型所构成，其最核心的部分就是每个智能体采用单独的神经网络，分别构建策略网络和评价网络，每个智能体的评价网络能够获取其余所有智能体的动作信息，进行中心化训练和非中心化执行，即在训练的时候，引入可以观察全局的评价网络来指导策略网络训练，而测试的时候只使用有局部观测的评价网络采取行动。目前，该模型尚未在智能交通流导引中得到应用。

发明内容