[发明专利]一种车辆的自动驾驶方法、系统、设备及存储介质

说明书

本申请公开了一种车辆的自动驾驶方法、系统、设备及存储介质，应用于机器学习技术领域，包括：规划出参考路径并确定出用于反映车辆静态路径的静态导航信息；根据车载传感设备和路侧传感设备的检测内容，通过特征提取，得到用于反映车辆自身驾驶状态的感知状态输入量；确定出用于反映车辆与环境交互过程中的历史决策信息的关联性特征；接收路侧系统反馈的用于反映路侧传感设备的检测区域内的各车辆未来行为的行为预测信息；将静态导航信息，感知状态输入量，关联性特征以及行为预测信息作为输入量输入至深度强化学习模型，得到深度强化学习模型输出的驾驶策略并执行。应用本申请的方案，可以有效地实现车辆的自动驾驶方法，保证行车安全。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种车辆的自动驾驶方法、系统、设备及存储介质。

背景技术

近年来，自动驾驶成为学术界和工业界都非常感兴趣的研究领域。自动驾驶汽车基于车载传感设备实时获取的驾驶环境信息，通过智能化决策技术，实现在脱离人为控制的情况下自动安全行驶，能有效提高交通运行效率、减少事故发生率和能源消耗，是提升道路交通智能化水平的关键技术。

深度强化学习是一种实现自动驾驶车辆智能化决策的新范式，它试图通过平衡当前策略的效用和未知空间的探索来找到最大化预期回报的最优策略，在车辆与环境的交互过程中实现驾驶策略的自我学习。基于深度强化学习的车辆自主决策技术可描述为一个闭环优化过程，每一时刻车辆基于驾驶策略将驾驶状态s映射为相应的驾驶动作a，车辆执行驾驶动作完成状态转移，同时环境给予相应的奖励反馈r，以指导驾驶策略更新。由于深度强化学习的驾驶策略训练过程不受监督信息约束，因此具备超越人类驾驶性能的潜力。

然而，现阶段的自动驾驶车辆在全面产业化落地前仍存在一个较长过渡期，在此期间，人类驾驶汽车和自动驾驶汽车将不可避免地会同时出现在高速、城市等复杂交通场景中。针对这种混合交通流，考虑到驾驶环境的随机性以及人类驾驶行为的不确定性，车辆不仅需要对环境动态变化及时做出反应，还需要观察周围人类驾驶车辆的行为意图，以便通过交互协商来确保行驶安全性。因此，基于深度强化学习的驾驶策略在处理驾驶环境信息的同时，还要捕捉复杂的交通动态，包括预测周围车辆驾驶行为以及根据历史状态调整驾驶行为等。因此，如何确保驾驶策略在学习和执行过程中的安全性，是深度强化学习在自动驾驶领域中的一个重要研究挑战。

针对自动驾驶策略的安全性问题，现有研究分别从车端、路端和车路协同的角度提出相应的解决方法。

对于车端决策，通常针对驾驶策略的学习过程，根据特定驾驶场景或驾驶任务，采用奖励塑形或先验驱动来设计对应的安全强化学习框架。其中，奖励塑形是通过将风险整合到奖励中来直接修改驾驶策略的目标优化函数，以减少安全违规行为。先验驱动则是通过修改驾驶策略探索过程来提升驾驶安全性，可进一步分为动作掩蔽机制和安全检查器。由于这些方法依赖专家经验，缺乏理论上的安全保证，无法达到足够的安全性。另一方面，由于车端决策依赖于以车辆为第一视角的环境感知信息，不仅需要大量车端计算资源来完成感知处理，车载传感器的限制和盲点还可能导致不准确或不完整的感知数据，存在极大的安全隐患。

对于路端决策，一般会从车联网的角度出发，引入V2V(Vehicle to Vehicle，车对车)通信技术来提高自动驾驶汽车的效率和安全性，通过结合车载传感器信息和互联车辆之间的共享数据，交由路端计算中心完成车群统一协调决策，以提高交通安全性。这种方法能够可以克服车端计算资源和传感器范围限制，但在利用车辆共享数据时需要考虑通信延迟等V2V技术限制，并且要求所有车辆都配备这种互联通信能力，而在现实世界中，可能需要数十年才能使所有车辆联网，在此之前人类驾驶车辆仍将出现在道路上，无法直接控制所有车辆，因此不适用于混合交通场景。

综上所述，如何有效地实现车辆的自动驾驶方法，保证行车安全，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种车辆的自动驾驶方法、系统、设备及存储介质，以有效地实现车辆的自动驾驶方法，保证行车安全。