[发明专利]适用于环岛场景的无人驾驶控制系统和控制方法

说明书

本发明公开了适用于环岛场景的无人驾驶控制系统和控制方法，所述控制系统的感知认知模块，用于获得当前车辆以及环境车辆行驶状态信息，并进行信号处理；所述驾驶控制模块，用于学习合适的决策参数值；所述轨迹控制模块，用于得到优化规划后的可行轨迹；其属于自动驾驶技术领域，其涉及的是基于强化学习方法进行驾驶决策方法进行设计，对强化学习的状态和动作依据驾驶决策特性进行特殊的设计，优化了强化学习Actor‑Critic框架的Actor的网络框架，使得该决策方法可更好适用于环岛无人驾驶场景驾驶决策。

技术领域

本发明涉及无人驾驶技术领域，尤其涉及适用于环岛场景的无人驾驶控制系统和控制方法。

背景技术

强化学习方法因其交互式的学习方式，被越来越多的应用于无人驾驶车辆的驾驶决策中。研究的适用场景由路况相对简单的高速公路到相对复杂的环岛场景扩展。对于环岛场景，驾驶任务相对复杂，智能车辆需要同时考虑多种因素，去进行更加精细的驾驶决策。内侧车道的驾驶距离更短，具有更高的通行效率，而车辆仅能从最外侧车道驶入或驶出。因此，车辆的驾驶策略需要在环岛内的不同路段，考虑不同的决策策略，在高通行效率与完成驶入驶出驾驶任务之间达到平衡。基于以上实际问题的需求，对于环岛场景下的驾驶决策问题，在使用强化学习算法时，需要对状态和动作依据驾驶决策特性进行特殊的设计，优化了强化学习Actor-Critic框架的Actor的网络框架，使得该决策方法可更好适用于环岛无人驾驶场景驾驶决策问题。

发明内容

本发明提出适用于环岛场景的无人驾驶控制系统和控制方法，该方法针对环岛驾驶场景的驾驶需求对强化状态和动作依据驾驶决策特性进行特殊的设计，并优化了强化学习Actor-Critic框架的Actor的网络框架，使得该决策方法可更好适用于环岛无人驾驶场景驾驶决策问题。

本发明一方面提供适用于环岛场景的无人驾驶控制系统，包括感知认知模块、驾驶控制模块和轨迹控制模块；

所述感知认知模块，用于获得当前车辆以及环境车辆行驶状态信息，并进行信号处理；

所述驾驶控制模块，用于学习合适的决策参数值；

所述轨迹控制模块，用于得到优化规划后的可行轨迹。

本发明另一方面提供一种适用于环岛场景的无人驾驶控制方法，其通过如本发明一个方面所述的适用于环岛场景的无人驾驶控制系统实现，包括以下步骤，

步骤一，马尔科夫驾驶决策过程状态与动作设计；

驾驶决策基于强化学习方法建模为马尔科夫决策过程，包含表征影响智能体驾驶决策因素的状态向量S、可增强智能体决策智能的精细化决策的动作向量A的设计；

步骤二，Actor的网络框架设计；

在强化学习Actor-Critic框架中，Actor依据状态向量选择动作，即表征驾驶决策；状态向量包含环境表征和任务表征两部分；通过Actor的网络框架的重设计，使得状态向量在不同阶段具有不同的策略，达到平衡环境表征和任务表征不同维数，使得智能车辆在环岛中行驶时可以准确的识别不同情况的驾驶环境并准确完成驾驶任务；

步骤三，回报函数设计；

智能体在环境中依据状态向量S选择动作A，得到回报信号，并依据回报信号对策略进行更新。

本发明的适用于环岛场景的无人驾驶控制方法，进一步的，步骤一的马尔科夫驾驶决策过程状态与动作设计中，包括以下步骤，

第一步，状态变量设计；

状态变量在强化学习算法中用于动作选择以及值函数估计，包括本车与周车相对状态相关的环境表征(ER)、以及与本车驾驶任务相关的任务表征(TR)两部分的状态变量设计，环境表征用于智能体完成安全决策，任务表征用于智能体完成驾驶任务；

第二步，动作变量设计；