[发明专利]一种基于生成对抗模仿学习的车辆个性化跟驰控制方法

说明书

本发明提供一种基于生成对抗模仿学习的车辆个性化跟驰控制方法，包括以下步骤：建立模拟跟车仿真环境，模拟跟车仿真环境包括道路模型、主车和前车；在模拟跟车仿真环境中设置前车不同的速度曲线；据前车不同的速度曲线在模拟跟车仿真环境中进行模拟驾驶跟驰试验，采集主车和前车的驾驶数据得到连续跟驰片段，选取多个连续跟驰片段建立驾驶员跟驰数据集；使用生成对抗网络模仿强化学习方法，根据驾驶员跟驰数据集构建车辆个性化跟驰控制模型；使用车辆个性化跟驰控制模型对车辆进行个性化跟驰控制。本发明可以解决现有的基于深度强化学习的跟驰控制技术中，通过制定奖励函数无法客观、全面反映驾驶员驾驶习惯的技术问题。

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种基于生成对抗模仿学习的车辆个性化跟驰控制方法。

背景技术

在自动驾驶技术的发展过程中，从最初的定速巡航，到自适应巡航，再到最终的完全自动驾驶，车辆自主跟驰控制一直是车辆主动安全技术和车辆自动驾驶技术的关键技术之一。

现有自主跟驰控制技术主要分为两大类型：基于模型的(model-based)控制和基于数据(Data-driven)的控制。其中，基于模型的跟驰控制方法通过建立车辆运动学/动力学模型，描述车辆纵向运动的碰撞风险，并结合跟车过程中的跟驰效率、乘员舒适性等指标，采用约束优化方法对车辆纵向加速度进行控制。得益于芯片算力，仿真技术和AI技术的快速发展，深度强化学习技术为自动驾驶控制策略提供了全新的思路，其通过设置奖励函数，利用智能体与仿真环境不断交互试错，优化控制策略，不仅可以减少系统动力学建模和调参的成本，还可以通过在奖励函数中添加驾驶习性指标，通过对驾驶员实际驾驶数据的学习，使得跟驰控制更符合不同驾驶员的驾驶习惯。

但是在目前，奖励函数的制定一般仍基于主观对跟驰系统性能的评判，难以客观、全面地反应系统状态空间和输出的隐性关系，使得基于传统深度强化学习的跟驰控制，在个性化和宜人性方面还存在一定的局限。

发明内容

针对现有技术存在的不足，本发明提出一种基于生成对抗模仿学习的车辆个性化跟驰控制方法，以解决现有的基于深度强化学习的跟驰控制技术中，通过制定奖励函数无法客观、全面反映驾驶员驾驶习惯的技术问题。

本发明采用的技术方案是，一种基于生成对抗模仿学习的车辆个性化跟驰控制方法，包括以下步骤：

建立模拟跟车仿真环境，模拟跟车仿真环境包括道路模型、主车和前车；

在模拟跟车仿真环境中设置前车不同的速度曲线；

据前车不同的速度曲线在模拟跟车仿真环境中进行模拟驾驶跟驰试验，采集主车和前车的驾驶数据得到连续跟驰片段，选取多个连续跟驰片段建立驾驶员跟驰数据集；

使用生成对抗网络模仿强化学习方法，根据驾驶员跟驰数据集构建车辆个性化跟驰控制模型；

使用车辆个性化跟驰控制模型对车辆进行个性化跟驰控制。

进一步的，建立模拟跟车仿真环境包括：

采用自动驾驶仿真平台搭建模拟跟车仿真环境；

对于主车采用车辆动力学仿真软件进行主车动力学建模；

采用随机交通流模型描述周围车辆运动情况。

进一步的，前车不同的速度曲线包括：前车匀速行驶、减速行驶、紧急制动、随机变速行驶。

进一步的，跟驰状态包括：主车与前车的相对距离d，主车与前车的相对速度v_r，主车车速v_h，动作为主车纵向加速度a_h。

进一步的，构建车辆个性化跟驰控制模型包括：

以主车与前车的相对距离、相对速度、主车车速作为输入，以主车纵向加速度作为输出，建立策略生成神经网络；