[发明专利]一种基于深度强化学习优先提取的汽车纵向多态控制方法

说明书

本发明公开了一种基于深度强化学习优先提取的汽车纵向多态控制方法，其步骤包括：1定义汽车行驶的状态参数集s和控制参数集a；2初始化深度强化学习参数，并构建深度神经网络；3定义深度强化学习奖励函数以及优先提取规则；4训练深度神经网络并得到最优网络模型；5获得汽车t时刻状态参数s_t并输入最优网络模型从而得到输出a_t并予汽车执行。本发明通过结合优先级提取算法以及深度强化学习的控制方法来完成汽车在纵向的多态行驶，从而使汽车在行驶过程中安全性更高，并减少交通事故的发生。

技术领域

本发明涉及智能汽车纵向多态控制技术领域，具体的说是一种基于深度强化学习优先提取的汽车纵向多态控制方法。

背景技术

随着城市经济快速发展和人民生活水平的不断提高，城市机动车保有量也大幅度增长，汽车已成为人们出门不可或缺的代步工具，带来快捷、方便的同时，也带来了一系列安全问题。由于司机技术能力有限或其他不可控外部因素等原因，道路上经常发生两车或多车碰撞等交通问题，带来生命财产安全损失的同时，也给道路通畅造成了较大困难。随着汽车相关技术的不断发展，很多车企都推出了自适应巡航系统以及紧急制动系统等。自适应巡航系统利用雷达等传感器获得前方道路数据，根据相应算法与前车保持一定车距和维持一定车速，但自适应巡航系统往往在较高车速开启，如25km/h以上，低于此速度就需要司机进行人工控制；紧急制动系统是指汽车在非自适应巡航状态下行驶，遇前方发生突发状况如前车急停或突遇行人等情况下能够主动刹车避免事故的一种技术，但存在传感器误判、环境误差等相关原因，不能适用于多种行驶环境，从而导致危险事故的发生。

发明内容

本发明为了克服上述现有技术的不足之处，提供了一种基于深度强化学习优先提取的汽车纵向多态控制方法，以期通过结合优先级提取算法以及深度强化学习的控制方法来完成汽车在纵向的多态行驶，从而使汽车在行驶过程中安全性更高，并减少交通事故的发生。

本发明为达到上述发明目的，采用如下的技术方案是：

本发明一种基于深度强化学习优先提取的汽车纵向多态控制方法的特点包括以下步骤：

步骤1：建立车辆动力学模型和车辆行驶环境模型；

步骤2：采集真实驾驶场景中汽车行驶数据并作为初始化数据，所述汽车行驶数据为车辆的初始状态信息以及车辆的初始控制参数信息；

步骤3：定义车辆的状态信息集s＝{s₀,s₁,···s_t,···,s_n}，s₀表示车辆的初始状态信息，s_t表示车辆在状态s_t-1即t-1时刻执行控制动作a_t-1之后所达到的状态，且有s_t＝{Ax_t,e_t,Ve_t}，其中，Ax_t表示在t时刻车辆的纵向加速度，e_t表示在t时刻前车车速与两车相对距离的差值，Ve_t表示在t时刻自身车速与前车车速的差值；

定义车辆的控制参数集a＝{a₀,a₁,···,a_t,···,a_n}，a₀表示车辆的初始控制参数信息，a_t表示车辆在状态s_t即t时刻车辆所执行的动作，且有a_t＝{T_t,B_t}，其中，T_t表示在车辆在t时刻的节气门开度，B_t表示车辆在t时刻的主缸压力，t＝1,2,···,c，c表示训练总时长；

步骤4：初始化参数，包括时刻t，贪婪概率ε-greedy，经验池大小ms，目标网络更新频率rt，优先提取数据条数bs，奖励衰减因子γ；