[发明专利]一种基于深度强化学习的自适应巡航控制方法以及系统

说明书

本发明提供一种基于深度强化学习的自适应巡航控制方法以及系统；基于BP神经网络建立的驾驶人跟车风格辨识模块；基于深度强化学习建立的ACC控制模型；ACC控制模型包括策略模块、深度Q网络模块；将驾驶人跟车行为分为三类跟车风格然后打标签；跟车风格辨识模利用BP神经网络训练得到驾驶人跟车风格分类模型，基于驾驶人跟车风格分类模型输出驾驶人的跟车风格；所述策略模块建立Q值网络，通过Q值网络根据获取的实时跟车行为的有效特征性能数据，输出调整车辆的期望加速度；实现更接近驾驶人员个性化的自适应巡航控制方法且安全性、跟随性、舒适性、经济性高。

技术领域

本发明涉及一种巡航控制方法技术领域，更具体的说，尤其涉及一种基于深度强化学习的自适应巡航控制方法以及系统。

背景技术

现在自适应巡航控制(Adaptive Cruise Control，缩写为ACC)在社会中使用越来越多，自适应巡航控制系统可以有效减轻驾驶人的操作负担，优化操作精度，进而提高驾驶的舒适性和安全性。随着车辆智能化水平的提高，设计个性化的ACC系统，成为了当前研究的重点；

如何实现个性化的ACC系统，成为本领域的技术难题。

发明内容

为了解决上述技术问题，本发明提供一种基于深度强化学习的自适应巡航控制方法以及系统，通过基于BP神经网络建立的辨识模块；基于深度强化学习建立ACC控制模型；实现更接近驾驶人员的个性化基于深度强化学习的自适应巡航控制方法且安全性、跟随性、舒适性、经济性高。

本发明一个方面提供了一种基于深度强化学习的自适应巡航控制方法，所述方法包括：

预设包括跟车行为的特征性能数据的跟车行为数据库；从跟车行为数据库中获取m个跟车行为的特征性能数据并进行预处理，得到m个跟车行为的有效特征性能数据；

基于所述m个跟车行为的部分有效特征性能数据，通过因子分析法进行处理，得到m个跟车行为对应的7项聚类分析数据；

基于m个跟车行为对应的7项聚类分析数据，通过K-means算法进行聚类，得到三类跟车行为，并分别对聚类后的三类跟车行为打上表征跟车风格的标签；

对聚类后的三类跟车行为的有效特征性能数据进行处理，得到三类跟车风格的跟车行为的期望车头间距偏离度k_d的期望区间和临界区间、三类跟车风格的跟车行为的期望跟车速度偏离度k_v的期望区间和临界区间；

基于BP神经网络建立跟车风格辨识模块，通过所述跟车风格辨识模块，基于打标签后的跟车行为，利用BP神经网络训练得到驾驶人跟车风格分类模型；

获取车辆行驶过程中实时的车辆跟车行为对应的7项聚类分析数据，通过跟车风格辨识模块，基于驾驶人跟车风格分类模型，输出驾驶人的跟车风格；

优选的，辨识模块实时获取车辆行驶过程中的7项聚类分析数据，基于驾驶人跟车风格分类模型，输出车辆行驶过程中跟车风格进行，具体过程为：

实时获取车辆行驶过程中的实时跟车行为的特征性能数据并进行处理，获得实时跟车行为对应的7项聚类分析数据；

优选的，采用因子分析法对实时跟车行为的有效特征性能数据的统计特征处理提取实时跟车行为的有效特征性能数据的前7项公共因子以及实时跟车行为的有效特征性能数据的前7项公共因子中各统计特征对应的统计特征系数；将实时跟车行为的有效特征性能数据对应的统计特征信息与实时跟车行为的有效特征性能数据对应的公共因子中的统计特征系数相乘得到的各数据进行求和得到每个跟车行为的的7项聚类分析数据；

优选的，驾驶人跟车风格分类模型隐含层的层数为2层，每层的节点数为10个，神经网络的激活函数选用sigmoid函数，优化器选用Adam参数优化，损失函数设定为交叉熵损失函数，学习率设定为0.01；