[发明专利]一种融合Q算法和模糊化状态划分的自适应巡航决策方法

说明书

本发明提供一种融合Q算法和模糊化状态划分的自适应巡航决策方法，包括以下步骤：步骤1，建立离散化的状态变量模型；步骤2，建立模糊化变量模型；步骤3，初始化Q矩阵中的值，并设定学习率α，衰减率γ和奖励值r；步骤4，计算适应度μsubgt;i/subgt;(s)，并选取具有最大适应度μsubgt;k/subgt;(s)的状态；步骤5，选择待执行的动作b；步骤6，执行动作b得到下一时刻状态s′和奖励值r；步骤7，计算置信度ωsubgt;j/subgt;并更新Q值；步骤8，将离散动作连续化；步骤9，判断是否满足自适应巡航任务的停止条件，若满足则自适应巡航任务截止，若不满足则再次进入计算适应度步骤。本发明的方法解决了传统算法因训练样本不足、采集不均衡导致效果不佳以及因矩阵的存储空间有限而无法实施的问题。

技术领域

本发明涉及无人车控制技术领域，具体涉及一种融合Q算法和模糊化状态划分的自适应巡航决策方法。

背景技术

近年来人工智能系统越来越受到关注，并得到了广泛的应用。人工智能是融合了多种科学门类的新技术，与大量技术领域有着交互。目前随着芯片技术、计算机大数据技术、电池技术的高速发展，人工智能技术也得到了迅速提高，与它相关的产品和概念也逐渐融入到社会的各个领域。自动驾驶领域也不可避免的引入了人工智能的概念。在自动驾驶领域内的智能自适应巡航系统不仅能降低驾驶员的操作复杂度，也能更高效精准的完成驾驶任务，而这就要求具备较强的人工智能决策能力。

很多学者对自适应巡航技术开展了大量的研究工作。例如，王泽宝以PID控制算法为基础，基于两车之间相对速度的可变车头间距策略，分析了其稳定性，并据此设计了一种增量PID控制算法。刘道旭东也在PID控制算法框架下考虑了人脑的多元信息处理能力和强大的学习能力，将其与人工神经网络进行整合，提升车辆上层控制器的灵敏性和高效性，在诸多场景中体现出了良好的效果。陈峥峰和陈林林等人研究了PID控制策略，针对车辆的支流点击的机械特性进行了性能提升和优化，利用单片机产生PWM控制车辆电机，通过仿真实验证明这个策略控制效果良好。

但是上述算法因缺少人工智能技术而缺乏自动推理及泛化能力，并且传统机器学习算法的训练效果强烈依赖训练样本，常常因为训练样本的数量不足、采集不均衡导致效果不佳。

此外，传统Q-learning算法中以矩阵的形式来存储状态-行为值，在实际场景中，此存储形式在很多情况下是不可行的，因为复杂场景中的状态量太大，矩阵的存储空间有限。

发明内容

为解决传统算法的训练效果依赖训练样本，常常因为训练样本的数量不足、采集不均衡导致效果不佳的问题，以及传统算法因为复杂场景中的状态量太大，矩阵的存储空间有限而无法实施的问题，本发明的目的在于提供一种融合Q-learning和模糊化状态划分的自适应巡航决策方法。

该方法可以对智能体的“大脑”进行训练，车辆可以在多种场景中进行试错，自动的产生大量有效数据，节省了大量的时间成本和人力成本，达到极强的扩充神经网络训练样本的效果，从而得到足够的经验知识，通过不同状态下得到的奖励值，学习到哪些决策是好的哪些决策是不好的，该算法为传统的机器学习算法补充了大量数据，弥补了短板。

另外，本发明融合了模糊数学算法对状态和动作空间进行维度压缩，极大的节省了算法所需要的空间复杂度，提升了训练速度。

为实现上述目的，本发明的技术方案如下。

一种融合Q算法和模糊化状态划分的自适应巡航决策方法，包括以下步骤：

步骤1，建立离散化的状态变量模型；

步骤2，建立状态和动作的模糊化变量模型；

步骤3，根据步骤2建立的模糊化变量模型，初始化Q矩阵中的值，并设定学习率α，衰减率γ和奖励值r；

其中，其中，a为加速度，s为二维状态量；