[发明专利]基于监督式DQN算法的自动驾驶汽车转向控制方法

说明书

本发明涉及一种基于监督式DQN算法的自动驾驶汽车转向控制方法，属于自动驾驶汽车领域。该方法包括：S1：获取周边车辆状态信息；S2：建立汽车运动学模型；S3：利用DQN算法构建自动驾驶汽车转向控制模型对车辆的转向角进行控制，并优化Q网络的损失函数，利用MOBIL算法构建转向角监督信号，对DQN算法的训练进行引导和优化。本发明提升了DQN算法的训练效率。

技术领域

本发明属于自动驾驶汽车领域，涉及一种基于监督式DQN算法的自动驾驶汽车转向控制方法。

背景技术

在汽车驾驶过程中，存在驾驶员疲劳、情绪波动、操作不当等人为因素的影响，交通事故的预测和预防存在较大困难，而汽车自动驾驶技术的出现和发展为这一问题提供了新的解决思路。

传统自动驾驶技术采用分层结构，各层职能清晰，算法可解释性强，但分层结构需要对多种传统算法进行大量手动调参，且应对复杂交通环境自适应能力弱，鲁棒性欠佳。AI技术与硬件性能的发展为自动驾驶提供了全新的思路，其中深度强化学习的出现催生出端到端的自动驾驶结构。深度强化学习将深度学习的表征能力和强化学习的试错机制完美结合，通过对智能体策略不断训练优化来获得更优的期望奖励，基于深度强化学习的端到端结构可以利用感知输入直接获得油门、刹车、车轮转角等控制动作，大大减少了各层算法构建的工作量和调参成本，同时提升了自动驾驶的泛化能力。

但由于深度强化学习的神经网络在未得到充分训练时将会产生大量无意义甚至危险的动作，训练效率较低，而传统算法可以为深度强化学习算法提供一定程度的引导，提升其训练速度。因此，亟需一种能够综合考虑环境自适应能力和训练时间成本的自动驾驶汽车控制方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于监督式DQN算法的自动驾驶汽车转向控制方法，利用深度强化学习算法-DQN对自动驾驶汽车实现转向控制，并对Q网络的损失函数进行了优化，同时采用传统算法MOBIL提供转向角监督信号进行引导，提升DQN算法的训练效率。

为达到上述目的，本发明提供如下技术方案：

一种基于监督式DQN算法的自动驾驶汽车转向控制方法，具体包括以下步骤：

S1：获取周边车辆状态信息；

S2：搭建汽车运动学模型；

S3：利用DQN(Deep Q Network)算法构建自动驾驶汽车转向控制模型对车辆的转向角进行控制，并优化Q网络的损失函数，利用MOBIL(Minimize Overall Braking Inducedby Lane changes)算法构建转向角监督信号，对DQN算法的训练进行引导和优化。

进一步，步骤S1中，获取的周边车辆状态信息，包括：周边车辆与本车的横纵向相对车速，以及周边车辆与本车的横纵向距离。

进一步，步骤S2中，搭建的汽车运动学模型为：

其中，x，y分别为全局坐标系下车辆质心横坐标和纵坐标，分别为全局坐标系下车辆质心横向速度和纵向速度，v为车辆速度，θ为车辆航向角，为车辆横摆角速度，β为车辆侧偏角，a为车辆加速度，l_f为车辆前轴到质心的距离，l_r为车辆后轴到质心的距离，δ为车辆前轮转向角。

进一步，步骤S3中，利用DQN算法构建自动驾驶汽车转向控制模型，具体包括以下步骤：

S301：构建车辆状态空间；

所述车辆状态空间为包含周边车辆与本车的横纵向相对速度以及周边车辆与本车的横纵向距离的集合S，表示为：