[发明专利]基于深度强化学习的车道保持方法

权利要求书

1.基于深度强化学习的车道保持方法，其特征在于，包括如下步骤：

S1：采集环境-智能体状态观测值，包括环境状态数据和车辆状态数据；

S2：先进行模型网络的初始化，然后开始交互，每次交互将数据s馈入神经网络后，得到对应的输出a，然后根据输出选定的动作继续与环境交互，得到一次交互的完整数据＜s,a,s',r＞，然后以此方法与环境进行多次交互，得到多次交互数据，存入经验缓存池(ReplayBuffer,RB)；

S3：从RB中采样一批次交互数据，进行一次网络更新；不断重复S2，多次更新网络，直至最终模型收敛，其中Q网络的更新公式为：

式中，s_t为环境的观测值，a_t为s_t馈入神经网络后结果所选取的动作，Q(s_t,a_t)为在状态s_t下采取动作a_t得到的预期回报，为t+1步时总是选取使Q(s_t+1,a_t+1)最大的动作a所对应的值，r_t+1为t步时在获取观测值s_t后做出动作a_t得到的奖励，γ为回报折扣因子，在[0,1]之间，α代表网络更新的幅度；

S4：根据收敛后的模型进行策略控制，其策略为：

其中，π^*代表学习到的最优策略，对于任意第t步时，在环境观测值s下，智能体策略π^*做出的动作对应的预期回报相较于其他动作最大，即最优动作，这样的一个映射s→a^*即是一个最优策略π^*。

2.如权利要求1所述的基于深度强化学习的车道保持方法，其特征在于，S1具体包括以下步骤：

步骤S101：环境状态数据包括车辆相对于预定义原点的世界坐标Position(x,y,z)、车辆的跨轨误差CTE和车辆的碰撞关系Hit。

3.如权利要求2所述的基于深度强化学习的车道保持方法，其特征在于，所述车辆状态数据包括车辆的绝对速度Speed、车辆的转向值Steering、车辆的油门值Throttle和车辆正前方摄像头返回的相机图像数据Image，预处理过程为：

将车辆正前方摄像头返回的相机图像数据Image进行裁剪和标准化处理，首先，对每幅图像的像素归一化至[0,1]范围间，然后对图像的尺寸进行裁剪至设定大小，此处为(height＝120,width＝160)，然后基于以上车辆状态数据构建数据存储，其中写入的数据有：

其中，mod表示当前数据来源模式，训练前人为操作采集数据时mod＝user，训练中车辆自动采集数据时mod＝car；i表示一批的采集数据中当前数据存储id编号。