[发明专利]一种基于深度强化学习的无保护左转弯驾驶控制方法

权利要求书

1.一种基于深度强化学习的无保护左转弯驾驶控制方法，其特征在于，包括以下步骤：

步骤(1)建立仿真及训练环境，其具体方法为：

(1.1)构建两个相同的封闭道路环境模拟场景；

(1.2)设置适当的模拟运行时间，生成任意数量的无保护LTAP/OD事件；

(1.3)设置多辆直行车辆(SDV)和三条左转车辆(TV)候选路径；

步骤(2)设计奖励函数，采用人类驾驶员的驾驶技巧处理复杂的无保护LTAP/OD事件；

步骤(3)设计策略结构，使用学习算法更新深度卷积模糊系统的参数，寻找最优值函数；

步骤(4)设计学习算法，采用人类驾驶员的数据和深度卷积模糊系统算法提高训练效率，其具体方法为：

(4.1)设置一个用于记录学习算法的函数Q；

(4.2)使用人类驾驶员的数据初始化函数Q；

(4.3)通过深度卷积模糊系统运算，得到函数Q的新值；

(4.4)使用深度强化学习对函数Q的值进行更新，得到最优解；

步骤(2)中，所述奖励函数功能如下：

所述s_t为t时刻环境的状态；

所述a_t为t时刻智能体采取的动作；

所述c₁,c₂,c₃,c₄＞0为其权重参数，其中c1＝0.5、c2＝4、c3＝0.5、c4＝4，车辆最大限速为17m/s≈60km/h；

所述|v^TV-v^SDV|为TV和SDV的速度差的绝对值；

所述表示TV到冲突区域边界的距离，即TV通过冲突区域之前，第一个奖励函数起作用，而当TV通过冲突区域之后，第二个奖励函数发挥作用，TV速度v^TV越大，通行效率就越高；

所述D代表TV与SDV二者重心之间的距离，距离越大，碰撞风险就越小，当D≤3.5m时，第三个奖励函数起作用。

2.根据权利要求1所述基于深度强化学习的无保护左转弯驾驶控制方法，其特征在于步骤(1)中，所述无保护LTAP/OD事件，其每一个无保护LTAP/OD事件为一个深度强化学习训练回合。

3.根据权利要求1所述基于深度强化学习的无保护左转弯驾驶控制方法，其特征在于步骤(2)中，所述人类驾驶员的驾驶技巧包括车辆转向、刹车以及加速车身动作。

4.据权利要求1所述基于深度强化学习的无保护左转弯驾驶控制方法，其特征在于步骤(3)中，所述模糊系统隶属度函数为A¹,A²,…A^q，其第l层的第i个模糊子系统的数学表达式为：

所述模糊子系统对应的输入集是通过一个宽度为m、移动步长为s的滑移窗口，从第l层的输入空间选出的，而第l层的输入则是由第l-1层的全部输出构成，其中，则模糊系统可由如下q^m条模糊IF-THEN规则构成：

如果为且为则x为y为

所述参数是模糊集的中心，是深度卷积模糊系统的核心参数；

所述基于深度卷积模糊系统的值函数，根据采集到的数据，其输入、输出数据对为：(x₁,x₂,x₃,x₄,x₅,x₆,x₇；y)＝(x^TV,y^TV,v^TV,v^SDV,D,a^SDV,action；value)，7个输入和1个输出组成的深度卷积模糊系统结构，其中x^TV为大地坐标系下左转车辆的横向位置，y^TV为大地坐标系下左转车辆的纵向位置，v^TV为左转车辆的速度，v^SDV为直行车辆的速度，D为直行与左转车辆之间的距离，a^SDV为直行车辆的加速度，action为智能体采取的控制动作，value为动作值函数的值；所述深度卷积模糊系统结构分为三层，共9个模糊子系统，其中每个模糊子系统都有3个输入，即m＝3，并且卷积窗的移动步长s＝1。