[发明专利]一种基于人工势场法和强化学习的局部路径规划方法

说明书

本发明公开了一种基于人工势场法和强化学习的局部路径规划方法，包括：构建人工势场，所述人工势场由引力势场、斥力势场和道路势场叠加而成；基于人工势场训练无人车路径规划强化学习模型；利用训练后的无人车路径规划强化学习模型为无人车规划最优路径并更新车辆状态，重复以上步骤直到自车到达目标点。本发明改进了传统人工势场法斥力势场函数，引入了自车车速与障碍物车速；改进了道路势场函数，使道路边界处的势场变化更加理想。

技术领域

本发明属于自动驾驶技术领域，尤其涉及一种基于人工势场法和强化学习的局部路径规划方法。

背景技术

随着智能体和人工智能理论的不断发展，无人驾驶技术日益成熟。无人驾驶汽车的工作过程可以分为感知、决策、控制三个部分，其中决策部分中的路径规划是无人驾驶汽车研究的关键技术之一。

目前无人驾驶汽车的路径规划技术分为两大类：全局路径规划和局部路径规划；而对局部路径规划方法的研究主要有：遗传算法，缺点是运算时间长，难以实现实时规划；滚动窗口方法，缺点是存在局部极值问题；模糊方法，缺点是模糊规则往往是人们通过经验预先制定的，所以无法学习和灵活性差；人工势场法，人工势场法是路径规划领域比较成熟和实时性较好的规划方法，工作原理是将环境信息抽象为引力场函数和斥力场函数，通过合力场函数来规划出一条从起始点到目标点的无碰撞路径。传统的人工势场法存在局部最优的问题，并且无法考虑车速等信息。

强化学习主要由智能体、环境、状态、动作、奖励组成；智能体执行了某个动作后，环境将会转换到一个新的状态，对于该新的状态环境会给出奖励信号。随后，智能体根据新的状态和环境反馈的奖励，按照一定的策略执行新的动作。智能体通过强化学习，可以知道自身在什么状态下，应该采取什么样的动作使得自身获得最大奖励。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于人工势场法和强化学习的局部路径规划方法，以解决现有路径规划技术中对车速规划的考虑较少，且无法使车辆尽可能保持车道中心行驶的问题。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种基于人工势场法和强化学习的局部路径规划方法，步骤如下：

(1)构建人工势场，所述人工势场由引力势场、斥力势场和道路势场叠加而成；

(2)基于步骤(1)中的人工势场训练无人车路径规划强化学习模型；

(3)利用训练后的无人车路径规划强化学习模型为无人车规划最优路径并更新车辆状态，重复以上步骤直到自车到达目标点。

进一步地，所述步骤(1)中的人工势场U的计算公式为：

U＝U_goal+U_obs+U_road (1)

引力势场U_goal的计算公式为：

U_goal＝-k_goal(x-x_goal) (2)

斥力势场U_obs的计算公式为：

道路势场U_road的计算公式为：

式中，R_x，R_y分别为自车与障碍物的纵向距离和横向距离，计算公式为：