[发明专利]一种获取多维随机分布及强化控制器的方法和装置

说明书

一种获取多维随机分布的方法，所述多维随机分布用于强化控制器模型，该方法包括：获取历史驾驶数据，所述历史驾驶数据包括执行目标基本动作的底层控制指令；处理所述历史驾驶数据得到多个控制指令样本，所述多个控制指令样本中每一控制指令样本为由具有时序的底层控制指令构成的用于执行所述目标基本动作的控制指令序列；根据所述多个控制指令样本得到平均控制指令，所述平均控制指令用于指示由控制值处于平均水平且具有时序的底层控制指令构成的用于执行所述目标基本动作的控制指令序列；根据所述平均控制指令和所述多个控制指令样本得到多维随机分布，所述多维随机分布为围绕所述平均控制指令在一定范围内扰动的期望函数分布。

技术领域

本申请涉及汽车自动驾驶领域，尤其涉及一种无人驾驶控制的方法和装置。

背景技术

在汽车自动驾驶领域，如何让无人车像人类司机一样执行一些基本动作面临巨大的挑战，例如沿着道路轴线直行、换道、超车、跟车、泊车等基本动作，控制无人车执行基本动作的任务在无人车规划控制领域称为motion planner。

由于现实中的道路情况复杂多变，而底层控制指令又需要非常精细，如何满足安全需求、具备灵活的路况应变能力且能保证平稳舒适性地完成motion planner是技术难点所在。现有技术可以归类为以下三种：基于规则的行为决策，基于约束的方案，基于学习的方案，目前上述三种现有技术存在局限性，不能很好地完成motion planner。基于规则的行为决策的技术方案一般假设道路上其他车都是匀速的情况下基于规则设计控制指令，当面对复杂路况时无法灵活应对，应用场景比较单一。基于约束的技术方案，例如一种基于状态空间与最优化的方法，通常需要车辆与周围环境的精准模型，而这种精准模型在实际中很难获取且非常复杂；如果使用近似模型，又会由于模型本身存在误差与不确定性，导致技术方案的效果有限。

基于学习的技术方案，特别是强化学习，大部分是针对高层决策，决策什么时机执行什么任务，用于生成底层的控制指令非常有限，因为缺少可以提高模型收敛速度的随机分布用于自由探索且训练难度极大，稳健性很差。

发明内容

为了解决现有技术存在的技术问题，本申请提供了一种获取多维随机分布的方法及强化学习。

第一方面，本申请提供了一种获取多维随机分布的方法，所述多维随机分布用于强化控制器模型，其特征在于，包括：获取历史驾驶数据，所述历史驾驶数据包括执行目标基本动作的底层控制指令，所述目标基本动作为变道、超车、跟车、泊车、沿道路轴线直行中的任一个，所述底层控制指令包括加速度参数、转角参数、刹车参数中一个或多个；处理所述历史驾驶数据得到多个控制指令样本，所述多个控制指令样本中每一控制指令样本为由具有时序的底层控制指令构成的用于执行所述目标基本动作的控制指令序列；根据所述多个控制指令样本得到平均控制指令，所述平均控制指令用于指示由控制值处于平均水平且具有时序的底层控制指令构成的用于执行所述目标基本动作的控制指令序列，其中，平均控制指令的控制值通过计算所有控制指令样本对应的底层控制指令的控制值的平均值得到，例如：5个控制指令样本的第一个时序的底层控制指令的控制值分别为：5、3、3、5、4，求的平均值为4，那么平均控制指令的第一时序的底层控制指令为4；根据所述平均控制指令和所述多个控制指令样本得到多维随机分布，所述多维随机分布为围绕所述平均控制指令在一定范围内扰动的期望函数分布。可选的，历史驾驶数据可以在车辆驾驶过程中获取，也可以在模拟驾驶过程中获取，也可以从公开数据源或第三方获取历史驾驶数据。根据历史驾驶数据得到的多维随机分布，作为自由探索策略用于强化控制器模型，符合人类学习的直觉，并且可以减少训练控制器模型过程中的探索空间从而提高控制器模型的收敛速度。