[发明专利]车辆自动驾驶控制策略模型生成方法、装置、设备及介质

说明书

本发明适用计算机技术领域，提供了一种车辆自动驾驶控制策略模型生成方法、装置、设备及介质，该方法包括：采集当前试验时刻试验车辆的驾驶状态信息，通过贝叶斯网络从车辆动作集合中筛选出驾驶状态信息关联的车辆动作，通过奖励回报函数在这些关联的车辆动作中确定最大回报值动作，向试验车辆发送最大回报值动作，并将驾驶状态信息、最大回报值动作、以及最大回报值动作的回报值组合为训练样本，在试验车辆的试验结束时，根据不同试验时刻的训练样本和深度学习算法，训练得到用于车辆自动驾驶的控制策略模型，从而有效地降低了控制策略模型的训练计算开销，提高了车辆自动驾驶的模型训练效率。

技术领域

本发明属于计算机技术领域，尤其涉及一种车辆自动驾驶控制策略模型生成方法、装置、设备及存储介质。

背景技术

随着经济的发展和城镇化的推进，全球汽车保有量和道路里程逐步增加，诸如交通拥堵、交通事故、空气污染、土地资源紧缺等一系列传统汽车无法妥善解决的问题日益凸显。智能汽车技术被视为这些问题的有效解决方案，其发展备受瞩目。美国电气和电子工程师协会(IEEE)预测，至2040年自动驾驶车辆所占的比例将达到75％。

近两年，随着深度强化学习的快速发展，一些科研机构已经基于该技术开发出“端对端”式的自动驾驶算法，比如NVIDIA、comma.ai等科技公司。“端对端”式的自动驾驶算法采用深度网络来构建控制策略模型，深度网络的输入是车辆的高维状态信息，包括摄像头、激光雷达、GPS位置、速度等状态数据，通过深度强化学习的技术，训练深度网络的输出直接作为控制车辆驾驶的动作信号。传统的智能驾驶技术一般基于传感器信号，识别出人类可以理解的模式，然后基于人类驾驶的规则给出合适的控制动作。采用深度强化学习的好处是不需要对车辆的状态基于规则式的识别，它类似“黑盒子”式的反馈控制。然而，高维状态的状态信息和庞大的网络结构，往往消耗大量的计算资源，采用大型的GPU服务器花费几十个小时的训练时间，才有可能得到一个控制策略模型。

发明内容

本发明的目的在于提供一种车辆自动驾驶控制策略模型生成方法、装置、设备及存储介质，旨在解决由于现有技术中车辆自动驾驶控制策略模型生成的计算量较大、效率不高的问题。

一方面，本发明提供了一种车辆自动驾驶控制策略模型生成方法，所述方法包括下述步骤：

采集当前试验时刻试验车辆的驾驶状态信息，根据预先构建的贝叶斯网络，在预设的车辆动作集合中筛选出所述驾驶状态信息关联的车辆动作；

根据预先构建的奖励回报函数，在所述驾驶状态信息关联的车辆动作中确定所述驾驶状态信息对应的最大回报值动作；

向所述试验车辆发送所述最大回报值动作，并将所述驾驶状态信息、所述最大回报值动作以及所述最大回报值动作的回报值组合成训练样本；

判断所述试验车辆的试验是否结束，是则根据不同试验时刻的所述训练样本和预设的深度学习算法，对用于车辆自动驾驶的控制策略模型进行训练，以得到训练好的、用于车辆自动驾驶的控制策略模型，否则跳转至采集当前试验时刻试验车辆的驾驶状态信息的步骤。

另一方面，本发明提供了一种车辆自动驾驶控制策略模型生成装置，所述装置包括：

采集筛选单元，用于采集当前试验时刻试验车辆的驾驶状态信息，根据预先构建的贝叶斯网络，在预设的车辆动作集合中筛选出所述驾驶状态信息关联的车辆动作；

动作确定单元，用于根据预先构建的奖励回报函数，在所述驾驶状态信息关联的车辆动作中确定所述驾驶状态信息对应的最大回报值动作；

样本生成单元，用于向所述试验车辆发送所述最大回报值动作，并将所述驾驶状态信息、所述最大回报值动作以及所述最大回报值动作的回报值组合成训练样本；以及