[发明专利]一种动力学模型支持的双重有偏好模仿学习方法及系统

说明书

本发明提供一种动力学模型支持的双重有偏好模仿学习方法及系统，包括：获取自动驾驶训练所需要的训练样本集，其中，所述训练样本包含离线专家数据集、离线无奖励标签数据集和动力学模型数据集；通过预设的第一判别器输出数据与专家数据的接近程度和预设的第二判别器输出数据与真实数据的接近程度构建损失函数，训练驾驶模仿策略模型；通过训练后的驾驶模仿策略模型，对自动驾驶车辆进行模仿训练。本发明解决了现有模仿训练中可用专家数据量少、训练效率低的缺陷，以实现快速高效的有偏好模仿学习。

技术领域

本发明涉及机器模仿学习技术领域，尤其涉及一种动力学模型支持的双重有偏好模仿学习方法及系统。

背景技术

通过模仿学习能够获取目标学习对象的特性，生成与目标对象功能基本相同的模型，起到同样的作用。现有的模仿学习，可以采用在线模仿训练方式或者离线训练方式，在线训练方式中，常用的GAN 结构，难训练，训练结果难以收敛；离线训练方式中，BCND结构利用上一时刻的输出对下一时刻进行加权，对专家数据集样本质量要求较高，难以到达理想效果；ORIL结构进行训练判别器作为奖励，耗费时间长，判别器与策略训练独立分开，导致训练效率低。

并且在采用离线模仿学习的方式时，需要从专家数据集中获取学习数据，但是专家数据集中数据量少，获取成本较高，质量难以保证，并且对场景的覆盖率有限。所以需要扩充学习数据，但是现有的无奖励标签数据集中也存在少量专家数据，存在大量的干扰无用的数据，难以快速判断哪些数据为专家数据，能够直接利用，导致整体训练效果不佳，训练效率低。

发明内容

本发明提供一种动力学模型支持的双重有偏好模仿学习方法及系统，用以解决现有模仿训练中可用专家数据量少、训练效率低的缺陷，以实现快速高效的有偏好模仿学习。

本发明提供一种动力学模型支持的双重有偏好模仿学习方法，包括：

获取自动驾驶训练所需要的训练样本集，其中，所述训练样本包含离线专家数据集、离线无奖励标签数据集和动力学模型数据集；

通过预设的第一判别器输出数据与专家数据的接近程度和预设的第二判别器输出数据与真实数据的接近程度构建损失函数，训练驾驶模仿策略模型；

通过训练后的驾驶模仿策略模型，对自动驾驶车辆进行模仿训练。

根据本发明提供的一种动力学模型支持的双重有偏好模仿学习方法，所述通过预设的第一判别器输出数据与专家数据的接近程度和预设的第二判别器输出数据与真实数据的接近程度构建损失函数，训练驾驶模仿策略模型，具体包括：

所述离线专家数据集、离线无奖励标签数据集和动力学模型数据集输入第一判别器，判别出专家数据，输出数据与专家数据的接近程度；

将所述离线专家数据集、离线无奖励标签数据集和动力学模型数据集输入第二判别器，判别出真实数据，输出数据与真实数据的接近程度；

通过所述输出数据与专家数据的接近程度和输出数据与真实数据的接近程度构造损失函数对驾驶模仿策略模型进行训练，学习专家数据；

其中，所述动力学模型数据集是通过动力学模型对离线专家数据集和离线无奖励标签数据集进行学习所生成的。

根据本发明提供的一种动力学模型支持的双重有偏好模仿学习方法，所述动力学模型数据集是通过动力学模型对离线专家数据集和离线无奖励标签数据集进行学习所生成的，具体包括：

将离线专家数据集和离线无奖励标签数据集共同输入至动力学模型；

所述动力学模型根据离线专家数据集中的专家数据和离线无奖励标签数据集中的无奖励标签数据进行学习，并进行数据扩增，生成动力学模型数据集；

所述动力学模型数据集中包括真实专家数据和伪专家数据。