[发明专利]一种动力学模型支持的双重有偏好模仿学习方法及系统

权利要求书

1.一种动力学模型支持的双重有偏好模仿学习方法，其特征在于，包括：

获取自动驾驶训练所需要的训练样本集，其中，所述训练样本包含离线专家数据集、离线无奖励标签数据集和动力学模型数据集；

通过预设的第一判别器输出数据与专家数据的接近程度和预设的第二判别器输出数据与真实数据的接近程度构建损失函数，训练驾驶模仿策略模型；

通过训练后的驾驶模仿策略模型，对自动驾驶车辆进行模仿训练。

2.根据权利要求1所述的动力学模型支持的双重有偏好模仿学习方法，其特征在于，所述通过预设的第一判别器输出数据与专家数据的接近程度和预设的第二判别器输出数据与真实数据的接近程度构建损失函数，训练驾驶模仿策略模型，具体包括：

所述离线专家数据集、离线无奖励标签数据集和动力学模型数据集输入第一判别器，判别出专家数据，输出数据与专家数据的接近程度；

将所述离线专家数据集、离线无奖励标签数据集和动力学模型数据集输入第二判别器，判别出真实数据，输出数据与真实数据的接近程度；

通过所述输出数据与专家数据的接近程度和输出数据与真实数据的接近程度构造损失函数对驾驶模仿策略模型进行训练，学习专家数据；

其中，所述动力学模型数据集是通过动力学模型对离线专家数据集和离线无奖励标签数据集进行学习所生成的。

3.根据权利要求2所述的动力学模型支持的双重有偏好模仿学习方法，其特征在于，所述动力学模型数据集是通过动力学模型对离线专家数据集和离线无奖励标签数据集进行学习所生成的，具体包括：

将离线专家数据集和离线无奖励标签数据集共同输入至动力学模型；

所述动力学模型根据离线专家数据集中的专家数据和离线无奖励标签数据集中的无奖励标签数据进行学习，并进行数据扩增，生成动力学模型数据集；

所述动力学模型数据集中包括真实专家数据和伪专家数据。

4.根据权利要求2所述的动力学模型支持的双重有偏好模仿学习方法，其特征在于，所述离线专家数据集、离线无奖励标签数据集和动力学模型数据集输入第一判别器，判别出专家数据，输出数据与专家数据的接近程度，具体包括：

所述第一判别器对输入的离线专家数据集、离线无奖励标签数据集和动力学模型数据集进行判断，判别出专家数据次优数据；

对判别出专家数据提升权重，对判别出的次优数据降低权重；

根据专家数据的权重信息和次优数据集的权重信息输出数据与专家数据的接近程度。

5.根据权利要求2所述的动力学模型支持的双重有偏好模仿学习方法，其特征在于，将所述离线专家数据集、离线无奖励标签数据集和动力学模型数据集输入第二判别器，判别出真实数据，输出数据与真实数据的接近程度，具体包括：

所述第二判别器对输入的离线专家数据集、离线无奖励标签数据集和动力学模型数据集进行判断，判别出真实数据虚假数据；

对判别出真实数据提升权重，对判别出的虚假数据降低权重；

根据真实数据的权重信息和虚假数据集的权重信息输出数据与真实数据的接近程度。

6.根据权利要求5所述的动力学模型支持的双重有偏好模仿学习方法，其特征在于，所述第二判别器与动力学模型之间进行对抗耦合训练；

将第二判别器判断的结果反馈至动力学模型，使动力学模型调整学习策略，学习更多真实数据。

7.根据权利要求2所述的动力学模型支持的双重有偏好模仿学习方法，其特征在于，通过所述输出数据与专家数据的接近程度和输出数据与真实数据的接近程度构造损失函数对驾驶模仿策略模型进行训练，学习专家数据，具体包括：

所述输出数据与专家数据的接近程度、输出数据与真实数据的接近程度和模仿策略自身的损失函数进行相加，获得总损失函数；

通过总损失函数对驾驶模仿策略模型进行训练，修正模仿学习策略，生成修正后的驾驶模仿策略模型；

所述修正后的驾驶模仿策略模型对真实的专家数据进行模仿学习，模仿专家数据集对应的功能。