[发明专利]一种运输轨迹生成方法、装置、终端及存储介质

权利要求书

1.一种运输轨迹生成方法，其特征在于，包括以下步骤：

获取道路GPS点数据并进行噪声滤除处理，得到GPS轨迹数据；

基于所述GPS轨迹数据和马尔科夫决策过程的五个要素中的状态集和行动集，建立状态-行动值函数、生成策略函数和辨别函数，利用最小最大博弈算法把所述辨别函数用于将生成轨迹判别为真实轨迹，并对所述状态-行动值函数、生成策略函数和辨别函数进行参数更新以构建生成模仿强化学习模型；

采用元学习算法，把所述状态-行动值函数、生成策略函数和辨别函数作为所述元学习算法中的元参数，所述元参数进行元迭代训练，进而训练所述生成模仿强化学习模型，根据所述元参数训练得出的任务具体参数来生成运输轨迹。

2.如权利要求1所述的运输轨迹生成方法，其特征在于，所述基于所述GPS轨迹数据和马尔科夫决策过程的五个要素中的状态集和行动集，建立状态-行动值函数、生成策略函数和辨别函数，利用最小最大博弈算法把所述辨别函数用于将生成轨迹判别为真实轨迹，并对所述状态-行动值函数、生成策略函数和辨别函数进行参数更新以构建生成模仿强化学习模型，具体包括：

获取道路的交通流量信号，把所述交通流量信号作为共享外部信息并入所述GPS轨迹数据中，得到新的GPS轨迹数据；

基于所述新的GPS轨迹数据和马尔科夫决策过程的五个要素中的状态集和行动集，建立状态-行动值函数、生成策略函数和辨别函数，利用最小最大博弈算法把所述辨别函数用于将生成轨迹判别为真实轨迹；

参数化所述状态-行动值函数、生成策略函数和辨别函数，所述状态-行动值函数和生成策略函数以联合训练的方式进行参数更新，其表达式为

其中，为所述状态-行动值函数的损失函数；为所述生成策略函数的损失函数；c为权重系数；

所述状态-行动值函数的参数更新过程符合Q-学习算法为：

其中，为所述状态-行动值函数的损失函数；E为期望奖励；Q_ψ(s_t,a_t)为当前时刻的状态-行动值函数；R(s_t,a_t)为奖励函数，R(s_t,a_t)＝-log D_φ(s_t,a_t)，D_φ(s_t,a_t)为当前时刻的辨别函数；γ作为计算所述期望奖励时的折扣因子；π_θ(a_t+1|s_t+1)为下一时刻的生成策略函数；Q_ψ(s_t+1,a_t+1)为下一时刻的状态-行动值函数；a_t+1为下一时刻的动作表征；

所述生成策略函数的参数更新过程符合梯度下降算法为：

其中，为所述生成策略函数的损失函数；E为所述期望奖励；Q_ψ(s_t,a_t)为所述当前时刻的状态-行动值函数；π_θ(a_t|s_t)为所述当前时刻的生成策略函数；μ为自定义参数；H(π_θ)为所述生成策略函数参数更新过程的正则项；

所述辨别函数进行参数更新，直到所述辨别函数收敛到难以分辨所述生成轨迹和真实轨迹之间的区别，进而构建生成模仿强化学习模型，所述辨别函数的参数更新过程为：

其中，为所述辨别函数的损失函数；E_π为生成策略的期望奖励；为专家策略的期望奖励；D(s_t,a_t)为所述当前时刻的辨别函数。