[发明专利]一种运输轨迹生成方法、装置、终端及存储介质

说明书

本发明涉及计算机技术领域，公开了一种运输轨迹生成方法、装置、设备及存储介质，通过获取道路GPS点数据并进行噪声滤除处理，得到GPS轨迹数据；基于所述GPS轨迹数据和马尔科夫决策过程的五个要素，建立状态‑行动值函数、生成策略函数和辨别函数，对所述状态‑行动值函数、生成策略函数和辨别函数进行参数更新以构建生成模仿强化学习模型；采用元学习算法，训练所述生成模仿强化学习模型，根据所述元参数训练得出的任务具体参数来生成运输轨迹；本发明提供的运输轨迹生成方法、装置、终端及存储介质，能够构建生成模仿强化学习模型，提高模型的准确性，以生成城市运输轨迹，从而适应于复杂的出行环境。

技术领域

本发明涉及计算机技术领域，尤其涉及一种运输轨迹生成方法、装置、终端及存储介质。

背景技术

随着城市化发展，城市运输问题变得日趋重要。随着大数据的产生和计算机技术的发展，在现有的城市道路规模上利用运输轨迹分析，有助于理解城市交通模式、进行合理预测和基础设施有效规划，还有利于缓解数据收集负担、消除用户隐私问题，同时也为其他城市预测和推荐服务提供有效的数据来源和指导意见。

目前，现有技术一是采用常见的机器学习模型，根据历史的出行轨迹对运输轨迹进行简单模仿，如使用转移概率矩阵、RNN和LSTM等模型预测轨迹的下一地点，但是这种方法忽略了对未来轨迹信息的期望奖励，难以适应复杂的出行环境。另一现有技术是将轨迹生成问题建模为马尔可夫序列决策问题，通过在不同路口进行动作决策，以模仿强化学习的方式获得最大化期望奖励，如使用IRL、最大熵IRL和环境动态交互等常见的模仿学习算法，来生成运输轨迹，但是由于用户出行策略往往十分复杂，参数化建模出行策略往往难以逼近真实分布，训练得到的模型也无法有效生成城市运输轨迹，且模型的准确性较差。

发明内容

本发明提供一种运输轨迹生成方法、装置、终端及存储介质，能够构建生成模仿强化学习模型，以生成城市运输轨迹，既能适应于复杂的出行环境，还能提高模型的准确性。

为了实现上述目的，第一方面，本发明实施例提供了一种运输轨迹生成方法，包括以下步骤：

获取道路GPS点数据并进行噪声滤除处理，得到GPS轨迹数据；

基于所述GPS轨迹数据和马尔科夫决策过程的五个要素中的状态集和行动集，建立状态-行动值函数、生成策略函数和辨别函数，利用最小最大博弈算法把所述辨别函数用于将生成轨迹判别为真实轨迹，并对所述状态-行动值函数、生成策略函数和辨别函数进行参数更新以构建生成模仿强化学习模型；

采用元学习算法，把所述状态-行动值函数、生成策略函数和辨别函数作为所述元学习算法中的元参数，所述元参数进行元迭代训练，进而训练所述生成模仿强化学习模型，根据所述元参数训练得出的任务具体参数来生成运输轨迹。

进一步的，所述基于所述GPS轨迹数据和马尔科夫决策过程的五个要素中的状态集和行动集，建立状态-行动值函数、生成策略函数和辨别函数，利用最小最大博弈算法把所述辨别函数用于将生成轨迹判别为真实轨迹，并对所述状态-行动值函数、生成策略函数和辨别函数进行参数更新以构建生成模仿强化学习模型，具体包括：

获取道路的交通流量信号，把所述交通流量信号作为共享外部信息并入所述GPS轨迹数据中，得到新的GPS轨迹数据；

基于所述新的GPS轨迹数据和马尔科夫决策过程的五个要素中的状态集和行动集，建立状态-行动值函数、生成策略函数和辨别函数，利用最小最大博弈算法把所述辨别函数用于将生成轨迹判别为真实轨迹；

参数化所述状态-行动值函数、生成策略函数和辨别函数，所述状态-行动值函数和生成策略函数以联合训练的方式进行参数更新，其表达式为

其中，为所述状态-行动值函数的损失函数；为所述生成策略函数的损失函数；c为权重系数；