[发明专利]基于环境模型的对手建模方法、装置、设备及存储介质

说明书

本发明公开了一种基于环境模型的对手建模方法、装置、设备及存储介质，方法包括：智能体根据对手的动作以及决策过程的状态得到第一层想象对手策略；在预设的环境模型中利用仿真轨迹算法计算第一层的对手最佳动作，根据所述对手最佳动作调整所述第一层想象对手策略，得到调整后的第一层想象对手策略；重复执行上述步骤，直到得到调整后的多层想象对手策略；更新想象对手策略权重，根据所述想象对手策略权重以及调整后的多层想象对手策略，得到对手混合策略，将所述对手混合策略作为对手模型。根据本实施例提供的基于环境模型的对手建模方法，可以解决多智能体对抗中对手建模的滞后性问题，以达到对于同样有思考能力的对手进行有效建模的目的。

技术领域

本发明涉及人工智能技术领域，特别涉及一种基于环境模型的对手建模方法、装置、设备及存储介质。

背景技术

在多智能体环境中，例如网络游戏环境，一个智能体通常必须与不同的其他智能体(统称为对手)竞争或合作。在交互过程中，对手策略也在同时影响着智能体所经历的转移动态，与不同的对手相互作用使得智能体的外在环境处于非平稳状态。由于对手策略的复杂性和多样性，智能体想要在对抗中保持整体优势是非常具有挑战的。

明确地对对手的行为、目标或信念建模，而不是将它们作为环境的一部分，可以帮助智能体调整其策略以适应不同的对手。然而，对手也可能有同样的推理能力。此时，需要更高层次的推理和一些其他的对手建模技术来处理这些复杂的对手。当对手同时进行学习，对手建模过程将变得不稳定，利用历史经验拟合的对手策略模型也会产生滞后。

因此，如何解决多智能体对抗中对手建模的滞后性问题是本领域技术人员亟待解决的技术问题。

发明内容

本公开实施例提供了一种基于环境模型的对手建模方法、装置、设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本公开实施例提供了一种基于环境模型的对手建模方法,包括：

智能体根据对手的动作以及决策过程的状态得到第一层想象对手策略；

在预设的环境模型中利用仿真轨迹算法计算第一层的对手最佳动作，根据对手最佳动作调整第一层想象对手策略，得到调整后的第一层想象对手策略；

重复执行上述步骤，直到得到调整后的多层想象对手策略；

更新想象对手策略权重，根据想象对手策略权重以及调整后的多层想象对手策略，得到对手混合策略，将对手混合策略作为对手模型。

在一个实施例中，智能体根据对手的动作以及决策过程的状态得到第一层想象对手策略之前，还包括：

智能体使用近端策略优化算法与不同的对手进行交互，得到经验数据；

根据经验数据以及最小化均方误差训练环境模型，得到训练好的环境模型；

智能体与环境进行交互，得到对手的动作以及决策过程的状态。

在一个实施例中，根据如下公式计算第一层想象对手策略：

其中，s表示决策过程的状态，a^o表示对手的动作，D表示经验数据库，φ₀表示第一层想象对手策略。

在一个实施例中，根据如下公式计算对手最佳动作：