[发明专利]FPS游戏的AI模型训练方法、装置、系统和设备

说明书

本发明公开了一种FPS游戏的AI模型训练方法，包括：获取样本数据；其中，所述样本数据包括虚拟角色的游戏状态数据和实际奖励；将所述游戏状态数据输入到所述FPS游戏的AI模型中，以生成所述虚拟角色的预测奖励；根据所述预测奖励和实际奖励计算所述FPS游戏的AI模型的损失函数；其中，所述实际奖励通过预设的奖励机制计算得到；根据所述损失函数对所述FPS游戏的AI模型进行优化，直至所述损失函数收敛。本发明还公开了一种FPS游戏的AI模型训练装置、系统和设备。采用本发明实施例，能够针对复杂的游戏场景能够进行有效的局面分析，给出合理的奖励机制，避免虚拟角色在某一位置停留过久。

技术领域

本发明涉及模型训练方法，尤其涉及一种FPS游戏的AI模型训练方法、装置、系统和设备。

背景技术

随着电子竞技行业的逐步发展，第一人称视觉类射击游戏(First-personshootinggame，FPS)越来越受到广泛的关注。对于FPS游戏而言，为保证用户在游戏过程中的良好体验，往往需要构建AI模型并对其进行训练，从而使得该AI模型能够良好地应用在FPS游戏中。现有FPS游戏的AI模型一般仅能处理相对较为简单的游戏场景，并遵循基础的游戏规则提供游戏策略，当面对复杂的游戏场景或者复杂的游戏规则时，比如在设置奖励机制时，没有针对虚拟角色的来回移动进行合理的奖励设置，导致虚拟角色在某一位置停留过久，影响用户的游戏体验。

发明内容

本发明实施例的目的是提供一种FPS游戏的AI模型训练方法、装置、系统和设备，能够针对复杂的游戏场景能够进行有效的局面分析，给出合理的奖励机制，避免虚拟角色在某一位置停留过久。

为实现上述目的，本发明实施例提供了一种FPS游戏的AI模型训练方法，包括：

获取样本数据；其中，所述样本数据包括虚拟角色的游戏状态数据和实际奖励；

将所述游戏状态数据输入到所述FPS游戏的AI模型中，以生成所述虚拟角色的预测奖励；

根据所述预测奖励和实际奖励计算所述FPS游戏的AI模型的损失函数；其中，所述实际奖励通过预设的奖励机制计算得到；所述奖励机制包括：计算所述虚拟角色在采取动作后的当前时间步所处的位置与预设目标中心点的目标距离，根据所述目标距离计算实际奖励；所述目标中心点为所述虚拟角色在前两个时间步时所处位置所组成的圆的圆心；

根据所述损失函数对所述FPS游戏的AI模型进行优化，直至所述损失函数收敛。

作为上述方案的改进，所述游戏状态数据包括：所述虚拟角色在当前时间歩的第一状态信息、在当前时间歩的第一动作信息以及在下一时间歩的第二状态信息，所述FPS游戏的AI模型包括第一网络和第二网络；则，将所述游戏状态数据输入到所述FPS游戏的AI模型中，以生成所述虚拟角色的预测奖励，包括：

将所述第一状态信息和所述第一动作信息输入到所述第一网络中，得到所述虚拟角色在当前时间步的第一状态动作价值；

将所述第二状态信息输入到所述第二网络中，得到第二动作信息；

将所述第二状态信息和第二动作信息输入到所述第一网络中，得到所述虚拟角色在下一时间步的第二状态动作价值；

计算所述第一状态动作价值和所述第二状态动作价值的价值差值作为所述预测奖励。

作为上述方案的改进，根据所述预测奖励和实际奖励计算所述FPS游戏的AI模型的损失函数，包括：

根据所述预测奖励和所述实际奖励计算第一网络的损失函数；

获取所述第一网络的预测值计算所述第二网络的损失函数。

作为上述方案的改进，根据所述目标距离计算实际奖励，包括：

当所述目标距离大于预设的距离阈值时，给予正向奖励；