[发明专利]一种游戏智能体训练方法及装置

说明书

本发明公开了一种游戏智能体训练方法及装置，包括对玩家角色的自身状态、观测状态及输出行为进行编码，得到玩家数据，构建玩家智能体；采用预先建立的初始NPC对玩家智能体进行交互训练，并根据训练后的玩家智能体的参数更新玩家行为策略对应的参数；根据玩家行为策略对应的参数，采用训练后的玩家智能体对NPC智能体进行交互训练，并根据训练后的NPC智能体的参数更新NPC行为策略对应的参数；迭代地使用NPC行为策略对应的参数优化玩家行为策略对应的参数，以及使用玩家行为策略对应的参数优化NPC行为策略对应的参数，直至NPC行为策略稳定，能有效解决现有技术难以获得对非玩家角色训练中与玩家的交互数据的问题，能有效提升非玩家智能体的训练效果。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种游戏智能体训练方法及装置。

背景技术

随着现代经济繁荣发展，电子游戏的不断进步和提升，现在已经成为人们主要的休闲娱乐方式之一。游戏中非玩家角色的行为决策是影响游戏质量和用户体验的重要因素。传统游戏人工智能的实现是通过状态机或行为树来实现，通过智能体处在不同的环境和状态采取不同的策略。然而随着游戏状态增加，环境因素越来越复杂，通过传统方式实现显得复杂和效率低下。

目前，强化学习已被广泛应用于智能控制，智能预测，游戏人工智能等诸多领域。强化学习利用智能体和环境的不断交互，不断获得回报，通过最大化回报的方式进行学习，目前在游戏中获得比较理想的效果。而目前强化学习在游戏人工智能主要在模拟玩家角色的实现，无论是玩家和玩家之间的竞技，玩家和非玩家角色的竞技，主要运用在玩家角色方。对非玩家角色的训练需要大量对应的玩家交互的数据，而这些数据很多时候是很难获得的。

发明内容

本发明实施例提供一种游戏智能体训练方法及装置，能有效解决现有技术难以获得对非玩家角色训练中与玩家的交互数据的问题。

本发明一实施例提供一种游戏智能体训练方法，包括：

对玩家角色的自身状态、观测状态及输出行为进行编码，得到玩家数据，并根据所述玩家数据，构建玩家智能体；

采用预先建立的初始NPC对所述玩家智能体进行交互训练，并根据训练后的玩家智能体的参数更新玩家行为策略对应的参数；

对NPC的自身状态、观测状态及输出行为进行编码，得到NPC数据，并根据所述NPC数据，构建NPC智能体；

根据所述玩家行为策略对应的参数，采用所述训练后的玩家智能体对所述NPC智能体进行交互训练，并根据训练后的NPC智能体的参数更新NPC行为策略对应的参数；

迭代地使用所述NPC行为策略对应的参数优化所述玩家行为策略对应的参数，以及使用所述玩家行为策略对应的参数优化所述NPC行为策略对应的参数，直至所述NPC行为策略稳定。

作为上述方案的改进，所述迭代地使用所述NPC行为策略对应的参数优化所述玩家行为策略对应的参数，以及使用所述玩家行为策略对应的参数优化所述NPC行为策略对应的参数，直至所述NPC行为策略稳定，具体包括：

重复执行以下步骤，直至所述NPC行为策略稳定：

使用上次训练后的NPC智能体，固定其行为策略对应的参数，对上次训练后的玩家智能体进行交互训练，并根据当前训练后的玩家智能体的参数更新上次训练得到的玩家行为策略对应的参数；使用所述当前训练后的玩家智能体，固定其行为策略对应的参数，对所述上次训练后的NPC智能体进行交互训练，并根据当前训练后的NPC智能体的参数更新所述上次训练得到的NPC行为策略对应的参数。

作为上述方案的改进，所述对玩家角色的自身状态、观测状态及输出行为进行编码，得到玩家数据，并根据所述玩家数据，构建玩家智能体，具体包括：

选择编码模式；其中，所述编码模式包括向量编码模式、第一图像编码模式和第二图像编码模式；