[发明专利]一种游戏智能体训练方法及装置

权利要求书

1.一种游戏智能体训练方法，其特征在于，包括：

对玩家角色的自身状态、观测状态及输出行为进行编码，得到玩家数据，并根据所述玩家数据，构建玩家智能体；

采用预先建立的初始NPC对所述玩家智能体进行交互训练，并根据训练后的玩家智能体的参数更新玩家行为策略对应的参数；

对NPC的自身状态、观测状态及输出行为进行编码，得到NPC数据，并根据所述NPC数据，构建NPC智能体；

根据所述玩家行为策略对应的参数，采用所述训练后的玩家智能体对所述NPC智能体进行交互训练，并根据训练后的NPC智能体的参数更新NPC行为策略对应的参数；

迭代地使用所述NPC行为策略对应的参数优化所述玩家行为策略对应的参数，以及使用所述玩家行为策略对应的参数优化所述NPC行为策略对应的参数，直至所述NPC行为策略稳定，具体包括：

重复执行以下步骤，直至所述NPC行为策略稳定：

使用上次训练后的NPC智能体，固定其行为策略对应的参数，对上次训练后的玩家智能体进行交互训练，并根据当前训练后的玩家智能体的参数更新上次训练得到的玩家行为策略对应的参数；使用所述当前训练后的玩家智能体，固定其行为策略对应的参数，对所述上次训练后的NPC智能体进行交互训练，并根据当前训练后的NPC智能体的参数更新所述上次训练得到的NPC行为策略对应的参数；

其中，根据游戏的NPC的性能要求判断NPC行为策略是否稳定。

2.如权利要求1所述的游戏智能体训练方法，其特征在于，所述对玩家角色的自身状态、观测状态及输出行为进行编码，得到玩家数据，并根据所述玩家数据，构建玩家智能体，具体包括：

选择编码模式；其中，所述编码模式包括向量编码模式、第一图像编码模式和第二图像编码模式；

根据所述编码模式，对所述玩家角色的自身状态、观测状态进行编码，得到玩家状态数据；

采用one-hot方式对所述玩家角色的输出行为进行编码，得到玩家输出行为数据；

根据所述玩家状态数据和所述玩家输出行为数据，生成玩家数据，并根据所述玩家数据，构建玩家智能体。

3.如权利要求2所述的游戏智能体训练方法，其特征在于，所述对玩家角色的自身状态、观测状态及输出行为进行编码，得到玩家数据，并根据所述玩家数据，构建玩家智能体，具体包括：

当所述编码模式为向量编码模式时，提取玩家游戏状态数据，对所述玩家角色的自身状态和观测状态进行向量形式编码；

根据所述玩家游戏状态数据，提取连续状态特征和离散状态特征；

对所述连续状态特征进行归一化处理，得到连续状态数据；

采用one-hot方式对所述离散状态特征进行编码，得到离散状态数据，并根据所述离散状态数据和所述连续状态数据，得到向量形式的玩家状态数据；

采用one-hot方式对所述玩家角色的输出行为进行编码，得到玩家输出行为数据；

根据所述向量形式的玩家状态数据和所述玩家输出行为数据，生成玩家数据，并根据所述玩家数据，构建玩家智能体。

4.如权利要求2所述的游戏智能体训练方法，其特征在于，所述对玩家角色的自身状态、观测状态及输出行为进行编码，得到玩家数据，并根据所述玩家数据，构建玩家智能体，具体包括：

当所述编码模式为第一图像编码模式时，获取当前的游戏画面作为决策数据，作为智能体的输入；

根据图像灰度化是否丢失信息决策的数据信息，选择是否对所述当前的游戏画面进行灰度化处理，得到第一图像形式的玩家状态数据；

采用one-hot方式对所述玩家角色的输出行为进行编码，得到玩家输出行为数据；

根据所述第一图像形式的玩家状态数据和所述玩家输出行为数据，生成玩家数据，并根据所述玩家数据，构建玩家智能体。