[发明专利]战斗策略生成方法及装置

说明书

本发明提供战斗策略生成方法及装置，涉及战斗策略生成领域。该方法包括：针对更新策略非玩家角色绑定近端策略优化算法并搭建近端策略优化算法的神经网络结构；计算当前策略神经网络的损失值，更新当前策略神经网络的参数，复制当前策略神经网络的参数替换目标策略神经网络的参数；根据目标策略神经网络的参数使更新策略非玩家角色与玩家角色进行对抗，并根据与玩家角色对抗产生的战斗数据对神经网络结构的神经网络参数进行更新，为更新策略非玩家角色生成新的战斗策略。本发明实施例的战斗策略生成方法及装置通过针对更新策略非玩家角色绑定近端策略优化算法，最终生成战斗策略，从而达到了能够根据具体情况输出离散动作或连续动作的技术效果。

技术领域

本发明涉及战斗策略生成技术领域，尤其是涉及一种战斗策略生成方法及装置。

背景技术

目前，在动作类的三维游戏中，都是利用基于深度学习网络的非玩家战斗策略学习方法来自动生成玩家角色战斗策略，虽然该方法使用血量差作为动作奖励，并且能够自动生成玩家角色战斗策略，但是其输出动作只能是离散动作，而不能是连续动作。

发明内容

有鉴于此，本发明的目的在于提供一种战斗策略生成方法及装置，以改善输出动作只能是离散动作，而不能是连续动作的技术问题。

第一方面，本发明实施例提供了一种战斗策略生成方法，应用于游戏客户端，所述方法包括以下步骤：

针对更新策略非玩家角色绑定近端策略优化算法，并搭建所述近端策略优化算法的神经网络结构；其中，所述神经网络结构包括目标策略神经网络和当前策略神经网络；

计算所述当前策略神经网络的损失值，更新所述当前策略神经网络的参数，复制所述当前策略神经网络的参数替换所述目标策略神经网络的参数；

根据所述目标策略神经网络的参数使所述更新策略非玩家角色与玩家角色进行对抗，并根据与所述玩家角色对抗产生的战斗数据对所述神经网络结构的神经网络参数进行更新，为所述更新策略非玩家角色生成新的战斗策略；其中，所述战斗数据包括所述更新策略非玩家角色的被击杀次数、使玩家角色损失的血量。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述神经网络结构还包括值估计神经网络；

所述计算所述当前策略神经网络的损失值，更新所述当前策略神经网络的参数的步骤，包括：

计算所述值估计神经网络的损失值；

将所述值估计神经网络的损失值与所述当前策略神经网络和所述目标策略神经网络的动作概率比相乘，获取所述当前策略神经网络的损失值；

根据所获取的当前策略神经网络的损失值来更新所述当前策略神经网络的参数。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，将状态向量输入至所述当前策略神经网络，获取所述当前策略神经网络的动作概率值；其中，所述状态向量中包含有更新策略非玩家角色的坐标信息、技能信息、生命值信息；

将所述状态向量输入至所述目标策略神经网络，获取所述目标策略神经网络的动作概率值；

将所述当前策略神经网络和所述目标策略神经网络的动作概率值除以所述目标策略神经网络的动作概率值，获取所述当前策略神经网络和所述目标策略神经网络的动作概率比。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述根据所述目标策略神经网络的参数使所述更新策略非玩家角色与玩家角色进行对抗，并根据与所述玩家角色对抗产生的战斗数据对所述神经网络结构的神经网络参数进行更新，为所述更新策略非玩家角色生成新的战斗策略的步骤，包括：

根据所述目标策略神经网络的参数使所述更新策略非玩家角色与玩家角色进行对抗，获取所述玩家角色对抗产生的战斗数据；