[发明专利]一种多人非完备信息博弈游戏策略生成方法和装置

权利要求书

1.一种多人非完备信息博弈游戏策略生成方法，其特征在于，所述方法包括：

获取玩家决策前的博弈状态信息；

基于共享策略网络和所述博弈状态信息确定最优决策动作，以便玩家参考所述最优决策动作制定目标决策动作；

其中，所述共享策略网络，是预先利用共享数据集中的博弈样本训练的强化学习网络。

2.根据权利要求1所述的多人非完备信息博弈游戏策略生成方法，其特征在于，所述方法应用于多人德州扑克游戏玩家的智能体；所述博弈状态信息，包括：手牌信息和牌桌展示信息；

所述牌桌展示信息，包括：已展示的公共牌信息、牌桌中所有玩家的筹码数量、牌桌中的奖池数额和本轮中所有玩家的历史决策信息；

所述决策动作，包括：弃牌、跟注和加注。

3.根据权利要求1所述的多人非完备信息博弈游戏策略生成方法，其特征在于，所述获取玩家决策前的博弈状态信息之后，还包括：

将所述博弈状态信息，以及玩家上次决策对应的决策动作和博弈状态信息作为一条博弈样本加入到所述共享数据集中；

在确定所述目标决策动作为玩家在游戏结束前制定的最后一个决策动作的情况下，将所述目标决策动作、所述博弈状态信息和游戏结束时玩家的博弈状态信息作为一条博弈样本加入到所述共享数据集中。

4.根据权利要求2所述的多人非完备信息博弈游戏策略生成方法，其特征在于，所述共享策略网络的训练过程，包括：

对共享数据集进行博弈样本采样，并将采样得到的博弈样本组成训练集；

确定训练集中博弈样本对应的决策动作回报值；

对训练集中博弈样本及其对应的决策动作回报值进行强化学习，得到所述共享策略网络。

5.根据权利要求4所述的多人非完备信息博弈游戏策略生成方法，其特征在于，在博弈样本中的决策动作为博弈样本对应的玩家在游戏结束前制定的最后一个决策动作的情况下，确定所述博弈样本对应的决策动作回报值，包括：

若所述博弈样本中的决策动作为弃牌，则所述博弈样本对应的决策动作回报值为0；

若所述博弈样本对应的玩家赢得牌局，且所述博弈样本中的决策动作不为弃牌，则所述博弈样本对应的决策动作回报值为Q与博弈样本对应的玩家赢得牌局时获得的筹码数之间的乘积；

若所述博弈样本对应的玩家输了牌局，且所述博弈样本中的决策动作不为弃牌，所述博弈样本对应的决策动作回报值为-K与所述博弈样本中的决策动作执行之后牌桌最大下注额和博弈样本对应的玩家已下注额的差值之间的乘积；

其中，Q为第一预设正值，K为第二预设正值。

6.根据权利要求4所述的多人非完备信息博弈游戏策略生成方法，其特征在于，在博弈样本中的决策动作不为博弈样本对应的玩家在游戏结束前制定的最后一个决策动作的情况下，确定所述博弈样本对应的决策动作回报值，包括：

将-K与所述博弈样本中的决策动作执行之后牌桌最大下注额和博弈样本对应的玩家已下注额的差值之间的乘积作为所述博弈样本对应的决策动作回报值；

其中，K为第二预设正值。

7.根据权利要求1所述的多人非完备信息博弈游戏策略生成方法，其特征在于，判定所述玩家离线，则令所述玩家制定的目标决策动作为所述最优决策动作。

8.一种多人非完备信息博弈游戏策略生成装置，其特征在于，所述装置包括：

获取模块，用于获取玩家决策前的博弈状态信息；

决策动作确定模块，用于基于共享策略网络和所述博弈状态信息确定最优决策动作，以便玩家参考所述最优决策动作制定目标决策动作；

其中，所述共享策略网络，是预先利用共享数据集中博弈样本训练的强化学习网络。

9.一种智能体，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述多人非完备信息博弈游戏策略生成方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多人非完备信息博弈游戏策略生成方法。