[发明专利]难度自适应游戏系统策略规划方法

说明书

本发明公开了一种基于基于优先级值迭代网络的难度自适应游戏系统策略规划方法。该游戏系统由两部分构成：用于进行图像特征信息提取的卷积神经网络和用于进行策略泛化处理的优先级值迭代网络。该系统可嵌入至任意对抗类游戏中，当玩家开始游戏前，会从系统的难度系数中选择某一等级的对抗机器人(Adversarial Non‑personal Character,A‑NPC)。根据选定的难度系数，系统会从服务器的数据库中获取相应难度的玩家样本策略信息，并在服务器端根据玩家样本策略信息进行模仿学习，得到优先级值迭代网络的参数。该参数在游戏载入时传送至客户端。

技术领域

本发明涉及难度自适应游戏系统策略规划方法，特别是涉及基于优先级值迭代网络的难度自适应游戏系统策略规划方法。

背景技术

在目前的对抗类游戏领域中，根据难度系数对游戏环境进行调整的应用越来越普遍。例如，在俄罗斯方块游戏中，根据难度系数，若某一方玩家先达到一定分数，则系统会在对方玩家的游戏环境中增加几层方块。但在目前的基于对抗性策略的难度自适应的游戏环境中，随着游戏环境难度的改变，游戏系统中的非玩家角色(NPC)还不能在环境中进行高准确率的策略规划，这会使得对手玩家的游戏体验大大下降。因此我们急切需要一种游戏系统，在游戏环境信息有所缺失或游戏环境难度增加的情况下，仍能较快地获得一个或多个对抗性策略。

发明内容

基于此，有必要针对上述技术问题，提供一种基于优先级值迭代网络的难度自适应游戏系统策略规划方法，解决了因游戏环境中信息不足而导致游戏系统无法进行精准策略规划的难题，该方法具有准确性高、泛化能力强、处理时间短等优点，在对抗类游戏中有广泛的应用场景。

一种基于优先级值迭代网络的难度自适应游戏系统策略规划方法，包括：

S1、为所述游戏系统的服务器数据库中存储多张信息已知的游戏图像，这些图像的信息包括游戏环境信息和相应难度的玩家策略信息；

S2、当玩家选定难度系数后，从服务器中获取相应难度的游戏信息o(s)，o(s)是指原始的游戏环境信息和相应的玩家策略信息；在服务器端，由信息o(s)经过卷积神经网络中的过滤器提取初始的特征信息φ(s)，特征信息φ(s)经过卷积映射函数f_R得到初始的奖赏信息经过卷积映射函数f_P得到初始的转移概率函数奖赏信息为一张表示已知游戏环境图像中各状态奖赏值的特征图；转移概率函数为各状态-动作对的转移概率值，由奖赏信息经过卷积神经网络中的过滤器得到初始的状态值函数

S3、值迭代模块的结构是一个类卷积神经网络，奖赏信息状态值函数作为优先级值迭代模块的输入，转移概率函数作为优先级值迭代模块中的卷积核，三者共同维持各个动作在状态s下的动作值经过几轮更新迭代之后，状态值函数会逐渐接近最优值函数即为该模块的输出；

S4、在优先级值迭代模块中，首先初始化每个状态的优先级，使得每个状态都至少被选择一次；在每次更新过程中，首先根据优先级选取需要更新的当前状态s，得到该状态的值函数v(s)；将该状态的值函数v(s)与转移概率函数以及奖赏信息输入至值迭代模块中，经过S3操作完成一次值迭代更新；该状态的优先级会在此次更新之后也进行更新；经过几轮迭代更新后，优先级值迭代模块会输出各个状态下最优值的近似值；

S5、将获得的近似最优值函数输入注意力模块中，根据注意力机制，输出与当前状态s最相关的状态值信息ψ(s)；

S6、当游戏系统接收到新的难度等级时，即相当于优先级值迭代网络接收到了一个新的游戏环境图像，根据原有图像的特征信息φ(s)和状态值信息ψ(s)以及实时输赢信息，即可较为迅速地获得一个或多个对抗性策略；

S7、该游戏系统将新收到的游戏环境图像存储在服务器数据库中，结合之前已存储的环境图像，修正由于该游戏环境图像信息不准确而造成的误差，提高游戏系统所得到的对抗性策略的精准度。