[发明专利]一种基于深度强化学习的智能兵棋推演决策方法

权利要求书

1.一种基于深度强化学习的智能兵棋推演决策方法，其特征在于，包括以下步骤：

步骤1：构建兵棋推演环境中智能体的状态空间；

步骤2：构建适用于兵棋智能推演环境下低优势策略-价值网络架构；

步骤3：构建作战场景判断模型，作为环境奖励来源依据；

步骤4：在兵棋推演系统中搭建智能决策系统；

步骤5：对所述步骤1至4得到的智能体状态空间、低优势策略-价值网络架构、作战场景判断模型和智能决策系统所构成的深度神经网络进行训练，得到基于深度强化学习的智能兵棋推演决策模型；

步骤6：在所述智能兵棋推演决策模型中，对当前作战场景状态下的战术兵棋智能体作战决策进行求解。

2.根据权利要求1所述基于深度强化学习的智能兵棋推演决策方法，其特征在，所述步骤1中的具体按以下步骤实施：

步骤1.1：构建适用于兵棋推演环境中的战场态势实体分类模型；

所述实体分类模型基于卷积神经网络，结合战场态势图信息，将仿真数据划分为敌情，我情，战场环境三类；

步骤1.2：接收兵棋推演系统中仿真数据，输入至战场态势实体分类模型，得到模型分类结果；

步骤1.3：根据分类结果，构建包含地形矩阵，兵棋位置矩阵，上一步矩阵和是否为先手矩阵的n维战场态势信息矩阵。

3.根据权利要求1所述基于深度强化学习的智能兵棋推演决策方法，其特征在于，所述步骤2中的具体按以下步骤实施：

步骤2.1：构建初步的传统策略网络架构，策略网络π(a|s；θ)用于近似策略函数π，给出当前状态s下的动作a，通过策略梯度算法中梯度上升方式更新网络参数θ；

步骤2.2：对传统策略网络架构的策略梯度引入基准线进行改进,构建基准线为状态-价值函数V_π(s_t)的低优势策略网络；

步骤2.3：构建价值网络V(s；w)架构，其中w为价值网络的神经网络参数；s表示战场状态；V为状态-价值函数，输入为战场状态s，输出为数值。价值网络V(s；w)用于近似状态-价值函数，其输出数值用于评判当前状态对于智能体的好坏程度，以改进策略网络，梯度下降方式更新网络参数w；

由于动作-价值函数Q_π是对回报U_t的期望，因此可用强化方法中观测到的折扣回报u_t拟合Q_π，则可得到预测误差为：

δ_t＝V(s_t；ω)-u_t，

得到梯度：

梯度下降更新状态-价值网络中参数ω，其中γ为学习率：

步骤2.4：构建经验回放池。