[发明专利]一种基于双经验池DDPG网络的兵棋推演智能决策方法

权利要求书

1.一种基于双经验池DDPG网络的兵棋推演智能决策方法，其特征在于，包括以下步骤：

获取兵棋推演数据，构建双经验池DDPG模型；

对所述兵棋推演数据进行预处理，将预处理后的数据向量化，获得向量化数据；

将所述向量化数据输入所述双经验池DDPG模型进行训练，所述双经验池DDPG模型达到预设收敛程度时完成训练，基于训练完成的双经验池DDPG模型生成兵棋推演智能决策。

2.根据权利要求1所述的方法，其特征在于，获取兵棋推演数据的过程中包括，运行兵棋推演环境，并在所述兵棋推演环境中获取兵棋推演数据；

所述兵棋推演数据包括：己方实体属性信息、敌方已被发现的实体属性信息、推演时间、地图属性信息、记分板信息；

其中所述己方实体属性信息包括己方单位的剩余血量、己方单位的位置、己方单位的剩余弹药量；

所述敌方已被发现的实体属性信息包括敌方剩余血量和敌方位置；

所述地图属性信息包括高程和编号；

所述记分板信息包括目前获得的分数信息。

3.根据权利要求1所述的方法，其特征在于，对所述兵棋推演数据进行预处理的过程中，所述预处理的方式采用数据清洗，所述数据清洗包括：

对采集的所述兵棋推演数据进行数据提取，获得规范化数据；

对所述规范化数据进行分类和冗余数据剔除。

4.根据权利要求3所述的方法，其特征在于，对采集的所述兵棋推演数据进行数据提取，获得所述规范化数据的过程中包括：

对所述兵棋推演数据进行提取时，去除其中不规范的数据，获得规范化数据；

所述不规范数据包括：空行数据和乱码数据。

5.根据权利要求2或3所述的方法，其特征在于，对规范化数据进行分类和冗余数据剔除的过程中包括：

将所述规范化数据分为所述己方实体属性信息、所述敌方已被发现的实体属性信息、所述推演时间和所述记分板信息；

剔除完成分类的数据中的冗余数据，所述冗余数据包括对决策无用的信息。

6.根据权利要求2所述的方法，其特征在于，将预处理后的数据向量化的过程中包括：

基于one-hot编码方式对推演时间、所述己方实体属性信息、所述敌方已被发现的实体属性信息进行编码；

无需对所述地图属性信息、所述记分板信息进行编码，直接将所述记分板信息作为所述向量化数据之一。

7.根据权利要求1所述的方法，其特征在于，构建所述双经验池DDPG模型的过程中包括：

基于DDPG算法架构构建DDPG神经网络，所述DDPG神经网络包括Actor网络、Critic网络、Actor_target网络和Cirtic_target网络；

构建两个用于储存训练过程中产生的经验的经验池，所述经验池为多维数组；

基于所述DDPG神经网络和两个所述经验池构建所述双经验池DDPG模型。

8.根据权利要求7所述的方法，其特征在于，将所述向量化数据输入所述双经验池DDPG模型进行训练的过程中包括：

将所述向量化数据输入所述Actor网络中，获取的值输入到所述Critic网络中进行处理；

每隔预设的时间步，基于所述Actor网络的参数更新所述Actor_target网络，基于所述Critic网络的参数更新所述Cirtic_target网络；

每次训练完成时，将当前经验存入第一经验池，若当前经验中获得的奖励大于第一经验池中的平均奖励，则将当前经验保存到第二经验池中。

9.根据权利要求8所述的方法，其特征在于，基于所述Actor网络的参数更新所述Actor_target网络的过程中，所述Actor网络采用梯度下降法进行更新；基于所述Critic网络的参数更新所述Cirtic_target网络的过程中，所述Critic网络同样使用梯度下降法进行更新，在更新过程中所述Critic网络的损失函数使用均方差损失。