[发明专利]一种基于模糊决策树的深度强化学习空战博弈方法和系统

说明书

本发明公开了一种基于模糊决策树的深度强化学习空战博弈解释方法，包括：采用已训练的深度强化学习模型进行空战博弈，得到训练集和特征集；构建特征集中各特征的隶属度函数，逐一将特征模糊化，得到特征集模糊化后的模糊特征集；根据训练集和模糊特征集建立模糊决策树；通过极小化决策树的损失函数对模糊决策树进行剪枝；遍历剪枝后的模糊决策树的所有路径，其中每一路径表示一个空战博弈规则；将空战博弈时深度强化学习模型的输入和输出保存为待处理数据，将待处理数据输入至剪枝后的模糊决策树中得到对应的空战博弈规则，从而完成空战博弈解释。本发明解决了深度强化学习算法可解释性差、结果不直观的问题。

技术领域

本申请属于空战智能博弈与仿真推演技术领域，具体涉及一种基于模糊决策树的深度强化学习空战博弈解释方法和系统。

背景技术

现代战机正向高度自动化、信息化及智能化方向发展，战场环境复杂多变、飞行员获取的信息繁杂多样，仅仅依靠飞行员自身在短时间内做出最佳规划和作战决策是很难的。

深度强化学习是一种不依赖标签样本的人工智能算法，通过与环境的交互学习知识，经过不断训练和模型迭代提升决策系统的智能水平。深度强化学习主要面向的是序列决策问题，根据当前环境信息做出实时决策，非常适合空战博弈场景。但是深度强化学习算法目前存在的一大问题是可解释性差，这个问题使得深度强化学习的可信度备受质疑，难以直观的指导应用。

决策树是一种公认的解释性很强的机器学习算法，其根据现有条件不停构建分支实现决策，可以看成if-then规则的集合。优点是高效，适应性强，可以用于解决大规模问题，非常符合人类认知。但是普通决策树的缺点是如果分支条件过多，容易过拟合且噪声摄动下的稳定性差，拟合方差大，学习效果不好。

发明内容

本申请的目的在于提供一种基于模糊决策树的深度强化学习空战博弈解释方法和系统，解决深度强化学习算法可解释性差、结果不直观的问题。

为实现上述目的，本申请所采取的技术方案为：

一种基于模糊决策树的深度强化学习空战博弈解释方法，所述基于模糊决策树的深度强化学习空战博弈解释方法，包括：

步骤S1、采用已训练的深度强化学习模型进行空战博弈，成对保存输入的特征向量和深度强化学习模型的输出作为样本数据，得到训练集和特征集；

步骤S2、构建特征集中各特征的隶属度函数，逐一将特征模糊化，得到特征集模糊化后的模糊特征集；

步骤S3、根据所述训练集和模糊特征集建立模糊决策树；

步骤S4、通过极小化决策树的损失函数对模糊决策树进行剪枝；

步骤S5、遍历剪枝后的模糊决策树的所有路径，得到模糊决策树训练的规则集合，其中每一路径表示一个空战博弈规则；

步骤S6、将空战博弈时深度强化学习模型的输入和输出成对保存为待处理数据，将待处理数据输入至剪枝后的模糊决策树中得到对应的空战博弈规则，从而完成空战博弈解释。

作为优选，所述成对保存输入的特征向量以及深度强化学习模型的输出作为样本数据，得到训练集，包括：

若保存的样本数据的长度为N，并且采用x表示特征向量，采用y表示深度强化学习模型的输出，则得到的训练集为：

D＝{(x₁,y₁),(x₂,y₂),…(x_N,y_N)}

其中，D表示训练集，x_N表示第N个输入的特征向量，y_N表示深度强化学习模型的第N个输出；

根据特征向量得到对应的特征集如下：