[发明专利]面向多智能体同步博弈的建模方法及动作预测系统

权利要求书

1.一种面向多智能体同步博弈的建模方法，其特征在于，所述建模方法包括：

获取同步博弈问题的状态集与动作集；所述状态集包括空间分布相关状态与空间分布不相关状态；其中，所述空间分布相关状态为，与策略决策相关的智能体局部特性；所述空间分布不相关状态为，与策略决策相关的智能体全局特性；

根据所述同步博弈问题的特性，设计博弈特征与特征编码方法；所述根据所述同步博弈问题的特性，设计博弈特征与特征编码方法，包括：将所述空间分布相关状态划分为攻击特性、防御特性、生命特性、机动特性与类型特性；将所述空间分布不相关状态划分为资源特征、科技特性与智能体共用特性；设计连续值特征编码与离散值特征编码，其中，所述连续值特征编码用于将连续值归一化，所述离散值特征编码用于将离散值进行one-hot编码；

根据所述博弈特征与特征编码方法，对所述状态集与动作集进行数据预处理，得到基础特征图与动作决策图；所述根据所述博弈特征与特征编码方法，对所述状态集与动作集进行数据预处理，得到基础特征图与动作决策图包括：根据多智能体交战区域尺寸，选取基础特征图尺寸与动作决策图尺寸，建立多智能体实际位置与像素位置的一一映射关系；根据所述博弈特征与特征编码方法，对所述状态集进行特征提取与特征编码，生成基础特征图与动作决策图；针对生成的基础特征图与动作决策图，进行数据增强处理与随机打乱处理，得到处理后的基础特征图与动作决策图；

基于深度神经网络建立多尺度特征融合的同步博弈策略模型；

根据所述基础特征图与动作决策图，对所述同步博弈策略模型进行逐层训练，得到训练好的同步博弈策略模型。

2.如权利要求1所述的方法，其特征在于，所述基于深度神经网络建立多尺度特征融合的同步博弈策略模型包括：

建立特征细化模块与多尺度特征融合预测模块；

所述特征细化模块，用于利用多层卷积层对基础特征图进行特征细化；

所述多尺度特征融合预测模块，用于利用连接层与卷积层融合所述特征细化模块中五种尺度的特征图。

3.如权利要求2所述的方法，其特征在于，所述多层卷积层包括：十层标准卷积层、三层空洞卷积层与三层池化层；其中，所述空洞卷积层为，在标准卷积层的卷积核中注入空洞后得到的卷积层。

4.如权利要求2所述的方法，其特征在于，在所述五种尺度中的各尺度内，利用深度神经网络中的带孔空间金字塔池化模块，融合不同感受野的特征。

5.如权利要求1所述的方法，其特征在于，所述根据所述基础特征图与动作决策图，对所述同步博弈策略模型进行逐层训练，得到训练好的同步博弈策略模型包括：

将所述同步博弈策略模型的训练过程分为六个阶段；

其中，所述六个阶段中第一阶段至第五阶段分别用于训练五种尺度的同步博弈策略模型；第六阶段用于对整个同步博弈策略模型进行微调；第二阶段至第六阶段中任一阶段的训练均是基于前一阶段的训练结果来进行的。

6.如权利要求5所述的方法，其特征在于，所述根据所述基础特征图与动作决策图，对所述同步博弈策略模型进行逐层训练，得到训练好的同步博弈策略模型还包括：

根据预测动作决策图与真实动作决策图之间的交叉熵，确定所述同步博弈策略模型的损失函数。

7.一种面向多智能体同步博弈的动作预测系统，其特征在于，所述动作预测系统包括：

状态信息采集单元，用于采集多智能体交战区域的状态信息；

状态信息处理单元，用于对所述多智能体交战区域的状态信息进行数据预处理，得到基础特征图；

博弈策略处理单元，用于利用同步博弈策略模型，预测与所述基础特征图相匹配的动作决策图；

博弈动作确定单元，用于根据所述动作决策图，以及各个智能体对应的像素值，确定预测动作；

其中，所述同步博弈策略模型为，利用如权利要求1～6中任一项所述的面向多智能体同步博弈的建模方法，得到的同步博弈策略模型。