[发明专利]基于两层注意力机制和高斯噪声的MAPPO价值网络拟合方法

权利要求书

1.基于两层注意力机制和高斯噪声的MAPPO价值网络拟合方法，其特征在于所述的方法过程为：

步骤一：在MAPPO的价值网络中，添加Synthesizer网络对每个智能体局部观察的分片进行特征提取；

步骤二：在MAPPO的价值网络中，添加多头自注意力网络组合关注所有智能体局部观察的特性信息；

步骤三：在由价值网络输出计算得到的广义优势值上添加随机高斯噪声进行正则化。

2.根据权利要求1所述的基于两层注意力机制和高斯噪声的MAPPO价值网络拟合方法，其特征在于步骤一中，添加Synthesizer网络在局部观察内部有选择性地提取关键信息，具体为先将智能体的局部观察o_i进行语义分片例如再送入自注意力网络获得每个局部观察的嵌入编码e_i，表现为公式

3.根据权利要求1所述的基于两层注意力机制和高斯噪声的MAPPO价值网络拟合方法，其特征在于步骤二中，添加多头自注意力网络，将步骤一获得的所有智能体观察的嵌入向量e_i拼接为(e₁，...，e_n)，通过多头自注意力网络来确定不同智能体观察在价值网络拟合过程中的关注程度信息x_i，具体表现为公式x_i＝∑_j≠ia_ijv_j＝∑_j≠ia_ijh(W_vg_j(o_j))。

4.根据权利要求1所述的基于两层注意力机制和高斯噪声的MAPPO价值网络拟合方法，其特征在于步骤三中，通过在生成的广义优势值上添加随机高斯噪声的正则化方式来平滑采样计算的优势值中存在的偏差，具体表现为公式