[发明专利]一种多智能体群组协作策略自动生成方法

权利要求书

1.一种多智能体群组协作策略自动生成方法，其特征在于：包括以下步骤：

步骤S1：定义并初始化多智能体协作策略的策略网络、目标策略网络和网络参数；

步骤S2：定义并初始化多智能体协作策略的评估网络、目标评估网络和网络参数；

步骤S3：定义并初始化每个智能体的经验缓存池和动作探索噪声，所述经验包括智能体的当前状态、信息微量、动作、奖励和下一个状态；

步骤S4：在所述策略网络的确定性行为策略中加入各智能体的信息微量；策略网络通过确定性行为策略和信息微量选择行为；

步骤S5：在每一时刻，对行为进行评估，在所述评估网络构建中采用分组策略：在每一时刻，智能体选择最和自己相关的智能体进行组队，更新分组矩阵；

步骤S6：在每一个回合，对每个智能体进行生灭判断，在环境中学习能力优秀的智能体通过子代遗传到自己全部信息继续训练，而在环境中学习较差的智能体则通过死亡回到初始点重新训练。

2.如权利要求1所述的多智能体群组协作策略自动生成方法，其特征在于，所述步骤S4中在所述策略网络的确定性行为策略中加入各智能体的信息微量，具体表现为策略网络通过确定性行为策略μ_θ和信息微量x_i选择行为a_i，公式为其中，O_i为智能体当前状态的观测值，N_noise为步骤S3中的动作探索噪声。

3.如权利要求2所述的多智能体群组协作策略自动生成方法，其特征在于，所述步骤S4中在所述策略网络的确定性行为策略中加入各智能体的信息微量，具体包括以下步骤：

步骤S4-1：首先在环境X＝R^n*n中，更新每一个智能体agent_i的信息微量x_i，智能体agent_i若到达坐标(i,j)，则智能体agent_i的信息微量设为1，否则为0，构建智能体agent_i在环境X的信息微量，其中R表示噪声，n*n表示环境大小；

步骤S4-2：将所有智能体的信息微量通过公式x_all＝λ₁x₁+λ₂x₂+……+λ_nx_n进行加权求和形成汇总信息微量表x_all，其中权重λ_i为1或0，当智能体agent_i在一回合结束时完成目标，则权重λ_i置为1，否则权重λ_i置为0；

步骤S4-3：对得到的汇总信息微量表x_all进行归一化，使用公式