[发明专利]一种多智能体强化学习方法、电子设备及存储介质

权利要求书

1.一种多智能体强化学习方法，其特征在于，所述方法包括：

S110、对多智能体的每个单位构建一个智能体，每个智能体包括在线智能体网络和目标智能体网络；

S120、对所述多智能体构建值函数融合网络，所述值函数融合网络包括在线融合网络和目标融合网络；

S130、执行动作决策阶段，每个智能体的所述在线智能体网络根据该智能体的当前时刻局部信息计算得到该智能体的所有的当前时刻个体值函数，并基于该智能体的所有的当前时刻个体值函数输出该智能体的当前时刻动作决策并在环境中执行该动作决策，以得到该智能体的下一时刻局部信息当所有智能体执行各自的当前时刻动作决策后，环境返回一个所有智能体共享的奖励函数r_t；

S140、模型训练阶段，将所有智能体所执行的各自当前动作决策对应的当前时刻个体值函数输入所述在线融合网络，得到当前时刻实际全局值函数Q_tot(o_t，a_t；θ)；每个智能体依次将各自的下一时刻个体局部信息输入到各自的目标智能体网络，得到下一时刻各自的所有个体值函数，并从中选择最大的下一时刻个体值函数将所有智能体的最大的下一时刻个体值函数输入所述目标融合网络，得到下一时刻的最优全局值函数其中，θ^-为包含所述目标融合网络和所有智能体的目标智能体网络的参数，θ为包含所述在线融合网络和所有智能体的在线智能体网络的参数，为第i个智能体的目标智能体网络的参数，θ_i为第i个智能体的在线智能体网络的参数；

S150、利用所述当前时刻实际全局值函数Q_tot(o_t，a_t；θ)和所述下一时刻最优全局值函数对所述在线智能体网络和所述在线融合网络进行训练，对所述在线智能网络体的参数和所述在线融合网络的网络参数进行更新；

S160、对所述多智能体中的第i个智能体，当第i个智能体的当前时刻个体值函数的更新目标大于第i个智能体的当前时刻个体值函数时，利用第i个智能体的最大的下一时刻个体值函数和当前时刻个体值函数对第i个智能体的所述在线智能体网络进行训练，对第i个智能体的所述在线智能体网络的参数进行再次更新，其中，第i个智能体的当前时刻个体值函数的更新目标为其中，γ为强化学习算法的折扣因子。

2.根据权利要求1所述的方法，其特征在于，所述利用所述当前时刻实际全局值函数Q_tot(o_t，a_t；θ)和所述下一时刻最优全局值函数对所述在线智能网络体的参数和所述在线融合网络的参数进行更新，是按照以下基于全局值函数的第一损失函数进行的：

其中，其中L_θ为基于全局值函数的均方误差损失函数，r_t为所述奖励函数，γ为强化学习算法的折扣因子，o_t表示所有智能体的当前时刻局部信息的集合，o_t+1表示所有智能体的下一时刻局部信息的集合，a_t表示所有智能体的当前时刻动作决策的集合，a_t+1为所有智能体的下一时刻动作决策的集合。

3.根据权利要求2所述的方法，其特征在于，对于第i个智能体，所述利用第i个智能体的最大的下一时刻个体值函数和当前时刻个体值函数对第i个智能体的所述在线智能体网络的参数进行再次更新，是按照以下基于个体值函数的第二损失函数进行的：

其中，

表示基于个体值函数的均方误差损失函数，r_t为所述奖励函数，I为强化学习算法的折扣因子，表示第i个智能体的当前时刻局部信息，表示第i个智能体的下一时刻局部信息，表示第i个智能体的当前时刻动作决策，aⁱ表示第i个智能体的所有时刻动作决策的集合。