[发明专利]针对智能体意外出错情况的多智能体强化学习方法及系统

权利要求书

1.一种针对智能体意外出错情况的多智能体强化学习方法，其特征在于，包括：

多智能体强化学习过程中，引入自适应掉线率，根据当前自适应掉线率进行随机采样，将一部分智能体设置为掉线状态，其他智能体正常工作，处于掉线状态的智能体输出随机动作；

每隔设定的步数对当前模型进行测试，根据模型测试结果来调整自适应掉线率的大小。

2.根据权利要求1所述的一种针对智能体意外出错情况的多智能体强化学习方法，其特征在于，所述多智能体强化学习过程中将掉线状态的智能体输出的随机动作与正常工作的智能体输出的动作通过混合网络进行决策，得到最终输出动作，通过最终输出动作计算损失，从而进行多智能体强化学习。

3.根据权利要求1所述的一种针对智能体意外出错情况的多智能体强化学习方法，其特征在于，所述根据模型测试结果来调整自适应掉线率的大小包括：

如果模型测试结果表明模型性能超过性能阈值，则通过下式调整自适应掉线率的大小：

α′＝α+ρ*(1-α)

如果模型测试结果表明模型性能未超过性能阈值，则通过下式调整自适应掉线率的大小：

α′＝α+ρ*(0-α)

其中，ρ为更新自适应掉线率α的学习率，α′为调整后的自适应掉线率。

4.根据权利要求1～3任一项所述的一种针对智能体意外出错情况的多智能体强化学习方法，其特征在于，所述自适应掉线率记为α，表征每个智能体掉线的概率，每个智能体的掉线概率服从参数为α的伯努利分布。

5.根据权利要求1～3任一项所述的一种针对智能体意外出错情况的多智能体强化学习方法，所述根据当前自适应掉线率进行随机采样包括：

在训练时，每一次与环境完整的交互都有一个对应的自适应掉线率，按照伯努利分布进行随机采样。

6.根据权利要求1～3任一项所述的一种针对智能体意外出错情况的多智能体强化学习方法，当处于掉线状态的智能体的数量超出当前掉线率的期望时，则重新进行采样，直到掉线智能体数量符合期望。

7.一种针对智能体意外出错情况的多智能体强化学习系统，其特征在于，该系统包括：

自适应掉线率设置与随机采样单元，用于多智能体强化学习过程中，引入自适应掉线率，根据当前自适应掉线率进行随机采样，将一部分智能体设置为掉线状态，其他智能体正常工作，处于掉线状态的智能体输出随机动作；

自适应掉线率调整单元，用于每隔设定的步数对当前模型进行测试，根据模型测试结果来调整自适应掉线率的大小。

8.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～6任一项所述的方法。

9.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1～6任一项所述的方法。