[发明专利]多代理强化学习合作任务场景下的代理间交换知识的方法

权利要求书

1.一种多代理强化学习合作任务场景下的代理间交换知识的方法，其特征在于，包括：

每个代理独立进行观测，并通过编码器将所观测的局部状态进行编码，生成对应的特征向量；

中心站为神经网络函数近似器，承担整合、交换代理间知识的功能；

所述代理将所述特征向量发送给所述中心站，中心站进行整合，为各代理生成知识向量，并分发给相应的代理；

所述代理接收到所述知识向量，与所述特征向量一起输入自己的策略网络，所述策略网络输出动作向量；

将所述动作向量和所述特征向量输入所述代理对应的动作价值函数，联合所述动作价值函数组成中心动作-价值函数；最大化所述中心动作-价值函数，计算对应梯度，调整所述编码器、所述中心站和所述策略网络的参数；

其中，所述代理对应的编码器和策略网络的参数是共享的。

2.如权利要求1所述的方法，其特征在于，具体如下：

所述中心站由循环神经网络进行实现，并将网络的循环单元按代理数目进行展开；将所述循环单元的隐含状态作为所述知识向量，分别对应所述代理的策略网络的输入。

3.如权利要求1所述的方法，其特征在于，具体如下：

所述的中心动作-价值函数是单个代理的动作-价值函数的组合，最大化所述中心动作-价值函数同时计算策略网络参数、中心站和策略网络参数的梯度；其中，中心站的梯度是展开后再进行计算。