[发明专利]多代理强化学习合作任务场景下的代理间交换知识的方法

说明书

本发明公开了一种多代理强化学习合作任务场景下的代理间交换知识的方法，包括：每个代理独立观测环境，使用神经网络将环境进行编码，提取相关的特征向量；所述代理将各自的特征向量交由中心站（使用循环神经网络实现）进行整合，所述中心站为各代理生成新的知识编码并进行分发；所述代理接收到新的知识，整合旧有的环境特征向量，然后输入神经网络策略进行决策；上述所有神经网络的参数学习是端到端进行的。该方法能够对多个代理所观测的知识进行整合，帮助多代理系统在合作任务上学习到更好的策略。其中，代理的数目不受限制。

技术领域

本发明属于人工智能自动化领域，特别地涉及一种多代理强化学习合作任务场景下的代理间交换知识的方法。

背景技术

现代人工智能自动化领域使用强化学习来训练代理执行任务是一个常见的解决方案，其中，许多场景依赖多个代理进行合作来达成共同的目标。在多代理合作体系中，常见的有如下几种方法：(1)每个代理独立使用策略；(2)每个代理共享策略；(3)代理之间进行通信，辅助策略进行判断。

对于前两种方法，由于多个代理之间的信息观测是独立的，可能导致代理之间的动作产生冲突，进一步可能影响合作的效果，导致损失。因此，大多数多代理合作场景中使用代理间通信来交换知识，协调动作，进行合作。然而，在现有的通信一般是发生在代理和代理之间，随着代理数目的增加，其通信消耗的成本呈指数级别增长。采用中心站模式来接收消息和分发知识可以缓解相关的通信成本，但这种方式在具体实现中又有诸多限制：(1)若采用固定的通信协议来交换知识，则需要领域专家对相关场景进行通信协议的设计，无法适应多种场景；(2)若采用机器学习技术来学习交换知识的方法，则其网络的拓展性无法得到保障，在代理的数目变动之后又需要重新学习交换知识的策略。

发明内容

为解决上述问题，本发明的目的在于提供一种多代理强化学习合作任务场景下的代理间交换知识的方法，其通过展开的循环神经网络中心站来整合信息和分发知识，并通过端到端的学习来更好地帮助策略的学习，同时中心站的展开能适应不同数目的代理的情况。

为实现上述目的，本发明的解决方案为：

每个代理独立进行观测，并通过编码器将所观测的局部状态进行编码，生成对应的特征向量；中心站为神经网络函数近似器，承担整合、交换代理间知识的功能；所述代理将所述特征向量发送给所述中心站，中心站进行整合，为各代理生成知识向量，并分发给相应的代理；所述代理接收到所述知识向量，与所述特征向量一起输入自己的策略网络，所述策略网络输出动作向量。

将所述动作向量和所述特征向量输入所述代理对应的动作价值函数，联合所述动作价值函数组成中心动作-价值函数；最大化所述中心动作-价值函数，计算对应梯度，调整所述编码器、所述中心站和所述策略网络的参数；其中，所述代理对应的编码器和策略网络的参数是共享的。

所述中心站由循环神经网络进行实现，并将网络的循环单元按代理数目进行展开；将所述循环单元的隐含状态作为所述知识向量，分别对应所述代理的策略网络的输入。

所述的中心动作-价值函数是单个代理的动作-价值函数的组合，最大化所述中心动作-价值函数同时计算策略网络参数、中心站和策略网络参数的梯度；其中，中心站的梯度是展开后再进行计算。

与现有技术相比，本发明具有的有益效果为：本发明提供的多代理强化学习合作任务场景下的代理间交换知识的方法能适应不同数量的代理的场景，且端到端训练能提升对应场景下的任务性能表现。

附图说明

图1是中心站展开后的模型示意图；

图2是合作导航任务的示意图。

具体实施方式