[发明专利]一种搭载强化学习智能体的无人设备集群协同探索方法

权利要求书

1.一种搭载强化学习智能体的无人设备集群协同探索方法，将无人集群视为一个多智能体系统，将搭载强化学习智能体的无人设备集群视为一个多智能体强化学习系统，包括以下步骤：

S1、根据智能体属性对多智能体系统中每个智能体进行特征向量编码，获得每个智能体的智能体特征向量；

S2、多智能体系统与环境交互，每个智能体从环境中获取下一个观测态和任务奖励；

S3、构建堆栈式自编码器，并根据环境中已探知状态对其进行无监督训练，得到自编码器模型；

S4、通过自编码器模型对多智能体系统中每个智能体在当前时间步访问状态的观测态进行编码，获得每个智能体的状态特征向量；

S5、采用分类器对当前时间步多智能体系统中每个智能体的智能体特征向量和状态特征向量计算匹配评分；

S6、根据匹配评分，对当前时间步多智能体系统中的每个智能体计算匹配评分奖励；

S7、根据匹配评分奖励、任务奖励，对当前时间步多智能体系统中的每个智能体计算总奖励；

S8、根据智能体当前观测态、动作、下一个观测态与总奖励，训练多智能体强化学习算法，更新强化学习智能体策略模型。

2.按权利要求1所述搭载强化学习智能体的无人设备集群协同探索方法，其特征在于，步骤S1中，所述特征向量编码的过程为：

S11、马尔可夫决策决策过程中的全体动作空间{A_i}_i∈I可以被划分为互相独立的n份：{z₁,z₂,…,z_n}，采用n维向量编码智能体类型，若智能体i的可执行动作空间A_i和划分空间z_i重合，则将z_i所对应的向量位记为1，其余向量位记为0，获得智能体i的智能体类型特性向量；

S12、对每个类型的智能体，通过独热编码方式编码智能体序号，获得智能体i的智能体序号特征向量；

S13、将智能体类型特征向量和智能体序号特性向量级联，获得智能体i的智能体特征向量。

3.按权利要求1所述搭载强化学习智能体的无人设备集群协同探索方法，其特征在于，步骤S2中，在每个时间步中，多智能体系统中的每个智能体依次与环境交互：智能体i根据当前观测态o_i与强化学习策略模型π_i决策出动作a_i，环境在智能体i的当前状态s_i执行动作a_i，将智能体i转移到状态s_i′，并将任务奖励和下一个观测态o_i′反馈给智能体i。

4.按权利要求1所述搭载强化学习智能体的无人设备集群协同探索方法，其特征在于，步骤S3中，具体为：

S31、在每个时间步中，收集多智能体系统中各个智能体访问状态的观测态，存入大小为buffsize的观测态缓存区B_s；

S32、通过多层感知器构建足够解析全体环境状态空间的堆栈式自编码器Coder；

S33、在强化学习的每个epsiode结束时，从观测态缓存区B_s中采样抽取数据，采用均方误差损失函数对堆栈式自编码器Coder进行无监督训练，得到收敛的自编码器模型。

5.按权利要求1所述搭载强化学习智能体的无人设备集群协同探索方法，其特征在于，步骤S4中，具体为：将智能体i从环境获取的下一个观测态输入至自编码器模型中，由自编码器模型的编码模块计算得到智能体i的状态特征向量。