[发明专利]一种搭载强化学习智能体的无人设备集群协同探索方法

说明书

本发明属于无人设备自动化控制领域，具体提供一种搭载强化学习智能体的无人设备集群协同探索方法，能够有效增强无人集群对未知环境协同探索能力；本发明采用堆栈式自编码器将相似状态编码为相似特征向量，使得智能体能够更清晰的识别相似的环境状态；采用自监督分类器为智能体与所访问的环境状态计算匹配评分，判断该智能体是否应当访问这一状态，引导智能体访问状态的分化，促使不同智能体探索不同的区域，增强多智能体系统对环境的总体探索能力，实现多智能体系统的协同探索，进而加强无人设备集群中不同设备的协同性，提升不同设备间的有效配合，提升集群综合决策能力。

技术领域

本发明属于无人设备自动化控制领域，涉及算法智能决策，具体提供一种搭载强化学习智能体的无人设备集群协同探索方法。

背景技术

强化学习是智能决策领域的常用方法，尤其是深度强化学习结合了强化学习的决策优势与深度学习的感知优势，极大的推进了现代人工智能的发展，被誉为最可能实现通用人工智能的方法。强化学习智能体也比传统智能体具有更加强大的能力，尤其是具有较强的学习性和环境适应性，能够自主探索各类未知环境，对无人设备在野外、远海、太空等完全未知环境中的智能决策、自主运行有关键性作用。具体而言，搭载强化学习智能体的无人设备较传统无人设备有更强的决策能力，搭载强化学习智能体的无人设备集群则可以被认为是多智能体强化学习系统。

然而，强化学习算法要求环境提供的任务奖励不能过于稀疏，否则仍然需要人工制定奖励目标来引导智能体探索未知环境和决策最优策略。传统的强化学习智能体在未知环境中的探索上采取暴力穷举的方式，若环境任务奖励过于稀疏，智能体则需要花费大量的算力在探索奖励上，甚至可能完全无法正确的探索到任何奖励，而人工奖励塑形往往又需要较高的开销。这一问题使得强化学习智能体的训练需要耗费高昂的成本，该成本甚至无法被强化学习智能体的决策优势性所带来的收益补偿，这导致了强化学习算法在实际工业生产中难以落地。

现阶段的强化学习探索主要分为内在动机构建和先验知识引入两种方式，前者主要通过算法构建出除环境任务目标以外的其他奖励逻辑，如好奇心机制鼓励智能体探索从未访问过的环境区域；事后经验回放有效利用失败的探索，增强智能体的可探索范围，但单智能体领域的探索策略对多智能体系统仅部分有效，无法完全解决多智能体的协同探索问题；后者则是使智能体直接学习人类专家已制定完成的策略，此类方法需要专家对未知环境直接进行研究判断，无法充分发挥强化学习的决策优势。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提供一种搭载强化学习智能体的无人设备集群协同探索方法，能够有效增强无人集群对未知环境协同探索能力；本发明旨在训练不同智能体之间的独立性，鼓励不同智能体探索不同环境区域，加速多智能体系统的社会分工分化，极大的缩短总体探索时间，节省多智能体强化学习训练中探索阶段的算力开销，进而反映到无人设备集群上，可以提升集群间不同设备的有效配合，提升集群综合决策能力。

为达到上述目的，本发明采用的技术方案是：

一种搭载强化学习智能体的无人设备集群协同探索方法，将无人集群视为一个多智能体系统，将搭载强化学习智能体的无人设备集群视为一个多智能体强化学习系统，包括以下步骤：

S1、根据智能体属性对多智能体系统中每个智能体进行特征向量编码，获得每个智能体的智能体特征向量；

S2、多智能体系统与环境交互，每个智能体从环境中获取下一个观测态和任务奖励；

S3、构建堆栈式自编码器，并根据环境中已探知状态对其进行无监督训练，得到自编码器模型；

S4、通过自编码器模型对多智能体系统中每个智能体在当前时间步访问状态的观测态进行编码，获得每个智能体的状态特征向量；

S5、采用分类器对当前时间步多智能体系统中每个智能体的智能体特征向量和状态特征向量计算匹配评分；