[发明专利]一种基于强化学习系统实现的动态集成训练方法

说明书

本发明公开了一种基于强化学习系统实现的动态集成训练方法，包括：1)准备强化学习系统的多个学习主体(即基智能体)，基智能体维持着独立的经验池，用于存储转移样本、潜层特征空间的状态表征及局部竞争力；2)训练阶段让基智能体与环境进行交互，存储转移样本及实时回报以计算局部竞争力；3)随机选取一个状态，选择其与经验池中其它状态在潜层特征空间的状态进行相似性度量；4)根据状态相似度寻找其相似状态，并从中选取一批状态作为相似状态子集；5)根据相似状态子集完成局部竞争力的度量及权重计算；6)根据权重计算目标Q值，根据加权集成的目标Q值更新网络参数直至网络收敛。本发明最大化利用所有基础智能体的信息以提升集成系统的性能表现。

技术领域

本发明涉及强化学习集成学习的技术领域，尤其是指一种基于强化学习系统实现的动态集成训练方法。

背景技术

强化学习作为人工智能领域的一大热门方向，在机器人控制、无人驾驶等序列动作决策领域有着广泛的应用。深度学习因其优秀的特征提取能力在图像识别、语义分割等诸多领域得以应用。2013年DeepMind将深度学习用于强化学习领域提出了深度Q网络的深度强化学习算法，实现了端到端的学习。但强化学习中的状态空间大、环境反馈稀疏、数据不满足独立同分布假定等问题使得强化学习的训练时间长且收敛困难。如何提升强化学习系统的性能及减少训练时常是亟待解决的问题。

集成学习通过集成一组次优学习器替代寻找最优学习器，可以有效提升系统性能，在分类领域有着广泛的应用。目前集成学习在强化学习领域的应用多沿用了分类领域的集成算法，采用了多数投票法、平均法、加权平均等静态集成算法，这些静态集成算法假定所有的基智能体都有相同的表现或是直接忽略整体表现较差的基智能体，在部分状态区域有着优秀表现但整体表现一般的基智能体的能力会被忽略。动态集成算法可根据基学习器的局部竞争力动态赋予权重有效提升系统性能，其已被证明在分类领域有着很好的性能提升效果，但其在强化学习领域的探究暂且空白。将动态集成算法从分类领域拓展到强化学习领域，有效利用基智能体的全部信息是本发明所要解决的问题。

发明内容

本发明的目的在于克服现有技术的缺陷和不足，提出了一种基于强化学习系统实现的动态集成训练方法，突破了传统静态集成算法无法利用基智能体在不同状态区域表现差异性的问题，有效利用了基智能体的全部能力，根据基智能体的局部竞争力来动态计算权重，根据权重来集成多个基智能体的目标Q值获得最终的目标Q值，根据集成后的目标Q值更新基智能体的Q值神经网络，使得目标Q值更为准确，提升系统性能和算法收敛能力。

基于上述目的，本发明所提供的技术方案为：一种基于强化学习系统实现的动态集成训练方法，包括以下步骤：

1)准备强化学习系统的多个学习主体，即多个基智能体，每个基智能体都维持着独立的经验池，经验池用于存储转移样本、潜层特征空间的状态表征及局部竞争力；

2)训练阶段让基智能体与环境进行交互，存储转移样本及实时回报以计算局部竞争力；

3)随机选取一个状态，选择其与经验池中其它状态在潜层特征空间的状态进行相似性度量；

4)根据状态相似度寻找其相似状态，并从中选取一批状态作为相似状态子集；

5)根据相似状态子集完成局部竞争力的度量及权重计算；

6)根据权重计算目标Q值，根据加权集成的目标Q值更新网络参数直至网络收敛。

进一步，在步骤1)中，所述基智能体采取不同的卷积层和全连接层来提升多样性，共有l个基智能体；所述转移样本包括当前时间步的状态、动作、实时回报及下一个状态。

进一步，在步骤2)中，所述局部竞争力用于评估基智能体在某一状态下的局部表现，其量化标准为局部折扣累积回报和，即以状态为初始状态与环境交互多次的折扣累计回报和：