[发明专利]基于好奇心和对经验数据的优先化进行探索的方法

说明书

提供了一种用于在多代理强化学习中基于好奇心和对经验数据的优先化进行探索的方法，该方法包括步骤：计算第一代理的策略和第二代理的策略之间的相似性，并且使用该相似性来计算最终奖励；以及使用计算第一代理的策略和第二代理的策略之间的相似性的结果在回放缓冲器上执行聚类，并且对簇中的数据执行采样。

相关申请的交叉引用

本申请要求于2021年1月6日提交的、申请号为10-2021-0001498的韩国专利申请以及于2021年12月28日提交的、申请号为10-2021-0190049的韩国专利申请的优先权和权益，其公开通过引用整体被合并于此。

技术领域

本发明涉及用于在多代理强化学习中基于好奇心和对经验数据的优先化进行探索的方法。

背景技术

根据相关技术的多代理(multi-agent)强化学习仅仅依赖神经网络计算其他代理的动作的影响，并且不能在学习中根据其他代理的动作来反映最优策略。

此外，随着回放缓冲器(存储器)的尺寸增加，因为根据相关技术的多代理强化学习仅仅选择少量样本，所以当解决复杂问题时，代理可能无法进行各种尝试而且可能仅找出有限的方法。

发明内容

提出了本发明以解决以上描述的问题，并且本发明涉及提供一种方法，其中：第一代理考虑第二代理(即，包括多个代理的另外的代理)的策略来学习其(第一代理的)策略，并且基于多代理强化学习中的利用稀疏奖励的学习在回放缓冲器(存储器)中提取经验数据。

本发明的技术目标不局限于以上，并且基于以下描述，其他目标可以对本领域技术人员而言变得明显。

根据本发明的方面，提供一种用于在多代理强化学习中基于好奇心(curiosity)和对经验数据的优先化(prioritization)进行探索的方法，该方法包括步骤：(a)计算第一代理的策略和第二代理的策略之间的相似性并且使用该相似性计算最终奖励；以及(b)使用计算第一代理的策略和第二代理的策略之间的相似性的结果在回放缓冲器上执行聚类，并且对簇中的数据执行采样。

步骤(a)可以包括使用条件互信息来计算策略之间的相似性。

步骤(a)可以包括：对根据另一代理的影响的奖励与由神经网络习得的参数的乘积和从环境共同给予的奖励进行求和，以计算最终奖励。

步骤(a)可以包括另外使用内在奖励来计算最终奖励。

步骤(b)可以包括：执行根据第一代理的策略的动作以及监视第二代理的历史当中的预设数量的最近历史，以计算策略的相似性。

步骤(b)可以包括使用库尔贝克–莱布勒(KL；Kullback-Leibler)散度来计算策略的相似性。

步骤(b)可以包括：将计算出的KL散度的值存储在回放缓冲器中，以及使用层次聚合聚类(hierarchical agglomerative clustering)执行聚类，使得簇的总数量变得小于预设数量。

步骤(b)可以包括：根据以下准则中的至少一个来执行所述采样：使用所有数据项的数量和簇中的数据项的数量的准则；以及使用回放缓冲器的KL散度值和簇中的KL散度值之和的准则。

根据本发明的方面，提供一种用于在多代理强化学习中进行基于好奇心的探索和对经验数据的优先化的装置，该装置包括：输入单元，其接收第一代理的策略和第二代理的策略；存储器，其中存储有用于比较策略的相似性以计算最终奖励以及确定经验数据的优先级的程序；以及处理器，其执行程序，其中，上述处理器计算最终奖励，该最终奖励是通过基于策略之间的相似性对根据第二代理的影响的奖励和从环境共同给予的奖励进行求和而获得的。

处理器可以通过条件互信息计算策略之间的相似性，并且计算最终奖励。