[发明专利]基于好奇心和对经验数据的优先化进行探索的方法

权利要求书

1.一种基于好奇心和对经验数据的优先化进行探索的方法，所述方法包括以下步骤：

(a)计算第一代理的策略和第二代理的策略之间的相似性并且使用所述相似性来计算最终奖励；以及

(b)使用计算所述第一代理的策略和所述第二代理的策略之间的所述相似性的结果在回放缓冲器上执行聚类，并且对簇中的数据执行采样。

2.根据权利要求1所述的方法，其中，所述步骤(a)包括使用条件互信息来计算所述策略之间的相似性。

3.根据权利要求1所述的方法，其中，所述步骤(a)包括：对根据另一代理的影响的奖励与由神经网络习得的参数的乘积和从环境共同给予的奖励进行求和，以计算所述最终奖励。

4.根据权利要求3所述的方法，其中，所述步骤(a)包括另外使用内在奖励来计算所述最终奖励。

5.根据权利要求1所述的方法，其中，所述步骤(b)包括：执行根据所述第一代理的策略的动作以及监视所述第二代理的历史当中的预设数量的最近历史，以计算所述策略的相似性。

6.根据权利要求5所述的方法，其中，所述步骤(b)包括使用库尔贝克–莱布勒KL散度来计算所述策略的相似性。

7.根据权利要求6所述的方法，其中，所述步骤(b)包括：将计算出的KL散度的值存储在所述回放缓冲器中，以及使用层次聚合聚类执行所述聚类，使得所述簇的总数量变得小于预设数量。

8.根据权利要求7所述的方法，其中，所述步骤(b)包括：根据以下准则中的至少一个来执行所述采样：使用所有数据项的数量和所述簇中的数据项的数量的准则；以及使用所述回放缓冲器的KL散度值和所述簇中的KL散度值之和的准则。

9.一种用于在多代理强化学习中进行基于好奇心的探索和对经验数据的优先化的装置，所述装置包括：

输入单元，其接收第一代理的策略和第二代理的策略；

存储器，其中存储有用于比较所述策略的相似性以计算最终奖励以及确定经验数据的优先级的程序；以及

处理器，其执行所述程序，

其中，所述处理器计算所述最终奖励，所述最终奖励是通过基于所述策略之间的相似性对根据所述第二代理的影响的奖励和从环境共同给予的奖励进行求和而获得的。

10.根据权利要求9所述的装置，其中，所述处理器通过条件互信息来计算所述策略之间的相似性，并且计算所述最终奖励。

11.根据权利要求9所述的装置，其中，所述处理器使用根据所述第一代理的策略的动作和监视所述第二代理的历史的结果来计算所述策略之间的相似性。

12.根据权利要求11所述的装置，其中，所述处理器使用计算所述策略之间的相似性的结果在回放缓冲器上执行聚类，并且对簇中的数据执行采样以确定经验数据的优先级。

13.根据权利要求12所述的装置，其中，所述处理器使用层次聚合聚类执行所述聚类，使得所述簇的总数量变得小于预设数量。

14.根据权利要求12所述的装置，其中，所述处理器根据以下准则中的至少一个来执行所述采样：使用所有数据项的数量和所述簇中的数据项的数量的准则；以及使用所述回放缓冲器的KL散度值和所述簇中的KL散度值之和的准则。