[发明专利]一种逆强化学习处理方法、装置、存储介质及电子装置

说明书

本申请实施例提供了一种逆强化学习处理方法、装置、存储介质及电子装置，该方法包括：获取以预先设置的状态候选集中的目标状态为起始状态，提供的目标示范轨迹；将该目标示范轨迹添加到初始化后的示范集合中，得到更新后的示范集合；根据该更新后的示范集合进行逆强化学习训练，得到满足预设条件的目标策略，可以解决相关技术中逆强化学习需要收集大量专家示范，大量专家示范导致代价很高的问题，从状态候选集中挑选最具价值的状态(贡献值最大的目标状态)作为起始状态，获取以目标状态为起始状态的示范轨迹，更新示范集合，根据更新后的示范集合训练策略，达到减少示范代价的目的。

技术领域

本申请实施例涉及通信领域，具体而言，涉及一种逆强化学习处理方法、装置、存储介质及电子装置。

背景技术

模仿学习是一种与强化学习不同的训练策略的方式，其通过从专家的示范中训练策略，可以有效的减少训练的时长，对于奖赏函数稀疏的问题，也能训练得到有效的策略。逆强化学习是一类典型的模仿学习方法，其思想是先从专家的示范中学得奖赏函数，再应用强化学习训练策略。然而逆强化学习训练策略需要收集大量的专家示范，在实际的任务中，收集专家示范的代价是高昂的，这一代价是时间、金钱、安全性等各方面的。

针对相关技术中逆强化学习需要收集大量专家示范，大量专家示范导致代价很高的问题，尚未提出解决方案。

发明内容

本申请实施例提供了一种逆强化学习处理方法、装置、存储介质及电子装置，以至少解决相关技术中逆强化学习需要收集大量专家示范，大量专家示范导致代价很高的问题。

根据本申请的一个实施例，提供了一种逆强化学习处理方法，包括：

获取以预先设置的状态候选集中目标状态为起始状态，提供的目标示范轨迹；

将所述目标示范轨迹添加到初始化后的示范集合中，得到更新后的示范集合；

根据所述更新后的示范集合进行逆强化学习训练，得到满足预设条件的目标策略。

在一示例性实施例中，根据所述更新后的示范集合进行逆强化学习训练，得到满足预设条件的目标策略包括：

重复执行以下步骤，直到训练得到的策略满足所述预设条件：

根据所述状态候选集中状态的贡献值更新所述示范集合，得到更新后的示范集合；

根据所述更新后的示范集合进行逆强化学习训练，得到所述策略；

确定所述策略为所述目标策略。

在一示例性实施例中，获取所述状态候选集中贡献值最大的目标状态为起始状态，提供的目标示范轨迹包括：

确定所述状态候选集中每个状态的贡献值；

从所述每个状态的贡献值中确定所述贡献值最大的目标状态；

确定所述目标示范轨迹的长度n，n为大于0的整数；

获取以所述目标状态为起始状态，提供的所述长度n的示范轨迹，其中，所述目标示范轨迹包括n个的状态动作对。

在一示例性实施例中，确定所述目标示范轨迹的长度n包括：

初始化n＝0，初始化当前状态s；

重复执行以下步骤，直到下一状态s′的贡献值小于所述目标状态的贡献值，得到所述长度n：

基于所述当前状态执行训练得到的策略π；

如果下一状态s′的贡献值大于所述目标状态的贡献值，则将当前状态s更改为s′；

n＝n+1。

在一示例性实施例中，确定所述状态候选集中每个状态的贡献值包括：