[发明专利]用于稀疏奖励环境的强化学习方法、装置、设备及介质

权利要求书

1.一种用于稀疏奖励环境的强化学习方法，其特征在于，包括：

将动作分别与多个当前环境状态进行交互，得到多个下一时刻的环境状态；

计算所述下一时刻的环境状态的相似度，得到相似度矩阵；

根据所述相似度矩阵判断当前环境状态是否会受到随机噪声的影响；

若当前环境状态会受到随机噪声的影响，则通过预设的环境熟悉度模型计算内在奖励值；

根据与环境交互产生的经验数据以及计算出来的内在奖励值进行策略的学习。

2.根据权利要求1所述的方法，其特征在于，将动作分别与多个当前环境状态进行交互之前，还包括：

复制获取到的当前环境状态，得到多个当前环境状态。

3.根据权利要求1所述的方法，其特征在于，根据所述相似度矩阵判断当前环境状态是否会受到随机噪声的影响，包括：

计算所述相似度矩阵的和；

若所述相似度矩阵的和小于预设阈值，确定当前环境状态会受到随机噪声的影响。

4.根据权利要求3所述的方法，其特征在于，若当前环境状态不会受到随机噪声的影响，还包括：

基于好奇心的方法计算内在奖励值。

5.根据权利要求4所述的方法，其特征在于，基于好奇心的方法计算内在奖励值，包括：

采用神经网络构建环境模型；

将当前环境状态和当前动作输入所述环境模型，输出下一个状态的预测值；

根据下一个状态的预测值计算预测误差，将所述预测误差作为内在奖励值。

6.根据权利要求1所述的方法，其特征在于，若当前环境状态会受到随机噪声的影响，则通过预设的环境熟悉度模型计算内在奖励值，包括：

通过随机采样的方式从历史环境状态中随机获取预设数量个历史环境状态；

根据所述随机获取的历史环境状态与当前环境状态的相似度构建随机相似度矩阵；

根据所述随机相似度矩阵构建所述环境熟悉度模型。

7.根据权利要求6所述的方法，其特征在于，通过所述环境熟悉度模型计算内在奖励值，包括：

其中，f(s)表示内在奖励值，∑sim表示所述随机相似度矩阵的和。

8.一种用于稀疏奖励环境的强化学习装置，其特征在于，包括：

交互模块，用于将动作分别与多个当前环境状态进行交互，得到多个下一时刻的环境状态；

第一计算模块，用于计算所述下一时刻的环境状态的相似度，得到相似度矩阵；

判断模块，用于根据所述相似度矩阵判断当前环境状态是否会受到随机噪声的影响；

第二计算模块，用于当前环境状态会受到随机噪声的影响时，通过预设的环境熟悉度模型计算内在奖励值；

策略学习模块，用于根据与环境交互产生的经验数据以及计算出来的内在奖励值进行策略的学习。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述的用于稀疏奖励环境的强化学习方法的步骤。

10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述的用于稀疏奖励环境的强化学习方法的步骤。