[发明专利]用于稀疏奖励环境的强化学习方法、装置、设备及介质

说明书

本发明公开了一种用于稀疏奖励环境的强化学习方法、装置、设备及介质，所述方法包括：将动作分别与多个当前环境状态进行交互，得到多个下一时刻的环境状态；计算所述下一时刻的环境状态的相似度，得到相似度矩阵；根据所述相似度矩阵判断当前环境状态是否会受到随机噪声的影响；若当前环境状态会受到随机噪声的影响，则通过预设的环境熟悉度模型计算内在奖励值；根据与环境交互产生的经验数据以及计算出来的内在奖励值进行策略的学习。根据本公开实施例提供的强化学习方法，能够在外部奖励比较稀疏或者不存在的情况下快速有效地学习策略。

技术领域

本发明涉及人工智能技术领域，特别涉及一种用于稀疏奖励环境的强化学习方法、装置、设备及介质。

背景技术

在强化学习中与智能体相交互的所有内容都被称为环境，环境可以给智能体提供状态，智能体根据状态做出决策，环境反馈给智能体奖励。然而在现实的强化学习任务中，有很多的奖励是稀疏的，环境不能根据智能体的每一次决策都及时反馈给奖励值，更有甚者，在最终状态才能得到奖励，如围棋、蒙特祖玛的复仇等游戏。

稀疏奖励问题会导致强化学习算法迭代缓慢,甚至难以收敛。目前针对于这类奖励稀疏的任务，采取的方法有：奖励重塑、经验回放、探索与利用等。但是奖励重塑重新构造奖励值，不具有通用性，经验回放只适合离线的算法，探索利用中有基于好奇心的方法，基于好奇心的探索方法构造了状态的预测模型，通过预测的下一状态和实际的下一状态之差来衡量对环境的好奇度，把它当作内在奖励，但是该模型会受到随机噪声的影响失去意义，导致下一个状态不可预测，并且与智能体的决策无关。

发明内容

本公开实施例提供了一种用于稀疏奖励环境的强化学习方法、装置、设备及介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本公开实施例提供了一种用于稀疏奖励环境的强化学习方法，包括：

将动作分别与多个当前环境状态进行交互，得到多个下一时刻的环境状态；

计算下一时刻的环境状态的相似度，得到相似度矩阵；

根据相似度矩阵判断当前环境状态是否会受到随机噪声的影响；

若当前环境状态会受到随机噪声的影响，则通过预设的环境熟悉度模型计算内在奖励值；

根据与环境交互产生的经验数据以及计算出来的内在奖励值进行策略的学习。

在一个可选地实施例中，将动作分别与多个当前环境状态进行交互之前，还包括：

复制获取到的当前环境状态，得到多个当前环境状态。

在一个可选地实施例中，根据相似度矩阵判断当前环境状态是否会受到随机噪声的影响，包括：

计算相似度矩阵的和；

若相似度矩阵的和小于预设阈值，确定当前环境状态会受到随机噪声的影响。

在一个可选地实施例中，若当前环境状态不会受到随机噪声的影响，还包括：

基于好奇心的方法计算内在奖励值。

在一个可选地实施例中，基于好奇心的方法计算内在奖励值，包括：

采用神经网络构建环境模型；

将当前环境状态和当前动作输入环境模型，输出下一个状态的预测值；

根据下一个状态的预测值计算预测误差，将预测误差作为内在奖励值。

在一个可选地实施例中，若当前环境状态会受到随机噪声的影响，则通过预设的环境熟悉度模型计算内在奖励值，包括：