[发明专利]动作价值的确定方法、装置、学习框架、介质及设备

权利要求书

1.一种用于深度强化学习模型的动作价值的确定方法，其特征在于，所述方法包括：

获取深度强化学习模型与虚拟环境交互所产生的交互序列，其中，所述交互序列包括多个采样数据，其中，每一所述采样数据包括所述虚拟环境的环境状态、以及与所述环境状态对应的决策动作；

针对每一所述采样数据，确定所述深度强化学习模型的优势函数与该采样数据中的环境状态对应的优势函数值，以及在所述采样数据对应的决策策略下所述优势函数值的优势期望，其中，所述决策策略对应的概率分布为基于所述优势函数和所述深度强化学习模型的策略熵参数构造的；

针对每一所述采样数据，根据所述采样数据、与所述采样数据对应的优势函数值、所述优势期望以及所述深度强化学习模型的状态值函数，确定所述采样数据对应的动作价值。

2.根据权利要求1所述的方法，其特征在于，所述决策策略对应的概率分布通过以下方式构造：

根据所述优势函数值与所述策略熵参数确定所述决策策略对应的目标参数；

将所述目标参数进行softmax处理后得到的概率分布确定为所述决策策略对应的概率分布。

3.根据权利要求1所述的方法，其特征在于，所述根据所述采样数据、与所述采样数据对应的优势函数值、所述优势期望以及所述深度强化学习模型的状态值函数，确定所述采样数据对应的动作价值，包括：

根据所述采样数据中的环境状态，确定所述状态值函数对应的状态价值；

将所述优势函数值与所述优势期望之差确定为处理优势函数值；

将所述处理优势函数值与所述状态价值之和确定为所述动作价值。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述动作价值确定所述深度强化学习模型的动作值函数的更新梯度信息；

根据所述更新梯度信息对所述深度强化学习模型进行更新。

5.根据权利要求4所述的方法，其特征在于，所述基于所述动作价值确定所述深度强化学习模型的动作值函数的更新梯度信息，包括：

根据所述决策策略的更新梯度信息、和在所述决策策略下的动作价值与状态价值的差值在目标方向上的分量之差的期望值，确定所述动作值函数的更新梯度信息。

6.根据权利要求1所述的方法，其特征在于，所述交互序列为在虚拟对象与所述虚拟环境进行交互的过程中进行采样获得的，其中，所述虚拟对象基于所述深度强化学习模型进行控制，所述虚拟环境为所述虚拟对象所处的环境。

7.一种用于深度强化学习模型的动作价值的确定装置，其特征在于，所述装置包括：

获取模块，用于获取深度强化学习模型与虚拟环境交互所产生的交互序列，其中，所述交互序列包括多个采样数据，其中，每一所述采样数据包括所述虚拟环境的环境状态、以及与所述环境状态对应的决策动作；

第一确定模块，用于针对每一所述采样数据，确定所述深度强化学习模型的优势函数与该采样数据中的环境状态对应的优势函数值，以及在所述采样数据对应的决策策略下所述优势函数值的优势期望，其中，所述决策策略对应的概率分布为基于所述优势函数和所述深度强化学习模型的策略熵参数构造的；

第二确定模块，用于针对每一所述采样数据，根据所述采样数据、与所述采样数据对应的优势函数值、所述优势期望以及所述深度强化学习模型的状态值函数，确定所述采样数据对应的动作价值。

8.一种深度强化学习框架，其特征在于，在所述深度强化学习框架进行训练的过程中，通过权利要求1-6中任一项所述深度强化学习模型的动作价值的确定方法确定用于训练的采样数据对应的动作价值。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-6中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。