[发明专利]动作价值的确定方法、装置、学习框架、介质及设备

说明书

本公开涉及一种动作价值的确定方法、装置、学习框架、介质及设备，所述方法包括：获取深度强化学习模型与虚拟环境交互所产生的交互序列，其中，交互序列包括多个采样数据，每一采样数据包括环境的环境状态、以及与环境状态对应的决策动作；针对每一采样数据，确定深度强化学习模型的优势函数与该采样数据中的环境状态对应的优势函数值，以及在采样数据对应的决策策略下优势函数值的优势期望，决策策略对应的概率分布为基于优势函数和深度强化学习模型的策略熵参数构造的；针对每一采样数据，根据采样数据、与采样数据对应的优势函数值、优势期望以及深度强化学习模型的状态值函数，确定采样数据对应的动作价值，提高对决策策略的评价准确性。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种动作价值的确定方法、装置、学习框架、介质及设备。

背景技术

随机计算机技术的发展，各类大型模型、复杂的机器学习模型逐渐开始应用。深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，更接近人类思维方式。在深度强化学习模型的训练过程中，通常需要基于动作值函数对某一状态下的选择决策动作策略进行评价，以便于该深度强化学习模型的策略提升。

相关技术中在确定该动作价值时，通常需要根据优势函数值和状态函数值进行确定，而在计算过程中是基于优势函数值的平均值对其期望进行估计，则其必然会引入误差，而动作价值的准确性则会严重影响深度强化学习模型确定的决策动作的准确性。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种用于深度强化学习模型的动作价值的确定方法，所述方法包括：

获取深度强化学习模型与虚拟环境交互所产生的交互序列，其中，所述交互序列包括多个采样数据，其中，每一所述采样数据包括所述虚拟环境的环境状态、以及与所述环境状态对应的决策动作；

针对每一所述采样数据，确定所述深度强化学习模型的优势函数与该采样数据中的环境状态对应的优势函数值，以及在所述采样数据对应的决策策略下所述优势函数值的优势期望，其中，所述决策策略对应的概率分布为基于所述优势函数和所述深度强化学习模型的策略熵参数构造的；

针对每一所述采样数据，根据所述采样数据、与所述采样数据对应的优势函数值、所述优势期望以及所述深度强化学习模型的状态值函数，确定所述采样数据对应的动作价值。

第二方面，本公开提供一种用于深度强化学习模型的动作价值的确定装置，所述装置包括：

获取模块，用于获取深度强化学习模型与虚拟环境交互所产生的交互序列，其中，所述交互序列包括多个采样数据，其中，每一所述采样数据包括所述虚拟环境的环境状态、以及与所述环境状态对应的决策动作；

第一确定模块，用于针对每一所述采样数据，确定所述深度强化学习模型的优势函数与该采样数据中的环境状态对应的优势函数值，以及在所述采样数据对应的决策策略下所述优势函数值的优势期望，其中，所述决策策略对应的概率分布为基于所述优势函数和所述深度强化学习模型的策略熵参数构造的；

第二确定模块，用于针对每一所述采样数据，根据所述采样数据、与所述采样数据对应的优势函数值、所述优势期望以及所述深度强化学习模型的状态值函数，确定所述采样数据对应的动作价值。

第三方面，本公开提供一种深度强化学习框架，在所述深度强化学习框架进行训练的过程中，通过第一方面所述深度强化学习模型的动作价值的确定方法确定用于训练的采样数据对应的动作价值。

第四方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。