[发明专利]奖励数据分析方法、装置、设备、存储介质及程序产品

说明书

本申请提供一种奖励数据分析方法、装置、设备、存储介质及程序产品。该方法包括：采集待解释模型执行对局产生的目标数据；其中，目标数据，包括：对局内机器人在每一时刻对应的状态数据下执行动作数据所得到的奖励数据以及状态数据、动作数据和奖励数据之间相互关联的映射关系；利用神经网络模型推理得到与状态数据和动作数据对应的奖励数据；确定状态数据针对期望值的第一SHAP值以及动作数据针对期望值的第二SHAP值；第一SHAP值用于表征状态数据对期望值的影响程度，第二SHAP值用于表征动作数据对期望值的影响程度；根据第一SHAP值调整机器人的状态数据对应的奖励数据，并根据第二SHAP值调整机器人的动作数据对应的奖励数据。

技术领域

本申请涉及计算机技术领域，尤其涉及一种奖励数据分析方法、装置、设备、存储介质及程序产品。

背景技术

相关技术中，在游戏中设置AI机器人来使其完成对应任务成为常态，在训练AI机器人对应的强化学习模型时，通常依赖工程师的人工经验，通过逐个调参，观察调参后机器人的表现来进一步调整对AI机器人的表现对应的奖励数据，来对机器人进行调试。因为调试过程往往需要重复多次，而强化学习模型又具有训练缓慢的特点，使得相关技术存在着训练效率低且训练效果较差的问题。

发明内容

有鉴于此，本申请的目的在于提出一种奖励数据分析方法、装置、设备、存储介质及程序产品。

基于上述目的，在第一方面，本申请提供了一种奖励数据分析方法，所述方法包括：

采集待解释模型执行对局产生的目标数据；其中，所述目标数据，包括：所述对局内机器人在每一时刻对应的状态数据下执行动作数据所得到的奖励数据以及所述状态数据、所述动作数据和所述奖励数据之间相互关联的映射关系；

利用预先训练得到的神经网络模型根据所述映射关系对所述状态数据和所述动作数据推理得到与所述状态数据和所述动作数据对应的奖励数据的期望值；

确定所述状态数据针对所述期望值的第一SHAP值以及所述动作数据针对所述期望值的第二SHAP值；其中，所述第一SHAP值用于表征所述状态数据对所述期望值的影响程度，所述第二SHAP值用于表征所述动作数据对所述期望值的影响程度；

根据所述第一SHAP值调整所述机器人的状态数据对应的所述奖励数据，并根据所述第二SHAP值调整所述机器人的动作数据对应的所述奖励数据。

在第二方面，本申请提供了一种奖励数据分析装置，所述装置包括：

采集模块，被配置为采集待解释模型执行对局产生的目标数据；其中，所述目标数据，包括：所述对局内机器人在每一时刻对应的状态数据下执行动作数据所得到的奖励数据以及所述状态数据、所述动作数据和所述奖励数据之间相互关联的映射关系；

第一确定模块，被配置为利用预先训练得到的神经网络模型根据所述映射关系对所述状态数据和所述动作数据推理得到与所述状态数据和所述动作数据对应的奖励数据的期望值；

第二确定模块，被配置为确定所述状态数据针对所述期望值的第一SHAP值以及所述动作数据针对所述期望值的第二SHAP值；其中，所述第一SHAP值用于表征所述状态数据对所述期望值的影响程度，所述第二SHAP值用于表征所述动作数据对所述期望值的影响程度；

调整模块，被配置为根据所述第一SHAP值调整所述机器人的状态数据对应的所述奖励数据，并根据所述第二SHAP值调整所述机器人的动作数据对应的所述奖励数据。

在第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的奖励数据分析方法。

在第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如第一方面所述的奖励数据分析方法。