[发明专利]奖励数据分析方法、装置、设备、存储介质及程序产品

权利要求书

1.一种奖励数据分析方法，其特征在于，所述方法包括：

采集待解释模型执行对局产生的目标数据；其中，所述目标数据，包括：所述对局内机器人在每一时刻对应的状态数据下执行动作数据所得到的奖励数据以及所述状态数据、所述动作数据和所述奖励数据之间相互关联的映射关系；

利用预先训练得到的神经网络模型根据所述映射关系对所述状态数据和所述动作数据推理得到与所述状态数据和所述动作数据对应的奖励数据的期望值；

确定所述状态数据针对所述期望值的第一SHAP值以及所述动作数据针对所述期望值的第二SHAP值；其中，所述第一SHAP值用于表征所述状态数据对所述期望值的影响程度，所述第二SHAP值用于表征所述动作数据对所述期望值的影响程度；

根据所述第一SHAP值调整所述机器人的状态数据对应的所述奖励数据，并根据所述第二SHAP值调整所述机器人的动作数据对应的所述奖励数据。

2.根据权利要求1所述的方法，其特征在于，所述动作数据，包括：多个不同的预设动作数据；

所述采集待解释模型执行对局产生的目标数据，包括：

利用所述待解释模型执行所述对局以得到所述对局中每个机器人在每个时间步对应的状态数据下执行预设动作数据所得到的奖励数据，以及所述状态数据、所述预设动作数据和所述奖励数据之间相互关联的映射关系；其中，所述奖励数据用于指示对所述机器人在所述对局内的行为对应的奖励，所述机器人与所述预设动作数据一一对应。

3.根据权利要求1所述的方法，其特征在于，所述神经网络模型的预先训练的过程，包括：

获取所述机器人在历史对局中产生的历史目标数据；其中，所述历史目标数据，包括：在历史对局内所述机器人在每一时刻对应的历史状态数据下执行历史动作数据所得到的历史奖励数据以及所述历史状态数据、所述历史动作数据和所述历史奖励数据之间相互关联的映射关系；

利用离线强化学习算法根据所述历史目标数据学习原始策略以得到所述神经网络模型；

若确定所述神经网络模型根据所述历史目标数据得到的训练结果与所述历史目标数据对应的历史结果之间的相似度达到预设相似度阈值，则将可分解奖励期望值学习结构引入所述神经网络模型以得到预先训练好的神经网络模型。

4.根据权利要求2所述的方法，其特征在于，所述利用预先训练得到的神经网络模型根据所述映射关系对所述状态数据和所述动作数据推理得到与所述状态数据和所述动作数据对应的奖励数据的期望值，包括：

将所述状态数据和所述动作数据作为数据对输入所述神经网络模型，并利用所述神经网络模型根据所述映射关系对所述数据对进行正向推理以得到与所述状态数据和所述动作数据所对应的奖励数据的期望值。

5.根据权利要求1所述的方法，其特征在于，所述确定所述状态数据针对所述期望值的第一SHAP值以及所述动作数据针对所述期望值的第二SHAP值，包括：

将所述状态数据和所述动作数据作为特征，将根据所述映射关系确定的与所述状态数据和所述动作数据对应的所述奖励数据作为标签，并根据所述特征和标签训练得到集成树监督模型；

利用TreeSHAP解释性方法对所述集成树监督模型进行解释以得到所述状态数据针对所述期望值的第一SHAP值以及所述动作数据针对所述期望值的第二SHAP值。

6.根据权利要求5所述的方法，其特征在于，所述根据所述特征和标签训练得到集成树监督模型的过程，包括：

利用所述集成树监督模型学习所述状态数据、所述动作数据和所述奖励数据之间相互关联的映射关系。

7.根据权利要求1所述的方法，其特征在于，所述确定所述状态数据针对所述期望值的第一SHAP值以及所述动作数据针对所述期望值的第二SHAP值之后，还包括：

调用可视化工具生成可视化数据分析结果；其中，所述可视化数据分析结果用于指示所述第一SHAP值相对所述状态数据的分布以及所述第二SHAP值相对所述动作数据的分布。