[发明专利]策略模型获取及参数调整方法、装置及存储介质

权利要求书

1.一种策略模型获取方法，包括：

构建虚拟仿真环境；

利用所述虚拟仿真环境，基于生成对抗模仿学习架构，对虚拟仿真环境智能体以及决策智能体进行训练；

将训练得到的所述决策智能体作为所述策略模型，用于针对待处理订单对应的待调整参数、根据获取到的工况数据确定出最优参数值，所述待调整参数为能耗相关参数。

2.根据权利要求1所述的方法，其中，所述构建虚拟仿真环境包括：

获取历史工况轨迹；

从所述历史工况轨迹中筛选出符合预定要求的历史工况轨迹，作为专家轨迹；

根据所述专家轨迹构建出所述虚拟仿真环境。

3.根据权利要求2所述的方法，其中，所述从所述历史工况轨迹中筛选出符合预定要求的历史工况轨迹，作为专家轨迹包括：

将水耗量、电耗量以及汽耗量均处于下四分位数以下的所述历史工况轨迹作为所述专家轨迹。

4.根据权利要求2或3所述的方法，其中，所述根据所述专家轨迹构建出所述虚拟仿真环境包括：

利用所述专家轨迹训练生成对抗类模型，利用训练得到的所述生成对抗类模型生成虚拟专家轨迹。

5.根据权利要求4所述的方法，其中，所述利用所述虚拟仿真环境，基于生成对抗模仿学习架构，对虚拟仿真环境智能体以及决策智能体进行训练包括：

利用所述虚拟专家轨迹，基于所述生成对抗模仿学习架构，对所述虚拟仿真环境智能体以及所述决策智能体进行训练；

或者，利用所述虚拟专家轨迹以及所述专家轨迹，基于所述生成对抗模仿学习架构，对所述虚拟仿真环境智能体以及所述决策智能体进行训练。

6.根据权利要求4所述的方法，其中，

所述生成对抗类模型包括：时间序列生成对抗模型；

和/或，所述虚拟仿真环境智能体包括：循环神经网络模型；

和/或，所述决策智能体包括：适用于高维连续动作空间的强化学习模型。

7.根据权利要求1～6中任一项所述的方法，其中，所述对虚拟仿真环境智能体以及决策智能体进行训练包括：

按照所述虚拟仿真环境智能体和所述决策智能体互为智能体和环境的方式，对所述虚拟仿真环境智能体和所述决策智能体进行训练，其中，基于能耗、动作变化率和品控中的至少一种确定智能体的奖赏。

8.一种参数调整方法，包括：

针对待处理订单对应的待调整参数，利用策略模型确定出最优参数值，所述策略模型为利用构建的虚拟仿真环境、基于生成对抗模仿学习架构、对虚拟仿真环境智能体和决策智能体进行训练后得到的所述决策智能体；

根据所述最优参数值对所述待调整参数进行调整。

9.一种策略模型获取装置，包括：构建模块、训练模型以及获取模块；

所述构建模块，用于构建虚拟仿真环境；

所述训练模块，用于利用所述虚拟仿真环境，基于生成对抗模仿学习架构，对虚拟仿真环境智能体以及决策智能体进行训练；

所述获取模块，用于将训练得到的所述决策智能体作为所述策略模型，用于针对待处理订单对应的待调整参数、根据获取到的工况数据确定出最优参数值，所述待调整参数为能耗相关参数。

10.根据权利要求9所述的装置，其中，

所述构建模块获取历史工况轨迹，从所述历史工况轨迹中筛选出符合预定要求的历史工况轨迹，作为专家轨迹，根据所述专家轨迹构建出所述虚拟仿真环境。

11.根据权利要求10所述的装置，其中，

所述构建模块将水耗量、电耗量以及汽耗量均处于下四分位数以下的历史工况轨迹作为所述专家轨迹。

12.根据权利要求10或11所述的装置，其中，

所述构建模块利用所述专家轨迹训练生成对抗类模型，利用训练得到的所述生成对抗类模型生成虚拟专家轨迹。