[发明专利]基于强化学习和运筹学的资源调度规划方法

权利要求书

1.基于强化学习和运筹学的资源调度规划方法，其特征在于：包括如下步骤：

S1、需要实现企业相关资源的动态管理；

S2、其次按照企业运营的多种约束条件，利用强化学习和运筹学实现寻找最优的资源调度规划；

S3、最后将动态的资源调度规划能力与企业业务系统对接。

2.根据权利要求1所述的基于强化学习和运筹学的资源调度规划方法，其特征在于，所述S1中实现企业相关资源的动态管理，利用时空计算引擎将企业运营的资源，数据实现可视化上图，实现资源的网格化管理；

所述资源包括设备、人员、客户、产品和系统。

3.根据权利要求1所述的基于强化学习和运筹学的资源调度规划方法，其特征在于，所述S2中利用强化学习和运筹学实现寻找最优的资源调度规划，基于运筹学的动态调度方法，通过建立数学模型利用动态规划算法可以快速实现多条件约束下的小规模资源，对于大规模资源的调度规划，利用强化学习结合运筹学来综合实现最优的调度规划。

4.根据权利要求3所述的基于强化学习和运筹学的资源调度规划方法，其特征在于，所述S2中基于运筹学的动态调度方法建立合适的数学模型，将调度问题解释为优化模型，该模型带有目标函数和一些条件约束，对此模型进行有效的求解，采用的方法为动态规划。

5.根据权利要求4所述的基于强化学习和运筹学的资源调度规划方法，其特征在于，所述S2中利用强化学习结合运筹学来综合实现最优的调度规划，根据某种策略选择行为集合中的行为并执行作用于外部环境，环境变迁到下一个状态并且给出智能体这次动作的报酬，以此类推，智能体不断地与环境交互进行学习。

6.根据权利要求1所述的基于强化学习和运筹学的资源调度规划方法，其特征在于，所述S2中利用强化学习寻找最优的资源调度规划，首先设定环境的报酬函数，在资源调度规划问题上，报酬函数也是成本函数，算法目标是找到资源调度的成本最小方案；

在每次观测到系统状态后，通过这些状态计算一步报酬函数，其次利用RBF神经网络实现解决值函数的存储和泛化问题，提供给神经网络用来学习的信号是强化学习智能体与环境交互得来的信号，最终实现智能体与环境的本身的交互过程，最后通过可视化仿真环境来对资源调度规划实现评估，具体算法流程如下：

1、初始化RBF神经网络，从文件中读入中心向量、权值和半径值等；

2、观察资源所处状态，计算报酬；

3、观察当前智能体状态，得到可行方向集合，根据行为选择策略，选择行为；

4、执行行为，将状态行为对带入神经网络，前向计算得到行为值函数；

5、找到下一状态的行为值函数最大值，根据学习算法的迭代规则对当前的值函数进行迭代更新；

6、更新RBF神经网络中智能体的状态；

8、判断是否结束，否回到2，重复执行；

9．将神经网络参数存入文件，结束。

7.根据权利要求2所述的基于强化学习和运筹学的资源调度规划方法，其特征在于，所述可视化仿真环境来对资源调度规划实现评估，首先分析学习率对算法的影响，在折扣型算法Q学习和Sarsa学习里学习率为α，在平均型算法R学习中学习率包括两个参数：行为值函数学习率α和平均性能指标的学习率β；

其次分析折扣率γ对折扣型算法的影响，再次分析各行为选择策略对算法的作用，最后对比总结平均型和折扣型算法的性能差异。

8.根据权利要求1所述的基于强化学习和运筹学的资源调度规划方法，其特征在于，所述S3中将资源调度规划与企业业务系统对接，对接的接口支持RPC和RESTFUL模式，并且提供APP端支持，同过业务系统对企业运营做出调度指导，通过BI系统来真实统计运营效率提升效果。