[发明专利]基于Q学习的资源调度方法和装置

权利要求书

1.一种基于Q学习的资源调度方法，应用于数据中心，其特征在于，包括：

在第一反馈周期，根据应用的多个状态-动作组合中的第一状态-动作组合的回报值，将所述第一状态-动作组合对应的Q值更新为第一数值，其中，所述第一状态-动作组合表示当所述应用处于第一状态时执行第一动作，所述第一状态为所述应用在早于所述第一反馈周期的第二反馈周期所处的状态，所述第一动作用于对分配给所述应用的资源数量进行调整处理；

在所述第一反馈周期，根据所述第一数值，更新所述多个状态-动作组合中不同于所述第一状态-动作组合的至少一个状态-动作组合对应的Q值；

在当前状态所对应的至少两个状态-动作组合中，确定具有最大Q值的状态-动作组合所对应的动作，其中，所述当前状态为所述应用在所述第一反馈周期所处的状态；

在所述第一反馈周期，根据所述具有最大Q值的状态-动作组合所对应的动作，对分配给所述应用的资源数量进行调整处理。

2.根据权利要求1所述的方法，其特征在于，所述至少一个状态-动作组合包括第二状态-动作组合，所述第二状态-动作组合表示当所述应用处于所述第一状态时执行不同于所述第一动作的第二动作；

所述根据所述第一数值，更新所述多个状态-动作组合中不同于所述第一状态-动作组合的至少一个状态-动作组合对应的Q值，包括：

根据所述第一数值以及所述第二动作相比于所述第一动作对于分配给所述应用的资源数量的调整方向，更新所述第二状态-动作组合对应的Q值。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一数值以及所述第二动作相比于所述第一动作对于分配给所述应用的资源数量的调整方向，更新所述第二状态-动作组合对应的Q值，包括：

若所述回报值小于零并且所述第二动作相比于所述第一动作对分配给所述应用的资源数量朝着增加数量的方向调整，将所述第二状态-动作组合对应的Q值更新为小于所述第一数值的数值；和/或

若所述回报值小于零并且所述第二动作相比于所述第一动作对分配给所述应用的资源数量朝着减少数量的方向调整，将所述第二状态-动作组合对应的Q值更新为大于所述第一数值的数值。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述至少一个状态-动作组合还包括至少一个第三状态-动作组合，所述第三状态-动作组合表示当所述应用处于所述第一状态时执行不同于所述第一动作的动作；

所述根据所述第一数值，更新所述多个状态-动作组合中不同于所述第一状态-动作组合的至少一个状态-动作组合对应的Q值，包括：

根据所述第一数值，更新所述至少一个第三状态-动作组合中每个第三状态-动作组合对应的Q值，以使得在以目标动作为起点且在朝着增加分配给所述应用的资源数量的方向上，所述第一状态对应的状态-动作组合对应的Q值单调性减小，和/或以使得在以所述目标动作为起点且在朝着减少分配给所述应用的资源数量的方向上，所述第一状态对应的状态-动作组合对应的Q值单调性减小，其中，在所述第一状态对应的所有状态-动作组合中，所述目标动作与所述第一状态构成的状态-动作组合对应的Q值最大。

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述至少一个状态-动作组合包括第四状态-动作组合，所述第四状态-动作组合表示当所述应用处于不同于所述第一状态的第二状态时执行所述第一动作；

所述根据所述第一数值，更新所述多个状态-动作组合中不同于所述第一状态-动作组合的至少一个状态-动作组合对应的Q值，包括：

根据所述第一数值以及所述第一状态和所述第二状态的状态特征参数的值，更新所述第四状态-动作组合对应的Q值。

6.根据权利要求5所述的方法，其特征在于，所述状态特征参数包括平均资源占用率；

所述根据所述第一数值以及所述第一状态和所述第二状态的状态特征参数的值，更新所述第四状态-动作组合对应的Q值，包括：

若所述回报值小于零并且所述第二状态的平均资源占用率的值高于所述第一状态的平均资源占用率的值，将所述第四状态-动作组合对应的Q值更新为小于所述第一数值的数值。