[发明专利]一种云计算基于强化学习的虚拟机迁移方法

权利要求书

1.一种云计算基于强化学习的虚拟机迁移方法，其特征在于，包括以下步骤：

S1：采集负载数据，采用引入IOWA算子的组合预测方法预测每个虚拟机的负载；

S2：依据步骤S1中虚拟机的负载预测结果，计算每个服务节点的负载与平均负载之间的差，确定服务节点的负载状态；

S3，初始化数据中心的强化学习模型，即状态集、动作集、状态转移概率、收益和折扣因子；

S4：确定强化学习的每一组状态-行为对Q(s,a)的值，即在状态s下采用行为a的收益值；

S5：使用贪心算法选择行为a；对于每一个服务节点的状态，根据Q(s,a)的值选择收益最高的行为a；

S6：收集数据中心系统的反馈信息，包括数据中心的功耗、负载方差、平均资源利用率；

S7：根据强化学习的结果进行虚拟机的迁移调度，更新服务节点的状态到s′，并更新状态行为对Q(s′,a)的值；

S8：循环S1到S7直至目标值达到最优或者迭代次数达到阈值。

2.根据权利要求1所述的一种云计算基于强化学习的虚拟机迁移方法，其特征在于，所述步骤S1采集的负载数据包括：分别表示第“t”时刻第“i”个虚拟机对应的资源的负载，采用的负载预测方法为，引入诱导有序加权平均算子(IOWA)的负载组合预测算法，预测结果记为：分别表示第“t+1”时刻第“i”个虚拟机机对应资源的预测负载。

3.根据权利要求2所述的一种云计算基于强化学习的虚拟机迁移方法，其特征在于，所述步骤S1中使用引入的IOWA算子的组合预测方法包括：

(1)使用线性回归对负载进行预测，得出预测结果L_t；

(2)使用支持向量回归对负载进行预测，得出预测结果S_t；

(3)引入IOWA算子，对于上述两个预测结果进行加权组合，得出预测结果P_t＝w₁*L_t+w₂*S_t，其中w₁,w₂即为IOWA算子。

4.根据权利要求1所述的一种云计算基于强化学习的虚拟机迁移方法，其特征在于，所述步骤S3，定义数据中心的强化学习模型，该模型可以用一个五元组：(S，A，R_t(.,.)，P_t(.,.)，γ)来描述：S是一组有限的数据中心状态集，包括数据中心负载分布映射关系以及每台主机的预测负载状态与数据中心平均负载之间的差值；A是一组有限的数据中心动作集，即虚拟机的迁移策略；强化学习收益可以用R_t(s,s′)来表示，记为从状态s转移到状态s′时功耗降低百分比；P_t(s,s′)表示从状态s转移到状态s′的概率；γ表示折扣因子。

5.根据权利要求1所述的一种云计算基于强化学习的虚拟机迁移方法，其特征在于，所述步骤S2中确定服务节点的负载状态包括：

将CPU,RAM,Disk作为负载衡量的标准，考虑综合负载表示，为单个负载因子赋予权重，如W_cpu,W_RAM,W_disk,W_{bandwidt h}。综合负载Load可以表示为：

其中W_cpu+W_RAM+W_disk+W_{bandwidt h}＝1，“i”是服务节点的编号。