[发明专利]一种基于多智能体强化学习的多数据中心协同节能方法

权利要求书

1.一种基于多智能体强化学习的多数据中心协同节能方法，其特征在于，包括以下步骤：

步骤S1、建立边缘云-中央云的多数据中心混合系统；

步骤S2、对于多数据中心混合系统中的每个数据中心，建立单数据中心IT-冷却系统，所述单数据中心IT-冷却系统包括IT系统单元、冷却系统单元和AI引擎；

步骤S3、根据每个数据中心的机柜出风口温度和机柜的负载，对单数据中心IT-冷却系统中的IT系统单元、冷却系统单元分别建模得到IT负载模型和热模型；

步骤S4、根据任务在多数据中心混合系统中执行时的时延建立传输时延模型，结合得到的IT负载模型和热模型，得到目标函数；

步骤S5、根据多数据中心混合系统的状态空间和任务调度的行动空间，结合所述目标函数，构建和训练参数化多智能体深度强化学习模型；利用参数化多智能体深度强化学习模型训练AI引擎；

步骤S5中状态空间和任务调度的行动空间的构建过程为：

步骤S51、对于每个数据中心，根据候选任务i请求的CPU内核数c_i、ACU出风口风速f、IT负载状态s_it和热状态s_thl得到单数据中心IT-冷却系统的状态向量o，o＝(c_i，f，s_it，s_thl)，根据单数据中心IT-冷却系统的状态向量的所有取值构成单数据中心状态空间O；

步骤S52、所述多数据中心混合系统包括D个数据中心，分为D-1个边缘云数据中心和1个中央云数据中心；根据步骤S51得到D-1个边缘云数据中心和1个中央云数据中心的单数据中心状态向量，则D个数据中心状态空间的全局向量表示为：s＝(o₁，o₂，…，o_D)，全局向量的所有取值构成多数据中心混合系统的状态空间S；

步骤S53、计算D个数据中心的任务调度行动空间，对于任意边缘云数据中心，边缘云数据中心的决策包括是否接受新任务和设置ACU出风口风速增量对于中央云数据中心的决策包括是否将新任务分配到边缘云数据中心d中的服务器k_d执行和设置ACU出风口风速增量则对于每个数据中心，单数据中心IT-冷却系统的联合行动向量为a1＝(k，x)，其中，k表示IT系统单元的任务调度行动为服务器k,k∈{1，2，…，K}；x为冷却系统单元ACU出风口风速f＝(f₁，f₂，…，f_Π)的调节行动增量值，x＝(x₁，x₂，…，x_Π)；

步骤S6、将采集到的每个数据中心的实时状态信息输入到训练好的AI引擎中，得到各个数据中心IT-冷却系统的最优控制策略。

2.根据权利要求1所述的一种基于多智能体强化学习的多数据中心协同节能方法，其特征在于，步骤S3中对每个数据中心，所述IT负载模型的建模过程为：

设置任务请求条件，包括可执行文件、输入数据、执行任务所需的CPU内核数、服务器预估运行时间和任务优先级；

根据设置的任务请求条件将任务按照先进先出原则放置到任务队列中并排序，位于任务队列最前面的任务将作为候选任务在下一个调度时刻被任务分发器分配到指定服务器执行；对于任务队列中排序为i的候选任务，分配到的服务器k的可用CPU内核数表示为则执行候选任务i请求的CPU内核数c_i满足：

根据服务器的状态信息，得到IT系统单元的负载状态s_it：

s_it＝(c^a，u，p)

其中，c^a表示所有服务器的可用CPU内核数向量，u表示所有服务器的CPU使用率向量，u＝(u₁，u₂，…，u_K)，u_k表示第k个服务器的CPU使用率，表示所有服务器功耗向量，p＝(p₁，p₂，…，p_K)，p_k表示第k个服务器功耗，其中K为服务器的总数量，表示每个数据中心包括N个机柜，第n个机柜中装有M_n个服务器。