[发明专利]一种基于强化学习算法的数据中心机房控制方法及装置

说明书

本发明一种基于强化学习算法的数据中心机房控制方法及装置，应用于数据中心机房的环境控制系统，所述方法包括：获取当前时刻来自环境的状态量ssubgt;t/subgt;，并基于预先训练的强化学习模型得到当前时刻的控制参数asubgt;t/subgt;，其中，所述状态量，包括：机房各个通道种传感器的数值；使用所述控制参数控制数据中心机房的温度调节设备的工作状态，直至数据中心机房的温度稳定。应用本发明实施例，可以使节能效果更好。

技术领域

本发明涉及数据中心机房控制方法技术领域，具体涉及一种基于强化学习算法的数据中心机房控制方法及装置。

背景技术

随着大数据机房规模的不断增加，机房的能耗在全球能耗中的比例越来越高，因此，如何在保证机房能够正常运作的前提下，尽量降低能耗是亟待解决的技术问题。

现有技术中，申请号为201910154592的发明专利公开了一种基于人工智能优化机房能耗效率的方法及装置，属于环保节能领域，降低了现有IDC机房过量制冷、电力浪费严重导致的高能耗与环保问题，其装置包括：获取机房机柜发热/制冷状态大数据的感知装置，从发热/制冷状态大数据自动学习控制策略的自动学习装置，使用控制策略生成优化控制指令的控制逻辑装置，直接调节制冷设备运行的控制装置；本发明包含一种自动学习装置，该装置能够基于机柜运行大数据结合人工智能算法自动学习优化控制策略，降低制冷电量消耗；本发明包含一种控制逻辑装置，该装置能够根据机房运行数据动态、精确地调节制冷设备运行。

但是，虽然现有技术中对数据中心机房控制优化是一个通过控制空调使机房环境保持稳定，同时尽可能降低能耗的过程，但是，现有技术中奖赏函数的构建依据仅包括了制冷设备的功率以及对应的温度差，较为单一，导致现有技术中的控制结果的节能效果较差。

发明内容

本发明所要解决的技术问题在于如何提供一种基于强化学习算法的数据中心机房控制方法及装置，以提高节能效果。

本发明通过以下技术手段实现解决上述技术问题的：

本发明实施例提供了一种基于强化学习算法的数据中心机房控制方法，应用于数据中心机房的环境控制系统，所述方法包括：

获取当前时刻来自环境的状态量s_t，并基于预先训练的强化学习模型得到当前时刻的控制参数a_t，其中，所述状态量，包括：机房各个通道种传感器的数值；

使用所述控制参数控制数据中心机房的温度调节设备的工作状态，直至数据中心机房的温度稳定。

可选的，所述强化学习模型的训练过程包括：

A：构建强化学习模型，其中，所述强化学习模型包括：Actor网络和Critic网络，其中，所述Actor网络接收来自环境的状态量，输出动作空间控制参数；所述Critic网络接收Actor网络输出的控制参数以及来自环境的状态量，输出实值Q，代表在当前状态量下Actor采取该控制参数的价值；

B：将历史数据作为样本数据输入至强化学习模型中，其中，所述历史数据包括：当前时刻的状态量、当期时刻的控制参数、当前时刻的上一时刻的奖赏以及当前时刻的下一时刻的控制参数；

C：利用公式，r＝-αS_t-βV_t-γF_t，计算当前次迭代的上一次迭代的奖赏值，其中，r为样本数据中当前时刻的上一时刻的奖赏；α为通道温湿度传感器数值超过SLA阈值的量S对应的权重；S_t为当前时刻的上一时刻的奖赏；α为通道温湿度传感器数值超过SLA阈值的量；β为通道传感器数值的方差对应的权重；V_t为当前时刻的上一时刻的通道传感器数值的方差；γ为风机转速均值F对应的权重；F_t为当前时刻上一时刻的风机转速均值；

D：利用公式，计算Critic网络的损失，其中，