[发明专利]一种基于强化学习的末端精密空调优化控制方法及系统

说明书

本发明提出了一种基于强化学习的末端精密空调优化控制方法及系统，涉及机房空调控制领域。一种基于强化学习的末端精密空调优化控制方法包括：获取预设时间内数据中心机房设备样本数据，根据获取到的样本数据，提取子样本序列集合；通过样本数据构建热负载和制冷设备之间的关系模型，生成热平衡方程；根据子样本序列集合，利用EM算法对热平衡方程进行求解得到系统热平衡的作用系数；定义优化目标函数，并利用强化学习方法求解空调的控制参数。此外本发明还提出了一种基于强化学习的末端精密空调优化控制系统，包括：数据收集及子样本序列提取模块、热平衡方程生成模块、热平衡方程求解模块以及优化目标函数定义及空调控制参数求解模块。

技术领域

本发明涉及机房空调控制领域，具体而言，涉及一种基于强化学习的末端精密空调优化控制方法及系统。

背景技术

数据中心机房需要借助精密空调将温度控制在适当的范围内，才能保证服务器和存储器机架正常工作。精密空调是指能够充分满足机房环境条件要求的机房专用精密空调机，精密空调系统的设计是为了使机房温度保持在适宜的区间内，并且具有高可靠性、可维修性、组装灵活性和冗余性，可以保证空调在一年四季都可正常运行。

现有技术主要通过空调自身的PID控制来调整输出以更好的控制环境温度。一般的，是根据回风道温感温度来结合PID参数，对于风机和水阀的参数进行控制，主要存在以下几点问题：

（1）PID控制存在滞后性，对冷热点响应慢，无法及时根据机房温度变化对空调进行调整；

（2）PID控制只是基于单一测温点进行控制，没有考虑机房全局情况，难以达到预期调控效果；

（3）PID参数需要人频范调整，且为了预留一定的波动空间，通常对于风量和冷冻水存在着过量使用的情况，造成了能源的浪费。

发明内容

本发明的目的在于提供一种基于强化学习的末端精密空调优化控制方法，其能够根据求解到空调的控制参数对末端精密空调进行优化控制，避免人工干预，实现自动化控制，保障机房设备正常运行的同时最大限度的降低空调能耗，满足数据中心运营要求。

本发明的另一目的在于提供一种基于强化学习的末端精密空调优化控制系统，其能够运行一种基于强化学习的末端精密空调优化控制方法。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种基于强化学习的末端精密空调优化控制方法，其包括获取预设时间内数据中心机房设备样本数据，根据获取到的样本数据，提取子样本序列集合；通过样本数据构建热负载和制冷设备之间的关系模型，生成热平衡方程；根据子样本序列集合，利用EM算法对热平衡方程进行求解得到系统热平衡的作用系数；定义优化目标函数，并利用强化学习方法求解空调的控制参数。

在本发明的一些实施例中，上述获取预设时间内数据中心机房设备样本数据的方法包括以下步骤：通过传感器获取预设时间内数据中心机房设备的设备控制参数和温度数据。

在本发明的一些实施例中，上述根据获取到的样本数据，提取子样本序列集合方法包括以下步骤：根据获取到的样本数据，取每个时刻向前预设时间段内的数据，生成子样本序列集合。

在本发明的一些实施例中，上述热平衡方程表达式包括：

其中，t表示当前时刻；x表示发热设备，如机柜等的发热情况；u表示制冷设备的制冷情况； A_k、B_k分别表示过去T时间段内的各个时刻发热设备、制冷设备对于系统热平衡的作用系数；X_t表示当前时刻机房内热量变化情况，即表示当前时刻机房内热量变化是过去T时间段内制冷系统与发热设备共同作用的结果。

在本发明的一些实施例中，上述根据子样本序列集合，利用EM算法对热平衡方程进行求解得到系统热平衡的作用系数包括以下步骤：核心似然函数定义如下