[发明专利]基于多智能体深度强化学习的地铁站台HVAC控制方法

说明书

本发明公开了基于多智能体深度强化学习的地铁站台HVAC控制方法，在送风量一定的情况下，通过改变送风温度和新风比调节区域的室内温度和CO2浓度，同时送风温度的升高和新风比的降低都可以节约系统能耗。水系统利用冷冻水将混合空气气温冷却到各个热区所需要的送风温度，通过调节冷冻水的送水温度，可以实现水系统的节能；利用多智能体强化学习的方式在考虑地铁站台不同区域内的室内热舒适度和空气质量舒适度的情况下，兼顾区域内的实时客流量、室外温湿度，最大限度的降低地铁站台中空调系统的能耗。

技术领域

本发明属于公共建筑暖通空调系统与人工智能交叉技术领域，具体是基于多智能体深度强化学习的地铁站台HVAC控制方法。

背景技术

地铁作为实现城市公共交通功能性的必要环节,极大的方便了人们日常出行。地铁是一种特殊的城市公交方式，站点建造在地表以下，除了出入站口外基本与外界隔绝，在早晚客流高峰期车站和列车车厢内人员密集，设备运行发热量大，因此良好的地铁温控系统至关重要。现如今，地铁站点运行期间基本都是由暖通空调系统进行温控调节，由于车站的空调系统运行时间较长且均是按预测的远期客流量和最大通过能力进行设计的,在运行初中期，客流以及行车数远没有达到设计水平，导致不必要的能耗，约占车站总能耗的40％以上，仅次于列车牵引系统的耗能。

为了实现可持续发展，节能已经成为建设资源节约型社会的关键所在。空调系统主要从三个方面实现节能：降低冷/热负荷、使用高效的设备和技术、系统设计和控制的优化。其中建筑运行能耗与空调系统的控制策略密切相关。目前，国内大部分地铁站的空调系统仍然依赖用于低层设备的比例-积分-微分控制，以及用于高层监控系统的基于规则控制方案。针对地铁站等公共建筑的空调系统的负荷随着客流量发生变化，PID控制时极易产生振荡，同时存在参数难以寻优和调试困难的等问题，导致控制效果不佳。基于规则的控制方法是根据地铁运行时刻表固定各设备的运行频率，该方法无法根据实时负荷调整参数，不仅会消耗更多的能源，还会使得室内实际温度与预设温度有较大的偏离，影响乘客的舒适性。除此之外，传统的空调控制方法还有基于模型预测控制,该方法需要相关人员足够了解热动力学模型。由于建筑室内温度取决于许多因素，因此开发一个足够准确和高效的建筑热动力学模型用于控制空调系统是非常具有挑战性。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了基于多智能体深度强化学习的地铁站台HVAC控制方法，针对地铁站等公共建筑的空调系统的负荷随着客流量发生变化，PID控制时极易产生振荡，同时存在参数难以寻优和调试困难的等问题，导致控制效果不佳。基于规则的控制方法是根据地铁运行时刻表固定各设备的运行频率，该方法无法根据实时负荷调整参数，不仅会消耗更多的能源，还会使得室内实际温度与预设温度有较大的偏离，影响乘客的舒适性，传统的空调控制方法还有基于模型预测控制,该方法需要相关人员足够了解热动力学模型。由于建筑室内温度取决于许多因素，因此开发一个足够准确和高效的建筑热动力学模型用于控制空调系统是非常具有挑战性。基于单智能体强化学习的算法没有考虑地铁站具有多热区的特点，而每个区域的客流量、热舒适度和室内的空气质量，以及每个相邻热区之间环境的相互影响，例如：温度较高热区对温度较低热区的传热。

为实现上述目的，根据本发明的第一方面的实施例提出基于多智能体深度强化学习的地铁站台HVAC控制方法，包括以下步骤：

S1、通过考虑地铁站的实时客流、热舒适和舒适CO2浓度，最小化HVAC 的能耗，并将该优化问题重新转换为马尔科夫博弈，并设计了环境状态、动作和奖励函数；

S2、建立地铁站点训练模型，并通过此模型对智能体进行离线训练，训练完毕后，将整体模型以及模型环境进行初始化处理；

S3、观测当前站点的环境状态，并输入策略网络，输出智能体对暖通空调系统的动作，即各区域的新风比，送风温度，以及冷冻水温度，并根据输出的动作，对暖通空调系统进行实施控制，获取下一时间步环境状态和奖励，并和当前环境状态、行为一起组成元组储存到经验池，并对是否进行权重更新进行确认；