[发明专利]一种基于改进型DQN的室内热舒适控制方法及系统

说明书

本发明公开了一种基于改进型DQN的室内热舒适控制方法及系统，实时采集影响室内热舒适指标PMV的物理环境指标值；利用物理环境指标值建立室内热舒适状态模型；将室内热舒适状态模型经过控制策略判断得到空调系统判断动作，利用空调系统动作空间进行动作，得到某时刻的室内热舒适状态并和对应时刻的空调系统动作进行映射，将环境中感知到的状态映射为单独的数值作为奖赏函数；在基于双经验池优先经验回放的DQN控制策略的深度强化学习网络中根据奖赏函数确定奖赏值，按照优先级的大小比例进行抽取训练，将训练达到最大迭代次数对应的最优空调系统动作与空调系统动作空间进行联动控制，实现室内热舒适控制。本发明使室内热舒适水平得到显著提升。

技术领域

本发明属于技术领域，具体涉及一种基于改进型DQN的室内热舒适控制方法及系统。

背景技术

以室内空气温度为控制目标的传统定温控制策略为当前的大多数空调系统所采用，低成本、高可靠是其最大优点。但这种单纯地定温控制策略(主要以温度为其控制参数，部分系统会以相对湿度为辅助控制参数)在今天越来越难以匹配大家对室内环境的舒适性追求，所以其存在改善空间。如：当室内温度和室内相对湿度的其他几个因素变化较大时，室内人体热舒适度也会出现较大变化。此时，房间内的用户往往会在热应激反应和滞后性控制效果的双重作用下，过分调高或调低HVAC系统的设定温度，不仅难以达到满意的室内热环境，也会导致系统能耗的增加。

热舒适度指标PMV是由丹麦科学家Fanger教授于20世纪70年代提出的用于表征人体热反应的评价指标。在范格尔教授的PMV评价体系中，影响人体热舒适度的除了相对湿度、温度、空气流速、平均辐射温度这四个客观因素外，人体服装热阻和人体新陈代谢率这两个主观因素也扮演着非常重要的角色。但传统的基于温度的HVAC控制策略只考虑了室内空气温度和室内相对湿度两个因素，而忽略了其他四个因素。在这种控制策略下，HVAC系统维持的并非用户真实所需的热舒适状态。

同时PMV指标也是当前国际上应用范围最广、认可度最高的热舒适评价指标。它与多种环境变量和人体参数等有着复杂的非线性关系，无法直接控制。而以BP神经网络为核心工具的PMV预测方法极为耗时，且精度不高。以生成对抗网络GAN为核心工具的PMV预测方法，针对原始GAN中存在的初始粒子自由度过高导致算法收敛较慢的问题。

深度Q网络(DQN)是由Google的Deep-mind团队提出的一种将深度学习与强化学习结合起来的非线性值函数近似方法。该方法近年来在大规模强化学习问题中展现了超强的性能。基于深度强化学习(DRL)与蒙特卡洛树搜索的围棋人工智能(AlphaGo Zero)甚至轻易击败了人类的顶尖职业棋手。

在DQN中的每个训练时间步(设定的时间间隔)，智能体将在线得到的转移序列存入回放记忆池中。然后用于更新模型权重的数量固定的转移样本被将从记忆池中随机抽取。显而易见的是这种经验回放机制(依赖于从记忆池随机抽取转移样本)仍然存在一定的弊端。随机抽样模式忽略了记忆池中不同样本之间对智能体学习过程中促进作用的大小。也就是说随机抽样模式不能将对智能体学习有较大促进作用的转移样本进行优先学习和优先利用。并且计算机的存储空间也是有限的，一些新样本未能被及时利用的话存在被覆盖的可能性，造成样本浪费。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于改进型DQN的室内热舒适控制方法及系统，不需要过多先验知识，能够有效适用于非本专业的操作人员，同时使室内热舒适水平得到显著提升。

本发明采用以下技术方案：

一种基于改进型DQN的室内热舒适控制方法，包括以下步骤：

S1、建立环境感知模型，实时采集影响室内热舒适指标PMV的物理环境指标值；

S2、设计空调系统动作空间；

S3、利用步骤S1获取的物理环境指标值表示建筑模型内的室内热舒适状态，建立室内热舒适状态模型；