[发明专利]一种基于关系深度强化学习的家庭能量管控方法及系统

说明书

本发明提供基于关系深度强化学习的家庭能量管控方法及系统。其中，该方法包括获取在能量待配置日期的设定用户的家庭用电设备的初始状态；基于获取的家庭用电设备的初始状态及训练好的日用能类型分类模型，对待配置日期的家庭用电设备用能类型进行预测；将预测的用能类型与能量待配置日期的时间戳共同作为特征加入强化学习家庭能量管理模型的状态变量中；利用关系深度强化学习方法，从强化学习家庭能量管理模型中提取家庭用电设备的动作间关联性以及各家庭用电设备与时间的关联性，进而寻找出在能量待配置日期的设定用户的家庭用电设备最优能量配置方案。

技术领域

本发明属于能量管控技术领域，尤其涉及一种基于关系深度强化学习的家庭能量管控方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

家庭能量管理系统(home energy management system，HEMS)是一种对家庭内各类用耗能设备进行优化管理，从而实现节能降费、提高用户舒适度的智能系统，是智能电网在居民侧的延伸。目前对于家庭能量管理问题的求解，主要有将其作为多目标优化问题求解与作为强化学习问题求解等几种方法。强化学习作为一种机器学习算法，因其无监督特性与时间尺度的远视性而在长期管理问题中被广泛运用，其中强化学习方法中的Q-learning、DQN、Double DQN等算法均已有人将其应用于能量优化管理领域。

虽然现有技术中已经使用了多种强化学习算法，但发明人发现，上述基于Q-learning的强化学习算法只是通过改变算法内部结构，在减少数据计算量、增加运算效率上进行不断改进，并未基于实际问题对算法的优化效果进行改进。家庭能量配置问题中，相关设备(如洗衣机和烘干机)之间的使用规律具有较强的关联性，提取这些规律有利于提高用户舒适度。此外，许多设备的使用随时间(如台灯)和季节(如空调)的不同变化较大，提取设备与时间的关系也对提高用户舒适度具有现实意义。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于关系深度强化学习的家庭能量管控方法及系统，其综合考虑家庭用能中时间特征的影响与设备间的关联性，基于关系深度强化学习方法进行家庭能源优化，同时能够提升用户舒适度与能源节约效率。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于关系深度强化学习的家庭能量管控方法，其包括：

获取在能量待配置日期的设定用户的家庭用电设备的初始状态；

基于获取的家庭用电设备的初始状态及训练好的日用能类型分类模型，对待配置日期的家庭用电设备用能类型进行预测；

将预测的用能类型与能量待配置日期的时间戳共同作为特征加入强化学习家庭能量管理模型的状态变量中；

利用关系深度强化学习方法，从强化学习家庭能量管理模型中提取家庭用电设备的动作间关联性以及各家庭用电设备与时间的关联性，进而寻找出在能量待配置日期的设定用户的家庭用电设备最优能量配置方案。

本发明的第二个方面提供一种基于关系深度强化学习的家庭能量管控系统，其包括：

初始状态获取模块，其用于获取在能量待配置日期的设定用户的家庭用电设备的初始状态；

用能类型预测模块，其用于基于获取的家庭用电设备的初始状态及训练好的日用能类型分类模型，对待配置日期的家庭用电设备用能类型进行预测；

状态变量修正模块，其用于将预测的用能类型与能量待配置日期的时间戳共同作为特征加入强化学习家庭能量管理模型的状态变量中；