[发明专利]基于时序数据库的能源监测数据存储方法、设备及介质

说明书

本申请公开了基于时序数据库的能源监测数据存储方法、设备及介质，用以解决现有技术中将能源监测数据存储至关系型数据库，根据时序对能源监测数据的查询监测较为困难的技术问题。方法包括：通过日志收集系统，从关系型数据库中查询新增能源监测数据，并根据新增能源监测数据的时序采集新增能源监测数据；基于时序，将新增能源监测数据放入相应的分布式消息队列中；通过分布式消息队列，解除日志收集系统与时序数据库之间新增能源监测数据的耦合性，并将新增能源监测数据，按照时序存储至时序数据库中。通过上述方法减轻了后续排序工作的压力，解除了日志收集系统与时序数据库之间新增能源监测数据的耦合性，提高了新增能源监测数据的查询效率。

技术领域

本申请涉及计算机技术领域，尤其涉及基于时序数据库的能源监测数据存储方法、设备及介质。

背景技术

随着数字能源、新能源等项目的实施，越来越多的园区需要对能源监测设备所产生的数据进行获取及存储。例如，中等的能源项目园区每天依时间节律产生高达100万条数据，传统的关系型数据库如Oracle，其理论单表数据记录条数虽然没有上限设置，但是官方推荐单表数据不超过500万条记录，若单表记录数据超过1亿条以后，查询效率会急速下降。

目前，将能源管理系统所产生的能源监测数据存储至MySQL、Oracle等关系型数据库后，若想根据时序对关系型数据库中存储的能源监测数据进行查询，则需要针对关系型数据库中的若干能源监测数据按照时间进行排序，查询较为困难。

发明内容

本申请实施例提供了基于时序数据库的能源监测数据存储方法、设备及介质，用以解决现有技术中将能源监测数据存储至关系型数据库，根据时序对能源监测数据的查询监测较为困难的技术问题。

一方面，本申请实施例提供了基于时序数据库的能源监测数据存储方法，包括：通过日志收集系统，从关系型数据库中查询新增能源监测数据，并根据所述新增能源监测数据的时序采集所述新增能源监测数据；基于所述新增能源监测数据的时序，将所述新增能源监测数据放入对应的分布式消息队列中；通过所述分布式消息队列，解除所述日志收集系统与时序数据库之间新增能源监测数据的耦合性，并将所述新增能源监测数据，按照所述时序存储至所述时序数据库中。

在本申请的一种实现方式中，所述基于所述新增能源监测数据的时序，将所述新增能源监测数据放入相应的分布式消息队列中之前，还包括：确定所述新增能源监测数据是否为数值数据；在所述新增能源监测数据为数值数据时，确定所述新增能源监测数据是否在预设区间内；在所述新增能源监测数据在所述预设区间的情况下，通过预设验证算法，确定所述新增能源监测数据为正常数据的概率；当所述概率大于或等于预设阈值时，确定所述新增能源监测数据为正常数据。

在本申请的一种实现方式中，所述确定所述新增能源监测数据为正常数据之后，还包括：基于所述时序，将采集到的所述新增能源监测数据存储至非关系型数据库中，以对所述新增能源监测数据进行备份。

在本申请的一种实现方式中，所述基于所述新增能源监测数据的时序，将所述新增能源监测数据放入相应的分布式消息队列中之前，还包括：将所述新增能源监测数据的前一个新增能源监测数据和后一个新增能源监测数据作为训练样本，训练神经网络模型；在所述新增能源监测数据不是数值数据或者所述新增能源监测数据为正常数据的概率小于预设阈值的情况下，确定所述新增能源监测数据不是正常数据，则将所述新增能源监测数据的新增时间输入训练好的神经网络模型中，以得到正常的新增能源监测数据。

在本申请的一种实现方式中，所述通过所述分布式消息队列，解除所述日志收集系统与时序数据库之间新增能源监测数据的耦合性之后，还包括：通过预设的实时处理系统，对解耦后的新增能源监测数据进行分析；若所述新增能源监测数据的主键为空，则将所述新增能源监测数据丢失，以确定所述新增能源监测数据与所述时序数据库的存储要求相符；其中，所述存储要求包括所述新增能源监测数据的主键不能为空；确定出所述时序数据库的数据存储格式，将符合所述存储要求的新增能源监测数据统一转换为所述时序数据库的数据存储格式。