[发明专利]基于大数据处理用电表码数据的方法、装置和存储介质

说明书

本发明公开了基于大数据处理用电表码数据的方法，涉及电能计量领域，该方法包括：S1：对表码原始采集数据进行实时异常甄别；S2：对异常数据进行修复；S3：将档案数据从关系型数据库中预加载到缓存，根据业务需求定期更新缓存中的档案数据；S4：基于修复后表码数据，开展实时电量计算；S5：在NoSQL库中将修复后数据预加载到内存中，生成结构化内存表，利用内存表关联能力在内存中完成多表关联数据检索；S6：基于多表关联检索的表码数据，进行批量电量计算，并将新增和变化的数据保存/更新到缓存和NoSQL存储；S7：将电量结果数据由NoSQL存储同步到关系型数据库。本发明能够基于大数据提升用电表码数据处理效率和存储性能。

技术领域

本发明涉及电能计量领域，特别是关于一种基于大数据处理用电表码数据的方法、装置和存储介质。

背景技术

用户用电信息采集系统是通过对配电变压器和终端用户的用电数据的采集和分析，实现用电监控、推行阶梯定价、负荷管理、线损分析，最终达到自动抄表、错峰用电、用电检查(防窃电)、负荷预测和节约用电成本等目的。建立全面的用户用电信息采集系统需要建设系统主站、传输信道、采集设备以及电子式电能表。

随着用电信息采集系统数据采集频率不断提升，系统对用电表码数据处理的实时性和存取的效率均提出了新的要求，基于传统关系型数据库集群的数据处理和存储方案已无法满足系统对表码数据管理的需求，主要存在以下问题。

1、基于关系型数据库的全量数据存储，随着数据采集频率的增加，数据库表查询性能和稳定性逐步下降，严重影响系统正常业务功能服务的开展；

2、当前关系型数据库负责数据存储的同时，还承担着数据计算任务，计算效率随着表码数据量的增长而不断下降，无法满足业务系统对数据计算结果时效性的要求；

3、对表码数据最新的处理需求为秒级及亚秒级，目前基于关系型数据库的数据计算任务时长以分钟级为单位，无法满足业务系统的需求；

4、关系型数据库在数据备份容载及存储空间横向扩展方面无法满足海量数据管理的要求。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供基于大数据处理用电表码数据的方法、装置和存储介质，其能够基于大数据提升用电表码数据处理效率和存储性能。

为实现上述目的，本发明提供了一种基于大数据处理用电表码数据的方法，包括以下步骤：

S1：对表码原始采集数据进行实时异常甄别；

S2：对异常数据进行修复，并将修复后的表码数据分别保存/更新到缓存和NoSQL存储，原始采集数据保存/更新到NoSQL存储；

S3：将档案数据从关系型数据库中预加载到缓存，根据业务需求定期更新缓存中的档案数据；

S4：基于修复后表码数据，开展实时电量计算，并且将电量计算结果分别保存/更新到缓存和NoSQL存储；

S5：在NoSQL库中将修复后数据预加载到内存中，生成结构化内存表，利用内存表关联能力在内存中完成多表关联数据检索；

S6：基于多表关联检索的表码数据，进行批量电量计算，并将新增和变化的数据保存/更新到缓存和NoSQL存储；

S7：将电量结果数据由NoSQL存储同步到关系型数据库。

在本发明的一实施方式中，所述步骤S1中，电量异常甄别为对电表倒走和飞走进行判断，对电表停走不进行判断。

在本发明的一实施方式中，所述步骤S2中，当天采集有缺失部分节点，但有同期历史电量数据情况下，异常数据进行修复方法如下：