[发明专利]海量平台海迅实时库量测数据接入系统

说明书

本发明公开了一种海量平台海迅实时库量测数据接入系统，属于电力系统数据管理技术领域，包括依次对应的控制模块、接入业务模块和通用模块，其中控制模块用于与数据总线接口进行交互，并对从数据总线接口提取的接收数据进行预处理，形成业务日志；接入业务模块用于对业务日志进行加工、保存、缓存和备份，形成后端日志文件；通用模块用于将形成的后端日志文件进行前端操作处理。本发明可满足各业务应用对历史数据或准实时数据进行按需存储、整合、共享交换、计算加工以及统一和标准访问的需求。

技术领域

本发明涉及一种海量平台海迅实时库量测数据接入系统，属于电力系统数据管理技术领域。

背景技术

电网运行基础数据的质量直接决定了各种高级分析与应用的实用化水平，也严重影响电力调度控制的准确性、可靠性及精益性。电力系统随着各省（市）公司和直属单位的调度EMS、电能量、输变电设备状态监测、用户用电信息采集、配电自动化等业务的建设，产生了大量准实时数据，迫切需要建立一整套量测数据接入海迅实时库的系统，以满足各业务应用对历史/准实时数据进行按需存储、整合、共享交换、计算加工以及统一和标准访问的需求。

发明内容

本发明需要解决的技术问题是提供一种海量平台海迅实时库量测数据接入系统，可满足各业务应用对历史数据或准实时数据进行按需存储、整合、共享交换、计算加工以及统一和标准访问的需求。

为解决上述技术问题，本发明所采用的技术方案是：

一种海量平台海迅实时库量测数据接入系统，包括依次对应的控制模块、接入业务模块和通用模块，其中控制模块用于与数据总线接口进行交互，并对从数据总线接口提取的接收数据进行预处理，形成业务日志；接入业务模块用于对业务日志进行加工、保存、缓存和备份，形成后端日志文件；通用模块用于将形成的后端日志文件进行人机交互式的前端操作处理。

本发明技术方案的进一步改进在于：控制模块的处理步骤为：

步骤2.1、数据响应分发：与数据总线接口交互对应连接，用于响应、分发接收数据，形成调用数据；

步骤2.2、数据预处理：对调用数据进行预处理，首先对调用数据进行解析转换处理，然后验证调用数据的合法性、完整性和有效性，借此过滤掉非法数据，避免无谓的计算资源浪费，形成有效数据；

步骤2.3、数据质量检查：根据业务系统数据质量检查规则，为有效数据对应指定检查规则，验证其是否达到接入质量要求，同时设有黑名单/白名单机制，为有特殊需求的有效数据开辟绿色通道；

步骤2.4、业务调度控制：根据数据类型，将通过验证的有效数据进行对应性分发；

步骤2.5、业务日志处理：处理业务调度控制步骤分发的有效数据，形成业务日志，同时对业务日志的规则进行加载，并记录业务日志的总体执行情况，形成详细日志。

本发明技术方案的进一步改进在于：数据质量检查规则包括数据范围检查和数据异常值检查。

本发明技术方案的进一步改进在于：接入业务模块的处理步骤为：

步骤4.1、数据加工：与业务日志处理步骤对应，根据数据接入的多样性需求，根据不同侧面特性对业务日志中的日志数据加以描述，为日志数据提供可配置的加工规则加载，以匹配日志数据接入时的不同需求；

步骤4.2、数据周期性写入：将经加工后的日志数据，在接入模块建立接入操作后，按照固定的频率向海量平台海迅实时库进行数据写入操作；

步骤4.3、数据保存：将写入的日志数据适配到海量平台海迅实时库中，并进行日志数据封装；