[发明专利]电力全业务统一数据中心数据分析域数据比对工具

说明书

本发明涉及电力全业务统一数据中心数据分析域数据比对工具,所述电力全业务统一数据中心数据分析域数据比对工具包括：(1)基于数据比对工具实现对数据库连接管理；(2)基于数据比对工具实现数据类型配置管理；(3)基于数据比对工具实现比较组管理；(4)基于数据比对工具实现比较任务管理。

技术领域

本发明涉及一种电力全业务统一数据中心数据分析域数据比对工具。

背景技术

随着国家电网公司各业务信息系统建设和应用的不断深入，信息系统所产生的数据已成为国家电网公司重要资产，经营管理和业务模式创新对数据资源深度应用也提出了新的要求。因此，解决“跨专业业务协同与信息共享不足，数据多头输入，数据准确性、实时性不强，数据反复抽取、冗余存储、质量不高”等问题是关键所在。为彻底解决当前数据中心存在的不足，满足现有数据应用需求，国家电网公司启动了全业务统一数据中心建设，而随着全业务统一数据中心的建设与应用不断深入,全业务统一数据中心在数据核查工作过程中，存在源业务系统数据繁多、数据量大、人工核查方式困难、工作任务繁重、核查周期长等问题，数据的一致性、准确性、完整性无法及时进行准确的核查。

基于全业务统一数据中心数据接入现状，面对海量数据的一致性核查工作，从源端系统性能、网络资源耗费状态、增量数据存储容量多方面展开调研分析，为保证数据一致性、完整性，业务逻辑性、有效性，需要开发适应性工具进行数据质量核查工作，有必要建设数据比对工具解决以上问题。

发明内容

本发明的目的是提供一种电力全业务统一数据中心数据分析域数据比对工具。本发明的技术方案如下：

所述电力全业务统一数据中心数据分析域数据比对工具，包括：

(1) 基于数据比对工具实现比对对象数据连接管理

比对对象数据连接即目标端、源端数据库连接信息，数据连接管理实现了各类连接的统一记录、快速查找、获取和使用，为数据比对提供基础对象连接支持。主要实现不同类型数据库连接信息保存，连接测试，数据表结构查看，表信息同步功能。

(2) 基于数据比对工具实现数据类型配置

数据类型配置实现了外部数据类型对应到本地数据类型的映射配置。通过此模块的配置，可以实现比对工具处理数据类型、数据长度等的有效管理，将不同的外部数据库类型映射为本地数据库相同类型，避免了数据差异化带来的一系列问题。实现了核查对象类型的个性化、配置化功能，既可以实现对某种类型字段的比对，又可以过滤掉大文本、二进制等超大字段类型，从而可提供轻量高效的比对，为用户提供更多的选择。

(3) 基于数据比对工具实现比较组管理

通过比较组的管理，实现比对规则的设置。包括比较组管理，设置源端、目标端连接信息。添加比较对：选择源端、目标端的表结构信息，提供自动匹配和手工匹配两种模式。列匹配信息：选择添加需要比对的列，提供一键自动匹配相同列。条件匹配信息：选择数据列，设置条件值，实现比对数据范围的界定。

(4) 基于数据比对工具实现比对任务管理

比对任务管理功能主要实现对比任务按照对比表结构对比、结果查询及导出，按记录数对比、结果查询及导出，按明细对比、结果查询和导出。对比表结构功能：按照比较组设置的比较规则，对源端、目标端指定的表进行结构一致性比对，从字段名称、数量、字段类型、长度等方面进行比对，将不一致的表逐一统计列举出来，并实现源端、目标端相同表名结构不一致性直接比较显示，对比结果提供导出。比对记录数：根据设置的比较组中的比较规则，对源端、目标端相关数据表数据量进行比对，并统计生成比对结果，提供结果导出。对比明细：根据设置的比较组中的比较规则，对源端、目标端相关数据表明细数据进行比对，并统计生成比对结果，提供差异明细数据查看，精确到行级、字段级。提供比对统计结果导出。