[发明专利]一种可扩展的数据一致性检查工具

说明书

技术领域

本发明涉及数据比较技术领域，具体地说是一种实用性强、可扩展的数据一致性检查工具。

背景技术

作为分布式数据集中的一个环节，各个系统库中的基础数据的清洗、合并尤为重要。同一家集团企业，同一套ERP系统，往往由于各种网络条件限制，各个生产库并不在同一个网络环境中。分布式实施，各个子公司节点的系统基础表的表结构也不尽相同。跨网络、跨生产库、表结构不完全相同，这些因素导致基础数据的清洗、合并工作相对困难。

每个系统中都有非交易型的关键信息，通常被称之为公有基础数据或者主数据。在各企业实施ETL过程中，各个系统的主数据如何判别是否一致，以及不一致的情形下如何处理非常关键。在这其中，由于网络不通、同一个表表结构不通等客观因素，增加了处理的复杂度。

本发明正是针对以上问题，设计了一套可扩展的数据一致性检查工具。本工具可以实现：同一网络间数据源的管理；通过设定一致性检查规则进行基础数据一致性检查；对基础数据一致性检查的结果进行归集处理。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、可扩展的数据一致性检查工具。

一种可扩展的数据一致性检查工具，其具体结构包括：

数据库连接配置模块，将所有数据库实例集中到统一网络中；

检查内容设置模块，用于构建检查规则；

一致性检查模块，根据数据库配置信息连接两个数据库，对设置的检查内容进行检查，同时展示检查结果；

映射关系设置模块，用于在一致性检查进行映射时，通过表名查找映射ID；

检查结果归集处理模块，根据业务库中当前基础表中数据的使用与否，对检查不一致的数据进行归集处理。

所述数据库连接配置模块中，对于不在同一网络的数据库实例，通过数据库备份恢复，构建镜像库的方式，集中到同一个网络中；然后该模块在连接中间库的应用系统中配置待比较数据库实例的数据库连接信息。

所述检查内容设置模块中，检查规则的构建包括根据表字段，依赖其字段，检查字段，其中检查字段、依赖字段都是该表字段的子集；当依赖字段的数据相同时，检查字段的内容也相同则认为相同；其它的均认为不一致。

所述一致性检查模块中，支持两个数据源相同数据库类型的同一表结构数据的比较，然后分别列示检查内容设置模块中设置检查规则的比较结果，检查结果分为两类：一致、不一致。

所述映射关系设置模块中，通过设置每个数据库连接，每个表的映射关系，使得在一致性检查进行映射时，通过表名查找映射ID。

所述检查结果归集模块中，对于两个库中检查结果中不相同的项，对当前系统中业务表无影响的，手动调整一致，即通过导出功能，导出excel，对照着源库进行调整；对于检查结果中不一致的基础数据，系统中已经有业务数据引用的，通过工具建立映射。

本发明的一种可扩展的数据一致性检查工具，具有以下优点：

该发明的一种可扩展的数据一致性检查工具，可使得基础数据的清洗合并工作简单化，在网络不通、同一个表表结构不通的前提下，数据处理复杂度降低，解决现有企业中出现多个信息孤岛的问题，实用性强，适用范围广泛，易于推广。

附图说明

附图1为本发明的实现示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本发明的提供一种可扩展的数据一致性检查工具,如附图1所示，其具体结构包括：

数据库连接配置模块，将所有数据库实例集中到统一网络中；

检查内容设置模块，用于构建检查规则；

一致性检查模块，根据数据库配置信息连接两个数据库，对设置的检查内容进行检查，同时展示检查结果；

映射关系设置模块，用于在一致性检查进行映射时，通过表名查找映射ID；

检查结果归集处理模块，根据业务库中当前基础表中数据的使用与否，对检查不一致的数据进行归集处理。

所述数据库连接配置模块中，对于不在同一网络的数据库实例，通过数据库备份恢复，构建镜像库的方式，集中到同一个网络中；然后该模块在连接中间库的应用系统中配置待比较数据库实例的数据库连接信息。待比较库的数据库类型一致，同为oracle或者sqlserver，不强制要求数据库版本一致。