[发明专利]一种基于可编排组件的数据质量治理技术

说明书

本发明涉及一种基于可编排组件的数据质量治理技术，数据获取组件、数据测评组件、数据修改组件、数据分析组件、流程改进组件、数据存储组件、数据销毁组件根据数据定义组件制定的数据质量治理范围和质量治理目标进行编排。本发明的有益效果是：将用于数据质量管理的各部分分拆成松散的组件，在进行数据质量管理时，根据在数据治理定义组件中制定的数据质量治理范围和质量治理目标对所需的组件进行编排使用，使组件之间相互协同合作，以避免流程浪费、时间浪费，提高数据质量治理效率；数据能够分散存储，提高数据的提取效率，避免出现处理海量数据时出现数据提取性能瓶颈。

技术领域

本发明涉及数据管理领域，尤其涉及一种基于可编排组件的数据质量治理技术。

背景技术

目前，对于数据质量优化领域，业界主流使用集中式数据质量管理系统。传统集中式数据质量管理系统实现了校验规则规范化管理、规则执行时间调度、数据质量报告统一管理等能力，提高了数据质量校验的效率和管理水平。

这种集中式数据质量管理系统局限性在于质量管理流程固定，不能够根据不同数据质量治理范围和质量治理目标进行自由编排，造成流程的浪费、数据质量治理时间浪费；使用传统数据库集中式存储，当处理海量数据时容易出现性能瓶颈。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种基于可编排组件的数据质量治理技术。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于可编排组件的数据质量治理技术，包括：

用于制定数据质量治理范围和质量治理目标的数据治理定义组件，

用于获取数据的数据获取组件，

用于对数据进行测评的数据测评组件，

用于对异常数据进行修改的数据修改组件，

用于对数据进行分析的数据分析组件，

用于对数据质量治理流程进行改进的流程改进组件，

用于分散存储数据的数据存储组件，

用于销毁数据的数据销毁组件；

所述数据获取组件、数据测评组件、数据修改组件、数据分析组件、流程改进组件、数据存储组件、数据销毁组件根据数据定义组件制定的数据质量治理范围和质量治理目标进行编排。

其中，所述数据获取组件包括多个根据数据来源不同分别进行采集的数据采集子组件。

其中，所述数据测评组件包括唯一性测评子组件、完整性测评子组件、准确性测评子组件、一致性测评子组件、关联性测评子组件、及时性测评子组件。

其中，所述数据修改组件包括用于修正错误数据和缺失数据的交叉验证法数据修正子组件、用于去除冗余数据的相似比较法数据去除子组件。

其中，所述数据分析组件包括回归分析子组件、因子分析子组件、鱼骨图分析子组件、帕累托分析子组件、矩阵数据分析子组件。

其中，所述流程改进组件包括流程反馈子组件、流程再造子组件。

其中，所述数据存储组件包括若干个独立的数据存储子组件。

本发明的有益效果是：将用于数据质量管理的各部分分拆成松散的组件，在进行数据质量管理时，根据在数据治理定义组件中制定的数据质量治理范围和质量治理目标对所需的组件进行编排使用，使组件之间相互协同合作，以避免流程浪费、时间浪费，提高数据质量治理效率；数据能够分散存储，提高数据的提取效率，避免出现处理海量数据时出现数据提取性能瓶颈。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明中数据质量治理技术的框架图。

具体实施方式