[发明专利]一种业务数据质量核查方法及系统

说明书

本发明公开一种业务数据质量核查方法及系统，包括：获取待核查业务数据集的数据质量规则集合；根据数据质量规则集合中规则和规则所属的业务类型构建多层树状结构图；在多层树状结构图中，根据规则和业务类型的数量分配子节点局部权重，根据父级节点全局权重和子节点局部权重得到子节点全局权重，根据父级节点总分值和子节点局部权重得到子节点分值；根据每项规则和所属的业务类型对应的子节点全局权重和子节点分值对待核查业务数据集进行质量核查。根据查核的业务数据集及其数据质量规则集合自动生成默认占比的多层树状结构图，并可以根据需要父级节点权重和分值以灵活调整子节点的占比，提高数据质量核查的灵活性。

技术领域

本发明涉及数据治理技术领域，特别是涉及一种业务数据质量核查方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

在企业数据标准化过程中，期望通过数据标准化管理反馈价值至业务，强调数据质量的重要性。在这个过程中，不可避免的会产生低质量数据，大批量的数据初始化、未处理历史数据带来的问题扩散、紧急业务产生的低质量数据，都将影响数据的质量。控制低质量数据的产生几率和及时发现低质量数据并进行有效的处理，是企业能够组织开展的举措。因此，对企业数据质量管理的正确理解，并非是不产生低质量数据，而是通过科学、有效、专业的管理和技术支持，减低并控制低质量数据的产生率和存在率，及时发现低质量数据并进行有效的处理，控制标准编码库的高健康度。

数据治理的过程中，需要了解当前所有数据的整体质量情况以及各种质量问题，只有完全了解当前所有数据的质量情况，才可以有针对性的进行数据调整和数据问题的预防。

目前在众多的数据质量管理软件中，对数据质量的综合评分以及根据评分深入追踪到每一个数据质量问题的有效流程机制都是不完善的，尤其是针对每一种数据质量问题的严重程度进行评分的占比无法进行有效控制，甚至一旦确定问题的占比就无法再次调改评分方案，无法根据实际的业务数据量对评分模型进行自适应调整，整个数据质量的核查方式灵活性较低，导致数据质量核查准确度较低。

发明内容

为了解决上述问题，本发明提出了一种业务数据质量核查方法及系统，根据查核的业务数据集及其数据质量规则集合自动生成默认占比的多层树状结构图，并可以根据需要父级节点权重和分值以灵活调整子节点的占比，提高数据质量核查的灵活性。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种业务数据质量核查方法，包括：

获取待核查业务数据集的数据质量规则集合；

根据数据质量规则集合中规则和规则所属的业务类型构建多层树状结构图；

在多层树状结构图中，根据规则和业务类型的数量分配子节点局部权重，根据父级节点全局权重和子节点局部权重得到子节点全局权重，根据父级节点总分值和子节点局部权重得到子节点分值；

根据每项规则和所属的业务类型对应的子节点全局权重和子节点分值对待核查业务数据集进行质量核查。

第二方面，本发明提供一种业务数据质量核查系统，包括：

数据获取模块，被配置为获取待核查业务数据集的数据质量规则集合；

模型构建模块，被配置为根据数据质量规则集合中规则和规则所属的业务类型构建多层树状结构图；

权重分配模块，被配置为在多层树状结构图中，根据规则和业务类型的数量分配子节点局部权重，根据父级节点全局权重和子节点局部权重得到子节点全局权重，根据父级节点总分值和子节点局部权重得到子节点分值；

质量核查模块，被配置为根据每项规则和所属的业务类型对应的子节点全局权重和子节点分值对待核查业务数据集进行质量核查。