[发明专利]闭环数据质量治理方法、装置、终端设备及存储介质

说明书

本发明公开了一种闭环数据质量治理方法、装置、终端设备及存储介质，收集数据问题并对数据问题进行归类，对已归类的数据问题进行检测确认，定义数据质量评分模型对所述数据问题的检测项给出治理方案，根据所述治理方案进行数据治理检测，根据数据治理检测的结果计算出数据质量评分并出具数据质量报告，分析所述数据质量报告并输出问题告警后上传所述数据质量治理系统。对数据进行分类、进行标准定义、开发治理指标进行质量健康检测、任务调度引擎启动任务、通过系统输出质量报告、通过邮件预警等通知相关人员，达到问题告警，最后进行数据治理和上报，形成一个数据质量治理的闭环。本发明易用、高效而成熟。

技术领域

本发明涉及数据质量治理领域，尤其涉及闭环的数据质量治理方法、系统及存储介质。

背景技术

随着大数据时代的到来，各企业越来越重视数据的收集和利用，如何让数据价值落地、如何使用大数据来提高竞争力，是所有企业面临的最大现实问题。在数据来源多样化的情况下，数据质量直接影响到数据分析和数据挖掘得到的结论的正确性，进而影响到管理决策的正确性和业务的发展，数据的管理和治理变得越来越重要。数据质量问题产生的原因有多方面，比如在技术、管理、流程、业务等方面。数据质量问题的治理就是要找到问题的源头并加以解决。目前现有市场的数据治理系统主要是在数据收集阶段，收集前或收集后进行数据质量评测，这些数据治理方法存在不易使用、有效性差，不够成熟的问题，在企业利用数据进行质量管理的过程中不能进行及时的问题提示与反馈，给用户的使用带来了不便。

因此，现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种闭环的数据质量治理方法、系统及存储介质，旨在解决现有技术中用户在为数据质量进行治理时，不易使用、有效性差，不够成熟，质量管理过程不能及时进行提示与反馈的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

第一方面，本发明提供一种闭环的数据质量治理方法，用于通过数据质量治理系统对数据进行量化评分，解决有质量问题的数据实现对数据质量的治理，其中，包括如下步骤：

收集数据问题并对数据问题进行归类；

对已归类的数据问题进行检测确认；

定义数据质量评分模型对所述数据问题的检测项给出治理方案；

根据所述治理方案进行数据治理检测；

根据数据治理检测的结果计算出数据质量评分并出具数据质量报告；

分析所述数据质量报告并输出问题告警后上传所述数据质量治理系统。

第二方面，本发明还提供一种闭环数据质量治理装置，其中，该闭环数据质量治理装置包括：

数据问题收集分类模块，用于收集数据问题并对数据问题进行归类；

数据问题检测模块，用于对已归类的数据问题进行检测确认；

治理指标定义模块，用于定义数据质量评分模型对所述数据问题的检测项给出治理方案；

数据质量治理检测模块，用于根据所述治理方案进行数据治理检测；

数据质量评分生成模块，用于根据数据治理检测的结果计算出数据质量评分并出具数据质量报告；

数据质量报告输出模块，用于分析所述数据质量报告并输出问题告警后上传所述数据质量治理系统。

第三方面，本发明还提供一种闭环数据质量治理终端设备，所述存储器、处理器及存储在所述存储器上并可在所述处理器上运行的终端设备的闭环数据质量治理程序，所述处理器执行所述终端设备的闭环数据质量治理程序时，实现方案中任一项的闭环数据质量治理方法的步骤。