[发明专利]闭环数据质量治理方法、装置、终端设备及存储介质

权利要求书

1.一种闭环数据质量治理方法，用于通过数据质量治理系统对数据进行量化评分，解决有质量问题的数据实现对数据质量的治理，其特征在于，包括如下步骤：

收集数据问题并对数据问题进行归类；

对已归类的数据问题进行检测确认；

定义数据质量评分模型对所述数据问题的检测项给出治理方案；

根据所述治理方案进行数据治理检测；

根据数据治理检测的结果计算出数据质量评分并出具数据质量报告；

分析所述数据质量报告并输出问题告警后上传所述数据质量治理系统。

2.根据权利要求1所述的闭环数据质量治理方法，其特征在于：所述收集数据问题并对数据问题进行归类具体包括如下步骤：

由业务、分析、产品三方收集数据问题；

各方对所述数据问题进行归类，并将数据问题归类为三级：业务线、一级分类和二级分类；

将归类的所述数据问题上传所述数据质量治理系统。

3.根据权利要求2所述的闭环数据质量治理方法，其特征在于，所述对已归类的数据问题进行检测确认具体包括如下步骤：

由业务、分析、产品三方确定数据检测范围；

对每类数据问题再确定检测范围或检测项。

4.根据权利要求3所述的闭环数据质量治理方法，其特征在于：所述定义数据质量评分模型对所述数据问题的检测项给出治理方案具体包括如下步骤：

设定数据质量检查方案的数据对象，包括检查对象、检查范围、检查频度、检查规则、评分规则和阈值；

设定数据质量检查方案中数据对象的质量维度，包括有效性、完整性和及时性；

根据所述数据对象及其质量维度形成数据质量评分模型；

根据所述数据质量评分模型对数据问题的检测项给出治理方案。

5.根据权利要求4所述的闭环数据质量治理系统，其特征在于，所述根据所述治理方案进行数据治理检测具体包括如下步骤：

所述数据质量治理系统根据所述治理方案调用相应的治理任务运行；

所述治理任务对所述数据问题进行质量检测。

6.根据权利要求5所述的闭环数据质量治理系统，其特征在于，所述根据数据治理检测的结果计算出数据质量评分并出具数据质量报告具体包括如下步骤：

所述数据质量治理系统调用数据治理任务进行质量检测后得出检测结果；

根据所述检测结果对数据质量进行评分，形成数据质量报告。

7.根据权利要求6所述的闭环数据质量治理系统，其特征在于，所述分析所述数据质量报告并输出问题告警后上传所述数据质量治理系统具体包括如下步骤：

业务、分析和产品三方对数据质量报告分析确认；

将数据质量报告输出给相应的处理对象；

将数据质量报告中存在的问题告警输出给对应的对象并将数据质量报告上传到所述数据质量治理系统保存。

8.一种闭环数据质量治理装置，其特征在于，所述装置包括：

数据问题收集分类模块，用于收集数据问题并对数据问题进行归类；

数据问题检测模块，用于对已归类的数据问题进行检测确认；

治理指标定义模块，用于定义数据质量评分模型对所述数据问题的检测项给出治理方案；

数据质量治理检测模块，用于根据所述治理方案进行数据治理检测；

数据质量评分生成模块，用于根据数据治理检测的结果计算出数据质量评分并出具数据质量报告；

数据质量报告输出模块，用于分析所述数据质量报告并输出问题告警后上传所述数据质量治理系统。

9.一种闭环数据质量治理终端设备，其特征在于，所述存储器、处理器及存储在所述存储器上并可在所述处理器上运行的终端设备的闭环数据质量治理程序，所述处理器执行所述终端设备的闭环数据质量治理程序时，实现如权利要求1-7任一项所述的闭环数据质量治理方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有终端设备的闭环数据质量治理程序，所述闭环数据质量治理程序被处理器执行时，实现如权利要求1-7任一项所述的闭环数据质量治理方法的步骤。