[发明专利]一种数据质量检测方法和装置

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种数据质量检测方法和装置。

背景技术

在企业运营过程中，由于多地区、多产品、多业务、多系统的环境，导致数据存在诸多质量问题，主要包括：数据不一致、不完整、不统一等问题，由此导致管理者、业务人员和信息使用者的误解，导致数据利用出现错误，企业决策出现偏差。同时低劣数据质量往往造成开发出来的系统与用户预期大相径庭，并且导致运行维护成本过高，工作量过大，系统难以扩展。综上所述，数据质量的检测对于提高数据质量的至关重要的。

现有技术中，一般通过单一的规则对数据进行检测，例如，利用预先设置的格式规则检测目标数据的格式。

但是，现有的方法只能对数据进行格式等单一维度的检测。

发明内容

本发明实施例提供了一种数据质量检测方法和装置，能够对数据进行多个维度的检测。

第一方面，本发明实施例提供了一种数据质量检测方法，预先设置至少两种数据标准，还包括：

获取待检测数据表；

在所述至少两种数据标准中确定至少两种目标数据标准；

针对每一种所述目标数据标准，均执行：利用当前目标数据标准对所述待检测数据表进行数据质量检测；

根据各个所述目标数据标准对应的检测结果，生成至少一个数据检测报告。

优选地，

所述数据标准，包括：字段标准、数据元标准、数据表标准、约束规则、数据字典、敏感字段、黑名单和白名单中任意一种或多种的组合。

优选地，

所述数据检测报告分为完整性报告、规范性报告、一致性报告、准确性报告、唯一性报告、关联性报告、安全性报告。

优选地，

所述当前目标数据标准为约束规则；

所述约束规则包括：等于规则、截取自规则和合并自规则；

所述利用当前目标数据标准对所述待检测数据表进行数据质量检测，包括：

利用所述等于规则判断所述待检测数据表中的目标字段是否与预先设置的第一标准字段相同，利用所述截取自规则判断所述待检测数据表中的目标字段是否截取自所述第一标准字段，利用所述合并自规则判断所述待检测数据表中的目标字段是否为所述第一标准字段和预先设置的第二标准字段的组合。

第二方面，本发明实施例提供了一种数据质量检测装置，包括：

设置单元，用于设置至少两种数据标准；

确定单元，用于获取待检测数据表；在所述设置单元设置的所述至少两种数据标准中确定至少两种目标数据标准；

检测单元，用于针对所述确定单元确定的每一种所述目标数据标准，均执行：利用当前目标数据标准对所述待检测数据表进行数据质量检测；

生成单元，用于根据各个所述目标数据标准对应的检测结果，生成至少一个数据检测报告。

优选地，

所述数据标准，包括：字段标准、数据元标准、数据表标准、约束规则、数据字典、敏感字段、黑名单和白名单中任意一种或多种的组合。

优选地，

所述数据检测报告分为完整性报告、规范性报告、一致性报告、准确性报告、唯一性报告、关联性报告、安全性报告。

优选地，

所述当前目标数据标准为约束规则；

所述约束规则包括：等于规则、截取自规则和合并自规则；

所述检测单元，用于利用所述等于规则判断所述待检测数据表中的目标字段是否与预先设置的第一标准字段相同，利用所述截取自规则判断所述待检测数据表中的目标字段是否截取自所述第一标准字段，利用所述合并自规则判断所述待检测数据表中的目标字段是否为所述第一标准字段和预先设置的第二标准字段的组合。

第三方面，本发明实施例提供了一种可读介质，包括执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行上述任一实施例所述的方法。

第四方面，本发明实施例提供了一种存储控制器，包括：处理器、存储器和总线；

所述存储器用于存储执行指令，所述处理器与所述存储器通过所述总线连接，当所述存储控制器运行时，所述处理器执行所述存储器存储的所述执行指令，以使所述存储控制器执行上述任一实施例所述的方法。

本发明实施例提供了一种数据质量检测方法和装置，其中，该方法能够利用多种数据标准对待检测数据表进行多个维度的检测，与现有技术中相比，该方法具有检测效率高、维护成本低、检测维度多样的优势。

附图说明