[发明专利]一种数据质量检测的方法、装置、设备及可读存储介质

说明书

本发明提供了一种数据质量检测的方法、装置、设备及可读存储介质，所述方法包括：建立对所述数据进行质量检测的规则库；获取第一数据，并提取所述第一数据的特征信息；根据所述第一数据的特征信息在所述规则库中查找所述特征信息所对应的校验规则，得到第一校验规则；基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果本发明能够在数据产生时及时对数据质量进行实时、批量检测，具有准确性、高效性、灵活性的优点。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据质量检测的方法、装置、设备及可读存储介质。

背景技术

信用卡中心数据仓库目前承载着监管报送数据输出、营销活动数据筛选、分析决策数据来源、日常报表数据提取等重要功能，不论是业务日常运转或是决策分析，都严重依赖于数据仓库的数据支撑。随着卡中心业务的飞速发展，对数据仓库的时效性、准确性也提出了越来越高的要求。

为保障数据仓库各层级数据质量的稳定可靠，亟需形成一套自动化数据质量监控体系，以实现每天批次运行过程中，自动对数据准确性进行多方位校验，并提前进行预警，从而降低业务影响，减少卡中心损失。

发明内容

本发明的目的在于提供一种数据质量检测的方法、装置、设备及可读存储介质，以改善上述问题。

为了实现上述目的，本申请实施例提供了如下技术方案：

一方面，本申请实施例提供了一种数据质量检测的方法，所述方法包括：

建立对所述数据进行质量检测的规则库；

获取第一数据，并提取所述第一数据的特征信息；

根据所述第一数据的特征信息在所述规则库中查找所述特征信息所对应的校验规则，得到第一校验规则；

基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果。

可选的，所述基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果，包括：

所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中不存在相同的校验条件，则利用每一条校验规则对所述第一数据进行校验，得到多个校验结果；

对所述多个校验结果进行分析，若所述多个校验结果中，有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述多个校验结果中，所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。

可选的，所述基于所述第一校验规则对所述第一数据进行校验，得到校验结果，对所述校验结果进行分析，得到检测结果，包括：

所述第一校验规则中每个规则有对应的校验条件，对所有的校验条件进行分析，若所有的校验条件中存在相同的校验条件，则将具有相同校验条件的校验规则进行组合，得到组合校验规则；

利用所述组合校验规则对所述所述第一数据进行校验，得到第一检测结果；

利用组合之后剩余的校验规则对所述第一数据进行校验，得到第二检测结果；

对所述第一检测结果和所述第二检测结果进行分析，得到检测结果。

可选的，所述对所述第一校验结果和所述第二校验结果进行分析，得到检测结果，包括：

将所述第一检测结果中的每一个校验结果和所述第二检测结果中的每一个校验结果进行组合，得到校验结果集合；

对所述校验结果集合进行分析，若所述校验集合中有一个校验结果为校验不通过，则所述第一数据的检测结果为不通过，若所述校验集合中所有的校验结果均为校验通过，则所述第一数据的检测结果为通过。