[发明专利]一种数据检测方法、装置和电子设备

说明书

本发明实施例提供了一种数据检测方法、装置和电子设备，通过获得预先设置的数据作业链路，其中，所述数据作业链路包括：具有处理依赖关系的多个数据处理作业以及分别与各所述数据处理作业对应的数据检查作业；在所述数据作业链路中，具有处理依赖关系的两个数据处理作业之间设置有所述数据检查作业，且所述数据检查作业与所述两个数据处理作业中被依赖的所述数据处理作业对应；按照所述处理依赖关系，依次执行所述数据作业链路中的所述数据处理作业和所述数据检查作业。由此可以看出本发明可以对商业银行数据仓库的数据进行数据质量检测，以消除数据的质量问题。

技术领域

本发明涉及数据检测技术领域，特别是涉及一种数据检测方法、装置和电子设备。

背景技术

由于历史累积、违归操作、系统迁移以及系统固有缺陷等原因，数据质量缺陷广泛存在，难以根除。特别是商业银行数据仓库的数据因为数据来源渠道分散、各下游端数据加工规则不一致、生产端数据原始性缺失等等，都为数据仓库的基础数据埋下了层层隐患，带来了潜在的数据质量问题。

目前，暂无对商业银行数据仓库的进行大规模的数据检测方法，即目前没有对商业银行数据仓库的数据进行数据质量检测，以消除数据的质量问题。

发明内容

本发明实施例的目的在于提供一种数据检测方法、装置和电子设备，以实现对商业银行数据仓库的数据进行数据质量检测，以消除数据的质量问题。具体技术方案如下：

第一方面，一种数据检测方法，包括：

获得预先设置的数据作业链路，其中，所述数据作业链路包括：具有处理依赖关系的多个数据处理作业以及分别与各所述数据处理作业对应的数据检查作业；在所述数据作业链路中，具有处理依赖关系的两个数据处理作业之间设置有所述数据检查作业，且所述数据检查作业与所述两个数据处理作业中被依赖的所述数据处理作业对应；

按照所述处理依赖关系，依次执行所述数据作业链路中的所述数据处理作业和所述数据检查作业。

结合第一方面，在某些可选的实施方式中，所述按照所述处理依赖关系，依次执行所述数据作业链路中的所述数据处理作业和所述数据检查作业，包括：

在所述数据作业链路中的目标数据处理作业执行结束后，执行所述目标数据处理作业对应的目标数据检查作业，以对所述目标数据处理作业产生的业务数据进行检查；

当所述目标数据检查作业的检查结果为数据无异常时，执行依赖所述目标数据处理作业的其他数据处理作业。

结合上一个实施方式，在某些可选的实施方式中，所述目标数据检查作业所包括的检查项目与所述目标数据处理作业对应，和/或，所述目标数据检查作业至少包括如下检查项目中的至少一种：

数据记录检查：检查数据表中存储的所述目标数据处理作业产生的业务数据是否存在记录异常的情况；

数据统计检查：统计所述数据表中存储的所述目标数据处理作业产生的业务数据的变化情况，以检查所述所述数据表中存储的所述目标数据处理作业产生的业务数据是否存在统计特征异常的情况；

数据应用检查：对所述数据表中存储的所述目标数据处理作业产生的业务数据进行综合分析，以确定是否将其提供给所述目标数据检查作业下游的数据处理作业。

结合上一个实施方式，在某些可选的实施方式中，所述记录异常包括字段要素缺失、字段要素取值异常和记录缺失中的至少一种。

可选的，所述统计特征异常包括数据翻倍、异常减少和比重突变中的至少一种。

可选的，所述方法还包括：根据所述项目检查的结果，确定所述数据表中、所述目标数据处理作业产生的业务数据的质量等级。