[发明专利]数据质量的检查方法、装置、存储介质及电子设备

说明书

本申请公开了一种数据质量的检查方法、装置、存储介质及电子设备，可应用于大数据领域或金融领域，查询待检查EAST数据是否已加载至数据库，若待检查EAST数据已加载至数据库，遍历待检查EAST数据，执行EAST数据质量检查任务和EAST质量数据导出任务，并根据当前运行状态和预设最大进程数，调整并行执行的EAST数据质量检查任务和EAST质量数据导出任务的数量，在本申请中，根据多维度(即当前运行状态和预设最大进程数)的方式对并行执行任务的数量进行调节，使得并行执行任务的数量更加合理化，能够在确保系统稳定的情况下，提升数据检查的效率。

技术领域

本申请涉及大数据领域，尤其涉及一种数据质量的检查方法、装置、存储介质及电子设备。

背景技术

检查分析系统(ExaminationandAnalysisSystemTechnology，EAST)是银保监会开发的帮助监管部门提高金融检查效能的系统，国内各家金融机构需按照银保监会的要求向EAST系统报送至少11个主题，70张明细数据表及3283条EAST数据校验结果。

目前，国内各家金融机构根据检查规则对数据进行多个业务维度的检查，得到数据检查结果，由于对数据进行多个业务维度的检查之前，通常需要设置并行度以提高数据检查的效率，现有的并行度设置方法是通过单一维度对并行度进行设置的，若是并行度设置的不合理，可能会影响系统的稳定性，从而导致数据检查的效率低下。

因此，如何提升数据检查的效率，成为本领域亟需解决的问题。

发明内容

本申请提供了一种数据质量的检查方法、装置、存储介质及电子设备，目的在于提升数据检查的效率。

为了实现上述目的，本申请提供了以下技术方案：

一种数据质量的检查方法，包括：

查询待检查EAST数据是否已加载至数据库，所述待检查EAST数据包括监管方要求数量的明细数据表；

若所述待检查EAST数据已加载至所述数据库，遍历所述待检查EAST数据，执行EAST数据质量检查任务和EAST质量数据导出任务，并根据当前运行状态和预设最大进程数，调整并行执行的EAST数据质量检查任务和EAST质量数据导出任务的数量。

可选的，还包括：

若所述待检查EAST数据未加载至所述数据库，则将所述待检查EAST数据加载至所述数据库中。

可选的，所述遍历所述待检查EAST数据，执行EAST数据质量检查任务和EAST质量数据导出任务，包括：

分批获取所述明细数据表中的数据，利用预设检查规则对分批获取到的明细数据表中的数据进行数据质量检查；

若检查出存在问题，则确定问题数据，并批量导出。

可选的，根据当前运行状态和预设最大进程数，调整并行执行的EAST数据质量检查任务和EAST质量数据导出任务的数量，包括：

获取当前运行状态；所述当前运行状态至少包括CPU的使用率、内存使用率以及IO消耗量；

当所述CPU的使用率小于第一预设阈值、所述内存使用率小于第二预设阈值，且所述IO消耗量小于第三预设阈值时，获取EAST数据质量检查任务以及EAST质量数据导出任务的进程数；

当所述进程数小于预设最大进程数时，增加并行执行的EAST数据质量检查任务和EAST质量数据导出任务的数量，其中，增加后的并行执行的EAST数据质量检查任务和EAST质量数据导出任务的数量不大于所述预设最大进程数。

可选的，还包括：