[发明专利]基于模型的数据质量核查方法及装置

说明书

本发明实施例公开了一种基于模型的数据质量核查方法及装置。该方法包括：获取目标数据库中的待核查数据；将待核查数据输入至数据核查模型中进行数据核查，其中，数据核查模型是预先基于核查配置信息创建的，核查配置信息是基于目标数据库对应的元数据进行配置获得的；基于数据核查模型的输出，确定待核查数据对应的核查结果。通过本发明实施例的技术方案，可以避免因核查数据而导致数据库资源占用过多的情况，并且降低数据库的服务压力，保证数据库的正常使用。

技术领域

本发明实施例涉及计算机技术，尤其涉及基于模型的数据质量核查方法及装置。

背景技术

随着计算机技术的快速发展，通常需要对数据库中存储的数据进行质量核查。例如，检测数据的一致性、关联性、规范性和完整性等。

目前，通常是基于数据库表的具体结构生成相应的数据核查SQL语句，并通过执行SQL语句的方式对数据库进行数据核查。可见，这种核查方式需要对数据库进行频繁的读取操作，比如，数据判断、排序、类型转换、逻辑判断等复杂操作，从而会占用过多的数据库资源，增大了数据库的服务压力，甚至影响用户对数据库资源的正常使用。

发明内容

本发明实施例提供了一种基于模型的数据质量核查方法及装置，以避免因核查数据而导致数据库资源占用过多的情况，并且降低数据库的服务压力，保证数据库的正常使用。

第一方面，本发明实施例提供了一种基于模型的数据质量核查方法，包括：

获取目标数据库中的待核查数据；

将所述待核查数据输入至数据核查模型中进行数据核查，其中，所述数据核查模型是预先基于核查配置信息创建的，所述核查配置信息是基于所述目标数据库对应的元数据进行配置获得的；

基于所述数据核查模型的输出，确定所述待核查数据对应的核查结果。

第二方面，本发明实施例还提供了一种基于模型的数据质量核查装置，包括：

待核查数据获取模块，用于获取目标数据库中的待核查数据；

待核查数据输入模块，用于将所述待核查数据输入至数据核查模型中进行数据核查，其中，所述数据核查模型是预先基于核查配置信息创建的，所述核查配置信息是基于所述目标数据库对应的元数据进行配置获得的；

核查结果确定模块，用于基于所述数据核查模型的输出，确定所述待核查数据对应的核查结果。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的基于模型的数据质量核查方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的基于模型的数据质量核查方法。

本发明实施例通过基于目标数据库对应的元数据进行配置，并基于获得的核查配置信息创建出相应的数据核查模型，从而实现了数据核查模型的动态创建，满足数据核查的个性化需求。通过获取目标数据库中的待核查数据，并将待核查数据输入至数据核查模型中进行数据核查，基于所述数据核查模型的输出确定待核查数据对应的核查结果，从而利用数据核查模型，仅需对目标数据库进行一次读取操作便可获得核查结果，无需频繁多次地进行数据的重复读取，避免了因核查数据而导致数据库资源占用过多的情况，并且降低了数据库的服务压力，保证了数据库的正常使用。

附图说明