[发明专利]数据质量检验方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种数据质量检验方法、装置、电子设备及存储介质。本发明实施例通过将源数据库中待检验的第一数据表中的数据抽取到中间数据库的第二数据表中，所述中间数据库与所述源数据库为不同的数据库，根据所述第一数据表的业务特性，为所述第二数据表配置检验规则，所述业务特性指为满足业务需求所应当符合预设条件的特性，基于所述检验规则，对所述第二数据表中的数据进行检验，能够进行非侵入式的数据质量检验，避免了因侵入源数据库而对源数据造成二次数据污染或者因侵占计算资源造成数据源性能问题，从而提高了数据质量检验过程中待检验的源数据的安全性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据质量检验方法、装置、电子设备及存储介质。

背景技术

随着大数据时代的到来，在各行各业的数字化转型中，数据作为一种资产已经成为共识。数据的应用也日趋繁茂，越来越多的应用和服务都基于数据而建立，数据的重要性不言而喻。

在当前数据治理及使用过程中，数据的质量问题也越来越突出，因此，检验数据质量成为数据应用之前一个重要的环节。

相关技术中，直接在源数据表上对数据进行质量检验，这是一种侵入式的检验方式，可能对源数据库中的数据造成二次污染，甚至导致源数据库不可用，安全性较差。

发明内容

为克服相关技术中存在的问题，本发明提供了一种数据质量检验方法、装置、电子设备及存储介质，提高数据质量检验过程中待检验数据的安全性。

根据本发明实施例的第一方面，提供一种数据质量检验方法，包括：

将源数据库中待检验的第一数据表中的数据抽取到中间数据库的第二数据表中，所述中间数据库与所述源数据库为不同的数据库；

根据所述第一数据表的业务特性，为所述第二数据表配置检验规则；所述业务特性指为满足业务需求所应当符合预设条件的特性；

基于所述检验规则，对所述第二数据表中的数据进行检验。

根据本发明实施例的第二方面，提供一种数据质量检验装置，包括：

抽取模块，用于将源数据库中待检验的第一数据表中的数据抽取到中间数据库的第二数据表中，所述中间数据库与所述源数据库为不同的数据库；

配置模块，用于根据所述第一数据表的业务特性，为所述第二数据表配置检验规则；所述业务特性指为满足业务需求所应当符合预设条件的特性；

检验模块，用于基于所述检验规则，对所述第二数据表中的数据进行检验。

根据本发明实施例的第三方面，提供一种电子设备，包括：

用于存储处理器的可执行指令的存储器；

所述处理器，用于执行所述指令，以实现第一方面任一项所述的方法。

根据本发明实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有若干计算机指令，所述计算机指令被执行时实现第一方面任一项所述的方法。

本发明实施例提供的技术方案可以包括以下有益效果：

本发明实施例，通过将源数据库中待检验的第一数据表中的数据抽取到中间数据库的第二数据表中，所述中间数据库与所述源数据库为不同的数据库，根据所述第一数据表的业务特性，为所述第二数据表配置检验规则，所述业务特性指为满足业务需求所应当符合预设条件的特性，基于所述检验规则，对所述第二数据表中的数据进行检验，能够进行非侵入式的数据质量检验，避免了因侵入源数据库而对源数据造成二次数据污染或者因侵占计算资源造成数据源性能问题，从而提高了数据质量检验过程中待检验的源数据的安全性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。