[发明专利]一种数据质量检查方法、检查装置、检查设备及存储介质

说明书

本申请公开一种数据质量检查方法、检查装置、检查设备及存储介质，可应用于金融领域或其他领域，方法包括：从应用系统数据库中确定待检查数据；应用系统数据库中存有应用系统运行过程中产生的数据；根据待检查数据的数据名称，从数据字典中确定待检查数据对应的数据标准；数据名称与数据标准在数据字典中是按照一一对应的关系进行保存的；将待检查数据和数据标准输入应用系统对应的数据质量检查模型，对待检查数据进行数据质量检查；从数据质量检查模型中获取待检查数据对应的数据质量检查结果；对于相同的数据使用相同的数据标准进行数据质量检查，进而保障了业务系统数据库中数据质量的一致性。

技术领域

本申请涉及数据处理领域，具体涉及一种数据质量检查方法、检查装置、检查设备及存储介质。

背景技术

数据质量是企业有效管理业务数据的保障，对业务数据进行数据质量检查是保障数据质量的有效手段。

相关技术中，数据质量检查是由系统开发人员根据自身对数据标准的理解制定数据质量检查规则，并写入数据检查程序中，目前存在由于质量检查规则不一致导致数据的质量检查结果存在偏差的问题。

发明内容

本申请实施例提供了一种数据质量检查方法、检查装置、检查设备及存储介质，提高了应用系统中数据质量的一致性。

有鉴于此，本申请第一方面提供了一种数据质量检查方法，所述方法包括：

从应用系统数据库中确定待检查数据；所述应用系统数据库中存有应用系统运行过程中产生的数据；

根据所述待检查数据的数据名称，从数据字典中确定所述待检查数据对应的数据标准；所述数据名称与所述数据标准在所述数据字典中是按照一一对应的关系进行保存的；

将所述待检查数据和所述数据标准输入所述应用系统对应的数据质量检查模型，对所述待检查数据进行数据质量检查；

从所述数据质量检查模型中获取所述待检查数据对应的数据质量检查结果；所述数据质量检查结果用于描述所述待检查数据是否符合所述数据标准。

可选地，所述数据质量检查模型是通过如下方法训练的：

从所述应用系统数据库中采集训练数据，并从所述数据字典中获取所述训练数据对应的所述数据标准；

当所述训练数据满足所述数据标准时，将所述训练数据标记为合规数据，获得训练数据集；

基于所述训练集训练机器学习分类模型，获得所述数据质量检查模型。

可选地，所述方法进一步包括：

当所述数据字典更新时，基于更新后的所述数据字典，更新所述数据质量检查模型。

可选地，所述方法进一步包括：

设置数据质量检查周期；

所述将所述待检查数据和所述数据标准输入所述应用系统对应的数据质量检查模型，对所述待检查数据进行数据质量检查包括：

每隔所述数据质量检查周期，将所述待检查数据和所述数据标准输入所述应用系统对应的数据质量检查模型，对所述待检查数据进行数据质量检查。

本申请第二方面提供了一种数据质量检查装置，所述装置包括：

数据确定单元，用于：从应用系统数据库中确定待检查数据；所述应用系统数据库中存有应用系统运行过程中产生的数据；

标准确定单元，用于：根据所述待检查数据的数据名称，从数据字典中确定所述待检查数据对应的数据标准；所述数据名称与所述数据标准在所述数据字典中是按照一一对应的关系进行保存的；