[发明专利]基于模型的数据质量核查方法及装置

权利要求书

1.一种基于模型的数据质量核查方法，其特征在于，包括：

获取目标数据库中的待核查数据；

将所述待核查数据输入至数据核查模型中进行数据核查，其中，所述数据核查模型是预先基于核查配置信息创建的，所述核查配置信息是基于所述目标数据库对应的元数据进行配置获得的；

基于所述数据核查模型的输出，确定所述待核查数据对应的核查结果。

2.根据权利要求1所述的方法，其特征在于，所述核查配置信息包括所述目标数据库中的待核查数据表字段及其对应的数据核查方式；

所述获取目标数据库中的待核查数据，包括：基于所述核查配置信息中的待核查数据表字段，获取所述目标数据库中的所述待核查数据表字段对应的待核查数据；

所述数据核查模型是基于所述待核查数据表字段对应的数据核查方式，对所述待核查数据中的相应字段数据进行数据核查。

3.根据权利要求2所述的方法，其特征在于，所述基于核查配置信息创建所述数据核查模型，包括：

获取所述核查配置信息；

将所述核查配置信息中的待核查数据表字段作为列信息，创建二维数据结构对象；

将所述二维数据结构对象中的列信息与所述核查配置信息中的相应待核查数据表字段对应的数据核查方式进行绑定，创建出所述数据核查模型。

4.根据权利要求3所述的方法，其特征在于，所述将所述核查配置信息中的待核查数据表字段作为列信息，创建二维数据结构对象，包括：

创建由行索引和列索引进行数据关联的二维数据结构对象；其中，所述列索引为所述核查配置信息中的待核查数据表字段。

5.根据权利要求3所述的方法，其特征在于，所述将所述二维数据结构对象中的列信息与所述核查配置信息中的相应待核查数据表字段对应的数据核查方式进行绑定，创建出所述数据核查模型，包括：

对所述二维数据结构对象进行升维，变为三维结构；其中，两维结构表示待核查数据，一维表示所述数据核查方式，通过所述三维结构将所述二维数据结构对象中的列信息与所述核查配置信息中的相应待核查数据表字段对应的数据核查方式进行绑定，创建出所述数据核查模型。

6.根据权利要求3所述的方法，其特征在于，所述二维数据结构对象的行数量为预设数量；所述二维数据结构对象的列数量为所述核查配置信息中配置的所述待核查数据表字段对应的字段数量。

7.根据权利要求3所述的方法，其特征在于，所述将所述待核查数据输入至数据核查模型中进行数据核查，包括：

将所述待核查数据存入所述二维数据结构对象中，获得待核查对象；其中，若所述二维数据结构对象的行数量大于所述待核查数据的行数量，则对多余行数空间进行所述待核查数据的重复存入、填充处理或者留空处理；

基于所述待核查对象中的列信息绑定的数据核查方式，对相应列存储的待核查数据进行数据核查。

8.根据权利要求7所述的方法，其特征在于，所述基于所述待核查对象中的列信息绑定的数据核查方式，对相应列存储的待核查数据进行数据核查，包括：

通过调用所述待核查对象中的所述列信息绑定的数据核查方式对应的核查函数，对相应列存储的待核查数据进行数据核查。

9.根据权利要求1所述的方法，其特征在于，所述获取目标数据库中的待核查数据，包括：

获取目标数据库中当前时刻新增加的待核查数据；或者，

获取目标数据库中在预设时间段内产生的待核查数据；或者，

获取目标数据库中满足预设数据量的待核查数据；或者，

根据上次的核查结果和/或服务器占用情况，获取目标数据库中在两次核查时间段内产生的待核查数据。

10.根据权利要求1～9任一所述的方法，其特征在于，所述将所述待核查数据输入至数据核查模型中进行数据核查，包括：

基于所述核查配置信息在内存中创建所述数据核查模型；

将所述待核查数据读入内存中的所述数据核查模型中进行数据核查。

11.一种基于模型的数据质量核查装置，其特征在于，包括：

待核查数据获取模块，用于获取目标数据库中的待核查数据；

待核查数据输入模块，用于将所述待核查数据输入至数据核查模型中进行数据核查，其中，所述数据核查模型是预先基于核查配置信息创建的，所述核查配置信息是基于所述目标数据库对应的元数据进行配置获得的；

核查结果确定模块，用于基于所述数据核查模型的输出，确定所述待核查数据对应的核查结果。