[发明专利]一种构建数据仓库数据质量监测规则的方法和系统

权利要求书

1.一种构建数据仓库数据质量监测规则的方法，其特征在于，对于数据库中各表的字段，

确定具有非空特征的字段，基于非空特征字段形成非空的完整性约束规则；

确定为主键的字段，基于主键字段形成唯一性约束规则；

确定具有外键关系的字段，基于外键关系形成一致性约束规则；

确定为主数据的字段，基于主数据的格式形成有效性约束规则；

由规则引擎读取完整性约束规则、唯一性约束规则、一致性约束规则、有效性约束规则，生成相应的数据仓库数据质量监测规则语句。

2.如权利要求1所述的构建数据仓库数据质量监测规则的方法，其特征在于，

通过字段级知识图谱确定数据库中各表的字段是否具有非空特征，将具有非空特征的字段所属表名、字段名、字段对应的非空规则以表形式存储以形成非空的完整性约束规则表；

通过字段级知识图谱确定数据库中各表的字段是否为主键，将主键字段所属表名、字段名、字段对应的唯一约束规则以表形式存储以形成唯一性约束规则表；

通过字段级知识图谱确定数据库各表中具有外键关系的字段，将外键关系中的主键和主键字段所属表名、字段名、字段对应的外键约束规则以表形式存储以形成一致性约束规则表；

通过字段级知识图谱确定数据库中各表的字段是否为主数据字段，并将数据共享的字段分为同一组主数据字段；找出将同一组主数据字段内字段维值最小的字段，将该字段维值最小的字段所属表名、字段名、字段对应的数据格式以表形式存储以形成有效性约束规则表；

由规则引擎读取完整性约束规则表、唯一性约束规则表、一致性约束规则表、有效性约束规则表，生成相应的数据仓库数据质量监测规则语句。

3.如权利要求2所述的构建数据仓库数据质量监测规则的方法，其特征在于，所述字段级知识图谱是指将各表的字段、表间关系以可视化的图结构形式展示的知识图谱；所述字段级知识图谱包括节点和边，每一个节点代表一个字段，每一条边代表一种字段间关系；所述表间关系体现为来自不同表的字段之间的关系，至少包括外键关系、数据相等、数据去空相等。

4.如权利要求3所述的构建数据仓库数据质量监测规则的方法，其特征在于，通过字段级知识图谱确定数据库中各表的字段是否为主数据字段时，找出表间关系为外键关系、数据相等或数据去空相等的两个字段，且所述两个字段的原始数据来源于不同的业务系统时，将该两个字段作为主数据字段。

5.如权利要求2所述的构建数据仓库数据质量监测规则的方法，其特征在于，所述数据格式采用正则表达式。

6.如权利要求3所述的构建数据仓库数据质量监测规则的方法，其特征在于，获取外键关系的过程为：

获取数据库中各表所来自的业务系统、表名，以及各表中的字段名；

针对各表，根据表中字段的值，分析各字段的特征；以及针对各表，根据表名、字段名以及字段的值，计算获得表内各字段之间的表内函数依赖关系；

针对各表，根据表内函数依赖关系识别出各表的主键，并根据所述主键的特征在其他表中寻找并确定与之对应的外键，在主键和外键之间形成外键关系。

7.如权利要求6所述的构建数据仓库数据质量监测规则的方法，其特征在于，获取数据相等和数据去空相等关系的过程为：

通过表内函数依赖关系，确定外键所属的表A，找到该外键字段的闭包，将闭包内字段去重后形成一张以该外键的字段为主键的临时表B；

通过外键关系，将主键所在表C作为左表，以临时表B作为右表，进行内连接形成一张新的临时表D；

对临时表D中各字段在表A和表C的值进行对比，以形成如下表间关系：

数据相等，即表A和表C之间字段在临时表D中两列数据完全相等；

数据去空相等，即表A和表C之间字段在临时表D中两列数据去除空值后相等。