[发明专利]数据质量检测方法及装置在审

专利信息
申请号: 201910927963.9 申请日: 2019-09-27
公开(公告)号: CN110737650A 公开(公告)日: 2020-01-31
发明(设计)人: 郑伟波;张毅然 申请(专利权)人: 北京明略软件系统有限公司
主分类号: G06F16/215 分类号: G06F16/215
代理公司: 11240 北京康信知识产权代理有限责任公司 代理人: 刘旺贵
地址: 100086 北京市海淀区*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据质量检测 维度 字段 唯一性 质量可靠性 加权计算 接入数据 数据库级 质量检测 数据源 保证
【权利要求书】:

1.一种数据质量检测方法,其特征在于,包括:

获取需进行数据质量检测的数据表;

对所述数据表的每个字段采用对应的检核规则进行数据质量检测,以获得每个字段在每个维度下的数据质量检测值,其中,所述维度至少包括以下之一:一致性、及时性、准确性、唯一性;

对每个字段在每个维度下的数据质量检测值进行加权计算获得所述数据表的数据质量检测值。

2.根据权利要求1所述的方法,其特征在于,对每个字段的数据质量检测值进行加权计算获得所述数据表的数据质量检测值之后,还包括:

获取同一数据源下的多个数据表的数据质量检测值;

对所述多个数据表的数据质量检测值进行加权计算获得所述数据源的数据质量检测值。

3.根据权利要求2所述的方法,其特征在于,对所述多个数据表的数据质量检测值进行加权计算获得所述数据源的数据质量检测值之后,还包括:

获取同一数据库下的多个数据源的数据质量检测值;

对所述多个数据源的数据质量检测值进行加权计算获得所述数据库的数据质量检测值。

4.根据权利要求1所述的方法,其特征在于,还包括:

预先设置至少以下之一的门限值:字段在不同维度下的门限值、数据表的门限值、数据源的门限值、数据库的门限值;

当满足以下至少以下之一的条件时触发告警信息:

字段在不同维度下的数据质量检测值未达到该字段在对应维度下的门限值;

数据表的数据质量检测值未达到该数据表的门限值;

数据源的数据质量检测值未达到该数据源的门限值;

数据库的数据质量检测值未达到该数据库的门限值。

5.一种数据质量检测装置,其特征在于,包括:

第一获取模块,用于获取需进行数据质量检测的数据表;

检测模块,用于对所述数据表的每个字段采用对应的检核规则进行数据质量检测,以获得每个字段在每个维度下的数据质量检测值,其中,所述维度至少包括以下之一:一致性、及时性、准确性、唯一性;

第一计算模块,用于对每个字段在每个维度下的数据质量检测值进行加权计算获得所述数据表的数据质量检测值。

6.根据权利要求5所述的装置,其特征在于,还包括:

第二获取模块,用于获取同一数据源下的多个数据表的数据质量检测值;

第二计算模块,用于对所述多个数据表的数据质量检测值进行加权计算获得所述数据源的数据质量检测值。

7.根据权利要求6所述的装置,其特征在于,还包括:

第三获取模块,用于获取同一数据库下的多个数据源的数据质量检测值;

第三计算模块,用于对所述多个数据源的数据质量检测值进行加权计算获得所述数据库的数据质量检测值。

8.根据权利要求5所述的装置,其特征在于,还包括:

告警模块,用于预先设置至少以下之一的门限值:字段在不同维度下的门限值、数据表的门限值、数据源的门限值、数据库的门限值;并且,在满足以下至少以下之一的条件时触发告警信息:字段在不同维度下的数据质量检测值未达到该字段在对应维度下的门限值;数据表的数据质量检测值未达到该数据表的门限值;数据源的数据质量检测值未达到该数据源的门限值;数据库的数据质量检测值未达到该数据库的门限值。

9.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。

10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4任一项中所述的方法。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京明略软件系统有限公司,未经北京明略软件系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910927963.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top