[发明专利]一种通过数据探查感知数据治理成效的方法

说明书

本发明提供一种通过数据探查感知数据治理成效的方法，该方法包括：配置内置业务规则和自定义业务规则；创建探查任务配置，关联上述业务规则，指定探查指标，新增探查任务；读取探查任务配置，执行探查任务和探查子任务，形成探查结果；解析探查结果，形成探查报告。根据本发明的方法，可匹配识别出业务字段的真实含义，同时支持根据字段中英文名、业务数据设置匹配规则，支持关键字或正则表达式匹配，并提供规则测试；支持多类数据源和多种探查指标；可对接分布式任务调度平台，支持任务的执行、冻结、解冻以及查看实例运行日志；可直观地展示数据源探查、元数据探查、数据表探查、字段探查各项指标结果，支持探查报告导出。

技术领域

本发明涉及数据治理领域，尤其涉及一种通过数据探查感知数据治理成效的方法。

背景技术

数据治理伴随着数据标准化、脱敏、计算和数据上下云等一系列数据加工过程，如何能在这些复杂的加工过程中找出数据潜在的问题和风险，如何保障有价值的数据产出、形成数据报告，并对数据决策提供支持，这些都是数据治理过程中需要亟待解决的问题。

数据探查就是数据治理过程中非常重要的一环，它可以为数据质量和数据决策分析提供保障。数据探查可通过自动化手段，探查数据的内容、背景、结构、路径等信息，还能检查数据成分、数据关系及数据格式等规范性，并结合业务场景，帮助分析和判断需求实现的可行性，为开发提供指导。

目前在数据治理领域，如何采用一套完善且规范化的数据探查指标去反映数据治理成效，采用一套自动化手段实现对数据治理过程中数据的动态变化进行监控，成为亟待解决的技术问题。

发明内容

有鉴于此，本发明针对现有技术中存在的缺点，提供一种能够自动动态感知数据治理成效的技术方案，通过一套完善的数据探查指标来反馈数据的动态变化，从而实现可以及时找出数据潜在的问题和风险，为数据决策和数据开发提供指导。

一方面，本发明提供一种通过数据探查感知数据治理成效的方法，包括：

S1：配置内置业务规则和自定义业务规则；

S2：创建探查任务配置，关联上述业务规则，指定探查指标，新增探查任务；

S3：读取探查任务配置，执行探查任务和探查子任务，形成探查结果；

S4：解析探查结果，形成探查报告。

进一步地，步骤S1中，配置内置业务规则，具体包括：配置常用业务规则，并将所述常用业务规则设置为启用状态。

进一步地，步骤S1中，自定义业务规则，具体包括：配置自定义业务规则名称、规则分类、识别方式、识别规则，其中，识别规则支持对字段内容进行关键字匹配和正则表达式匹配，并支持对所述自定义业务规则进行测试，验证规则的有效性。

进一步地，步骤S2中，创建探查任务配置，具体包括：配置任务基本信息，选择数据源，读取业务规则，配置数据源探查指标、配置元数据探查指标、配置数据表探查指标、配置表字段探查指标。

进一步地，步骤S2中，新增探查任务，具体包括：新增探查定时任务，调用任务调度服务，保存定时任务，采用任务调度服务定时触发探查任务执行。

进一步地，步骤S3中，读取探查任务配置，具体包括：读取探查任务配置信息并对探查任务配置进行预检查，其中，预检查包括对数据源、元数据、数据表及表字段是否存在以及各字段类型是否匹配进行检查。

进一步地，步骤S3中，执行探查任务和探查子任务，具体包括：

创建任务队列，用于存放各项探查子任务的执行器；

根据探查指标生成任务总校验和，拆分总校验和创建各探查子任务，将任务执行器放入任务队列中；

获取业务规则配置，完成规则匹配，并将匹配结果入库，执行业务探查任务；

执行各探查指标对应的探查子任务。