[发明专利]全业务指标的数据质量监控方法、电子设备及存储介质

权利要求书

1.一种全业务指标的数据质量监控方法，其特征在于，包括：

获取业务指标；

基于所述业务指标选取对应的监控规则；

对所述对应的监控规则进行有效性校验；

若校验成功，则利用所述监控规则的配置数据对所述业务指标进行校验。

2.根据权利要求1所述的数据质量监控方法，其特征在于，所述监控规则包括查询语言表达式是否能正常运行，所述对所述对应的监控规则进行有效性校验包括：

获取与所述业务指标对应的查询语言表达式，并构建第一分布式数据集；

判断所述第一分布式数据集对应的物理执行计划是否可执行；

如果所述物理执行计划可执行，则校验通过；

若所述物理执行计划不可执行，则校验不通过，返回语法错误信息。

3.根据权利要求2所述的数据质量监控方法，其特征在于，所述监控规则包括进一步包括是否全表扫描，所述对所述对应的监控规则进行有效性校验包括：

若所述物理执行计划可执行，则从所述物理执行计划中获取表扫描器对象；

判断所述表扫描器对象是否包含日期条件过滤限制；

若所述表扫描器包含所述日期条件过滤限制，则校验通过；

若所述表扫描器对象未包含所述日期条件过滤限制，则校验失败，返回全表扫描错误信息。

4.根据权利要求2所述的数据质量监控方法，其特征在于，所述监控规则包括进一步包括配置数据是否有效，所述对所述对应的监控规则进行有效性校验包括：

判断所述查询语言表达式是否包含所述业务指标；

若所述查询语言表达式包含所述业务指标，则校验通过。

5.根据权利要求2所述的数据质量监控方法，其特征在于，所述若校验成功，则利用所述监控规则的配置数据对所述业务指标进行校验包括采用轮询方式依次执行下述子步骤：

基于所述监控规则及所述第一分布式数据集计算所述业务指标的同比配置信息及环比配置信息；

分别计算所述业务指标的样本实例，所述样本实例包括原始数据样本、同比数据样本及环比数据样本；

基于所述样本实例计算所述业务指标的涨幅百分比；

将所述涨幅百分比与阈值百分比进行比对，并记录所述样本实例的风险系数及明细数据。

6.根据权利要求5所述的数据质量监控方法，其特征在于，进一步包括：

若所述涨幅百分比大于所述阈值百分比，则产生告警信息。

7.根据权利要求1所述的数据质量监控方法，其特征在于，在所述基于所述业务指标选取对应的监控规则之前包括：

批量获取已配置好的报表配置文件，并依次解析所述报表配置文件；

从所述报表配置文件的根节点递归查找所述报表配置文件的工作簿节点、数据源节点及数据源依赖节点，并提取查询语言表达式、字段中/英文名映射、数据库连接信息；

根据所述报表工作簿的名称将所述查询语言表达式、所述字段中/英文名映射、所述数据库连接信息与处理系统关联，并进行结构化存储，以建立数据库，其中，所述数据库包括所述监控规则的配置数据。

8.根据权利要求1所述的数据质量监控方法，其特征在于，在所述基于所述业务指标选取对应的监控规则之前包括：

完成访问安全认证；

批量获取已配置好的报表配置文件，并循环调用远程服务获取报表看板、报表数据集、报表数据源；

根据所述远程服务返回的数据进行反序列化为对象，并提取查询语言表达式、字段中/英文名映射、数据库连接信息；

根据所述报表工作簿的名称将所述查询语言表达式、字段中/英文名映射、数据库连接信息与处理系统关联，并进行结构化存储，以建立数据库，其中，所述数据库包括所述监控规则的配置数据。

9.根据权利要求1所述的数据质量监控方法，其特征在于，进一步包括：

从客户端监听到查询语句，生成并执行物理执行计划；

对配置的所述业务指标的样本实例数据进行核对，并将核对结果反馈给所述客户端。