[发明专利]数据产品服务组件的数据分析方法、装置及作业评价系统

权利要求书

1.一种数据产品服务组件的数据分析方法，其特征在于，所述方法包括：

利用大规模并行分析MPP记录每日数据产品服务组件所有结构性查询语句SQL的运行信息，得到MPP日志；

筛选所述MPP日志中当日运行时间最长的SQL，得到TOPSQL；

对所述TOPSQL进行多维评分，得到数据质量评估值；

基于所述TOPSQL在代码库中查找包含所述TOPSQL的统计分析系统SAS作业，得到待处理SAS作业；

通过数据仓库ETL查询产生所述待处理SAS作业的SAS代码，得到目标SAS代码；

对所述SAS代码进行检查评分，得到代码质量分析值；

集合所述数据质量评估值和代码质量分析值生成每日报表，并输出。

2.根据权利要求1所述的方法，其特征在于，还包括：

利用大规模并行分析MPP监控所述数据产品服务组件的资源使用率；

若所述资源使用率超过预设值，生成告警信息；

收集生成告警信息期间产生的告警SQL；

对所述告警SQL进行评分，得到MPP告警故障评估值；

集合所述数据质量评估值、代码质量分析值和MPP告警故障评估值生成每日报表，并输出。

3.根据权利要求1所述的方法，其特征在于，还包括：

利用大规模并行分析MPP监控所述数据产品服务组件的可用磁盘空间和/或CPU的使用率；

若所述可用磁盘空间小于磁盘空间阈值，和/或，所述CPU的使用率超过预设使用率，生成告警信息；

收集生成告警信息期间产生的告警SQL；

对所述告警SQL进行评分，得到MPP告警故障评估值；

集合所述数据质量评估值、代码质量分析值和MPP告警故障评估值生成每日报表，并输出。

4.根据权利要求1所述的方法，其特征在于，对所述TOPSQL进行多维评分，得到数据质量评估值，包括：

查询包含所述TOPSQL的数据库表名，得到待处理数据库表；

多维度判断所述待处理数据库表是否符合规范，所述多维度判断包括：是否进行分区、字段的数据类型是否符合要求、是否有分离存放附件或者大文本数据库表、所述待处理数据库表的数据量、所述待处理数据库表的操作语句是否规范、或所述待处理数据库表的视图是否符合规范的任意组合；

基于判断结果对所述TOPSQL进行评分，将得到的TOPSQL评分作为数据质量评估值。

5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：

查询所述每日报表中的代码质量分析值是否小于分析阈值；

若小于分析阈值，对所述代码质量分析值对应的待处理SAS作业进行维护。

6.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：

查询所述每日报表中的数据质量评估值是否小于评估阈值；

若小于评估阈值，对所述数据质量评估值对应的TOPSQL进行优化。

7.一种数据产品服务组件的数据分析装置，其特征在于，所述装置包括：

记录模块，用于利用大规模并行分析MPP记录每日数据产品服务组件所有结构性查询语句SQL的运行信息，得到MPP日志；

筛选模块，用于筛选所述MPP日志中当日运行时间最长的SQL，得到TOPSQL；

SQL评分模块，用于对所述TOPSQL进行多维评分，得到数据质量评估值；

作业查询模块，用于基于所述TOPSQL在代码库中查找包含所述TOPSQL的统计分析系统SAS作业，得到待处理SAS作业；

代码查询模块，用于通过数据仓库ETL查询产生所述待处理SAS作业的SAS代码，得到目标SAS代码；

SAS评分模块，用于对所述SAS代码进行检查评分，得到代码质量分析值；

输出模块，用于集合所述数据质量评估值和代码质量分析值生成每日报表，并输出。