[发明专利]数据产品服务组件的数据分析方法、装置及作业评价系统

说明书

本发明提供一种数据产品服务组件的数据分析方法、装置及作业评价系统，在通过MPP记录的SQL中找到消耗资源最大的TOPSQL进行评分，得到数据质量评估值，并对基于TOPSQL确定的SAS代码进行分析，得到代码质量分析值，并集合成表输出，以便于后续基于该输出的表进行运维，通过自动化对线上运行的作业进行数据分析，实现了降低资源消耗和人工成本的目的。

技术领域

本发明涉及数据运维技术领域，尤其涉及一种数据产品服务组件的数据分析方法、装置及作业评价系统。

背景技术

数据产品服务组件(N-EDP)，目前所使用的MPP，经常因为运行作业中涉及到的SQL造成自愈，即当MPP中的一台服务器跑SQL，导致磁盘性能达到100％，服务器资源消耗很大时，集群会自动将该台服务器剔除，加入一台新的服务器到集群中提供支持，但新加入的服务器上没有数据，需要从原来被剔除的服务器上进行数据库拷贝。

随着数据管理部的数据应用对敏捷快速投产的需求越来越多，大数据类的批量作业上线频率越来越高，数量也越来越多，对于消耗基础设施资源也越来越大，而从原来被剔除的服务器上进行数据库拷贝的时间也越长，这段时间内集群的压力也会由于突然减少了一台服务器进一步增加，会有更多的服务器资源使用变大而被剔除用新的服务器替换，新的服务器在使用前进行长时间的数据拷贝。这样不断循环下去的结果便是每个作业都处于running状态，都没有资源可供运行完成，而后续不断有新的批量作业在排队就绪。

目前多采用手工方式，找到导致资源消耗大的作业的TOPSQL(当日运行时间最长的SQL)，人工从各个角度进行分析判断可能造成SQL运行时间久、资源开销大的问题，但这样即耗费资源，也占据很大的人力成本。

发明内容

有鉴于此，本发明实施例提供一种数据产品服务组件的数据分析方法、装置及作业评价系统，以解决现有进行数据分析过程中耗费资源、人力成本高的问题。

为解决上述问题，本发明实施例提供如下技术方案：

本发明实施例第一方面公开了一种数据产品服务组件的数据分析方法，所述方法包括：

利用大规模并行分析MPP记录每日数据产品服务组件所有结构性查询语句SQL的运行信息，得到MPP日志；

筛选所述MPP日志中当日运行时间最长的SQL，得到TOPSQL；

对所述TOPSQL进行多维评分，得到数据质量评估值；

基于所述TOPSQL在代码库中查找包含所述TOPSQL的统计分析系统SAS作业，得到待处理SAS作业；

通过数据仓库ETL查询产生所述待处理SAS作业的SAS代码，得到目标SAS代码；

对所述SAS代码进行检查评分，得到代码质量分析值；

集合所述数据质量评估值和代码质量分析值生成每日报表，并输出。

可选的，所述方法还包括：

利用大规模并行分析MPP监控所述数据产品服务组件的资源使用率；

若所述资源使用率超过预设值，生成告警信息；

收集生成告警信息期间产生的告警SQL；

对所述告警SQL进行评分，得到MPP告警故障评估值；

集合所述数据质量评估值、代码质量分析值和MPP告警故障评估值生成每日报表，并输出。

可选的，所述方法还包括：

利用大规模并行分析MPP监控所述数据产品服务组件的可用磁盘空间和/或CPU的使用率；