[发明专利]数据处理任务关系设置方法及系统

说明书

技术领域

本发明涉及云计算技术，尤其涉及一种数据处理任务关系设置方法及系统。

背景技术

在云计算时代的大数据环境下，数据高速增长膨胀，各种数据处理任务的数量也呈快速增长的态势。信息处理技术更加强调的是从海量数据中快速获得有价值信息的能力，这对数据处理任务的高效调度和执行提出了更高的要求。

数据处理任务中包含多种数据转换-汇总等处理，任务间有一定的关系（包括依赖和互斥关系），准确的任务关系是数据高效调度的重要基础。以数据仓库系统为例，目前在数据处理任务调度中，任务间的关系主要是靠运维人员根据任务处理的数据及范围手工设置其之间的关系，但由于数据仓库系统的数据处理任务非常繁多而且错综复杂，因此现在的人工设置任务关系的手段存在一定的缺陷。

假设在一个数据处理任务中，从A表和B表的数据关联，生成C表，那么这个任务就要依赖于A表和B表生成完成的任务。如果某一天，这个任务的脚本做出修改，不再取A表和B表的数据，改成取X表和Y表。那么这个脚本修改完成后，就要由运维人员手工操作，取消该任务对A表和B表生成任务的依赖，改成依赖X表和Y表的生成任务。这就要求运维人员对整个数据处理的前后始末情况非常了解，否则任务依赖关系就会出错，将直接影响数据处理的结果。但实际上，面面俱到的运维人员是不存在的，因此亟需一种克服人工设置任务关系的缺陷的方案，来提高数据运维的准确性和效率。

发明内容

本发明的目的是提出一种数据处理任务关系设置方法及系统，能够提供数据处理任务关系的自动化分析配置，提高数据运维的准确性和效率。

为实现上述目的，本发明提供了一种数据处理任务关系设置方法，包括：

获取数据处理任务中的至少一个结构化查询语言（Structured Query Language，简称SQL）脚本；

分别对所述至少一个结构化查询语言脚本中的每个所述结构化查询语言脚本中的结构化查询语言语句进行词法分析和语法分析，建立所述结构化查询语言语句的数据血统关系；

通过所述结构化查询语言语句的数据血统关系建立所属的所述结构化查询语言脚本的数据血统关系；

根据所述至少一个结构化查询语言脚本中各个结构化查询语言脚本的数据血统关系建立所述数据处理任务的数据血统关系，并确定所述数据处理任务的数据层级和任务级的数据输入输出；

根据所述数据处理任务的数据血统关系和数据层级确定并设置所述数据处理任务与另一数据处理任务之间的关系。

进一步的，在所述通过所述结构化查询语言语句的数据血统关系建立所属的所述结构化查询语言脚本的数据血统关系的操作之后，还包括：

根据所述至少一个结构化查询语言脚本中各个结构化查询语言脚本的数据血统关系确定并设置所述数据处理任务中的各个结构化查询语言脚本的执行顺序。

进一步的，所述获取数据处理任务中的至少一个结构化查询语言脚本的操作具体为：

从统一的脚本发布装置获取所述数据处理任务中的至少一个结构化查询语言脚本；或者

通过任务调度系统的接口获取数据处理任务中的至少一个结构化查询语言脚本；或者

通过监视数据库来获取数据处理任务中的至少一个结构化查询语言脚本。

进一步的，所述分别对所述至少一个结构化查询语言脚本中的每个所述结构化查询语言脚本中的结构化查询语言语句进行词法分析和语法分析，建立所述结构化查询语言语句的数据血统关系的操作具体为：

分别对所述至少一个结构化查询语言脚本中的每个所述结构化查询语言脚本中的结构化查询语言语句进行词法分析，识别出所述结构化查询语言语句中的查询关键词；

根据识别出的查询关键词进行语法分析，识别出所述结构化查询语言语句中涉及的数据表之间的关联关系；

通过查询数据库元数据，获得所述结构化查询语言语句中涉及的数据表中的字段和字段顺序，结合所述结构化查询语言语句中涉及的数据表之间的关联关系，获得所述结构化查询语言语句中涉及的数据表之间的字段关联关系作为所述结构化查询语言语句的数据血统关系。

进一步的，所述通过所述结构化查询语言语句的数据血统关系建立所属的所述结构化查询语言脚本的数据血统关系的操作具体为：

在获得了所述结构化查询语言脚本中所有结构化查询语言语句的数据血统关系后，根据各个结构化查询语言语句中涉及的数据表之间的字段关联关系，获得所述结构化查询语言脚本中涉及的数据表之间的字段关联关系作为所述结构化查询语言脚本的数据血统关系。