[发明专利]一种基于Spark SQL临时视图的快速ETL方法

权利要求书

1.一种基于Spark SQL临时视图的快速ETL方法，其特征在于，包括：

根据目标ETL步骤，构建所述ETL步骤对应的SQL语句，并基于所述SQL语句建立与所述ETL步骤对应的流程节点；

根据所述流程节点，构建目标流程DAG图；

遍历所述目标流程DAG图，得到多个所述流程节点的拓扑序列；

基于所述拓扑序列，依次通过Spark根据所述SQL语句，建立所述流程节点对应的临时视图，根据最后得到的所述临时视图处理数据，并向目标数据库输出目标数据。

2.根据权利要求1所述的基于Spark SQL临时视图的快速ETL方法，其特征在于，所述根据目标ETL步骤，构建所述ETL步骤对应的SQL语句，并基于所述SQL语句建立与所述ETL步骤对应的流程节点，包括：

建立目标节点的节点ID，并根据所述目标节点的节点ID，建立所述目标节点的视图名；

根据所述ETL步骤，建立节点类型；

根据所述目标ETL步骤的动作内容和所述目标节点的视图名，构建所述目标节点的SQL语句；

根据所述目标节点的节点ID、所述节点类型和所述目标节点的SQL语句，构建所述目标节点。

3.根据权利要求2所述的基于Spark SQL临时视图的快速ETL方法，其特征在于，所述根据所述目标ETL步骤的动作内容和所述目标节点的视图名，构建所述目标节点的SQL语句，包括；

获取所述目标节点的上游节点的视图名；

根据所述目标ETL步骤的动作内容、所述目标节点的上游节点的视图名和所述目标节点的视图名，构建所述目标节点的SQL语句。

4.根据权利要求3所述的基于Spark SQL临时视图的快速ETL方法，其特征在于，所述根据所述目标节点的节点ID、所述节点类型和所述目标节点的SQL语句，构建所述目标节点，包括：

根据所述目标ETL步骤，建立JDBC参数；

根据所述目标节点的节点ID、所述节点类型、所述目标节点的SQL语句和所述JDBC参数，构建所述目标节点。

5.根据权利要求4所述的基于Spark SQL临时视图的快速ETL方法，其特征在于，所述流程节点包括数据读取节点、数据处理节点和数据输出节点；所述基于所述拓扑序列，依次通过Spark根据所述SQL语句，建立所述流程节点对应的临时视图，根据最后得到的所述临时视图处理数据，并向目标数据库输出目标数据，包括：

根据所述数据读取节点，构建dataframe数据集，并根据所述数据读取节点对应的SQL语句，将所述dataframe数据集注册至Spark SQL中，得到数据读取临时视图；

根据所述数据读取视图，基于所述拓扑序列，依次根据每个所述数据处理节点的SQL语句，构建每个所述处理节点对应的数据处理临时视图；

根据最终得到的所述数据处理临时视图，基于所述数据输出节点对应的SQL语句处理数据，并向目标数据库输出目标数据。

6.根据权利要求5所述的基于Spark SQL临时视图的快速ETL方法，其特征在于，所述基于所述拓扑序列，依次根据每个所述数据处理节点的SQL语句，构建每个所述处理节点对应的数据处理临时视图，包括：

根据所述拓扑序列，获取所述数据处理节点的上游节点的临时视图；

基于所述数据处理节点的上游节点的临时视图，根据所述数据处理节点对应的SQL语句，构建所述数据处理临时视图；

其中，所述拓扑序列中首个所述数据处理节点的上游视图为所述数据读取临时视图。

7.根据权利要求1所述的基于Spark SQL临时视图的快速ETL方法，其特征在于，所述遍历所述目标流程DAG图，得到多个所述流程节点的拓扑序列，包括：

建立栈，并将所述目标流程DAG图中出度为零的流程节点入栈；

获取栈顶的流程节点，判断所述栈顶的流程节点是否存在上游节点，若是，则将所述栈顶的流程节点的上游节点入栈，若否，则将所述栈顶的流程节点出栈；

根据所述流程节点的出栈顺序，得到所述拓扑序列。