[发明专利]一种由转换原语生成Spark代码的方法

权利要求书

1.一种由转换原语生成Spark代码的方法，其特征在于：包括步骤：

步骤10：设计表示数据模型变换的转换原语文法；

所述步骤10的设计过程包括：

步骤20：规定转换控制层原语ExecuteTransformation用来控制整个模型转换的执行，调度ExecuteRule原语；

步骤21：规定转换控制层原语ExecuteRule用来控制一条规则的执行，调度执行层原语；

步骤22：规定执行层原语MatchPattern根据输入模式在模型中进行匹配，得到需转换的输入数据模型片段；

步骤23：规定执行层原语MatchObject根据指定条件，去查找满足条件的匹配对象；

步骤24：规定执行层原语CreateObject来创建模型对象元素；

步骤25：规定执行层原语CreateReference来创建模型关系元素；

步骤26：规定表达式计算层原语EvaluateExpression用于进行复杂表达式计算；

步骤11：输入数据变换的原语文件；原语文件是根据步骤10设计的转换原语文法设计的，包含输入数据模型、输出数据模型和转换规则的信息；

所述步骤11中设计原语文件的过程包括：

步骤30：打开eclipse创建原语xml文件；

步骤31：右键点击添加ExecuteTransformation节点；

步骤32：右键点击ExecuteTransformation节点添加Domain节点，并设置属性为input_type；

步骤33：右键点击Domain节点，添加两个inputFile节点，存放要进行转换的输入文件信息；

步骤34：右键点击ExecuteTransformation节点添加Domain节点，并设置属性为output_type；

步骤35：右键点击Domain节点，添加一个outputFile节点，存放转换后的输出文件信息；

步骤36：右键点击ExecuteTransformation节点添加ExcuteRule节点；

步骤37：右键点击ExecuteRule节点，添加两个MatchType和一个joinKey节点，在该两个节点里添加转换规则；结束本次原语文件的设计；

步骤12：利用Xtext对步骤11设计的原语文件进行语法分析及语义转换，并得到抽象语法树；

步骤13：利用Xtend生成代码生成器，建立转换原语与Spark代码之间的映射，并根据步骤12得到的抽象语法树对原语文件进行语义转换，生成对应的Spark代码；

所述步骤13中利用Xtend生成代码生成器，建立转换原语与Spark代码之间的映射的实现过程如下：

步骤50：将原语ExucuteTranformation转化为Spark程序的执行入口，且调用输入数据模型和输出数据模型的静态方法实现输入输出；

步骤51：将原语Domain_input和Domain_output转化为对应输入数据模型和输出数据模型的类文件；

步骤52：原语ExucuteRule对应spark平台上对RDD的操作集合，组成ExucuteRule的原语分别对应spark平台上的具体操作；

步骤53：将原语MatchType中的name属性对应Spark中RDD的创建；

步骤54：将原语Filter对MatchType对应的RDD进行原语Filter定义的过滤操作，调用RDD的Filter函数；

步骤55：将原语Statistics对MatchType对应的RDD进行原语Statistics定义的统计操作；

步骤56：将原语JoinKey对spark平台上的两个RDD的连接操作，提取关键值，分别生成一个PairRDDFunctions，再进行连接。