[发明专利]面向海量数据的分布式处理方法

摘要

本发明涉及海量数据的分布式处理技术领域，公开了一种面向海量数据的分布式处理方法，包括以下步骤：S1：根据SQL命令以及数组文件内的变量信息计算输出变量和条件变量集合中的主变量，如果主变量存在，执行S2；S2：判断是否进行条件变量的选择优化；S3：判断数组是否合并存储；S4：SQL引擎根据SQL命令以及表中定义的各列的数据类型生成MapReduce任务接收到的数据元组，并生成结果数据元组；S5：对于生成的结果数据元组，判断是否需要将其以数组文件存储。本发明设计了一种基于MapReduce的、对于以数组形式存储的海量数据的分布式处理方法，使得用户可以使用SQL命令对以数组形式存储的海量数据进行分布式处理，该方法具有使用简单、运行高效，可容错的特点。

主权项

一种面向海量数据的分布式处理方法，其特征在于，包括以下步骤：S1：根据SQL命令以及数组文件内的变量信息计算输出变量和条件变量集合中的主变量，如果主变量存在，执行步骤S2，其中，所述数组文件是以数组形式存储的数据文件；S2：判断是否进行条件变量的选择优化，如果否，那么在读取数据时，遍历数组文件中的主变量的整个索引范围；如果是，那么先根据条件变量的选择范围计算输出变量的维度范围，并根据该维度范围读取数据；S3：判断数组是否合并存储，如果否，那么读取数组组成数据元组；如果是，那么不展开读取的数据，且生成另一个数据元组，所生成的数据元组中每一个单元都包含该列对应变量的数据值的集合；S4：SQL引擎根据SQL命令以及表中定义的各列的数据类型生成MapReduce任务接收到的数据元组，并生成结果数据元组；S5：对于生成的结果数据元组，判断是否需要将其以数组文件存储，如果否，那么就按照保存为其他文件格式的方法处理该结果数据元组；如果是，那么判断结果数据元组中的数组是否被合并存储，如果未被合并存储，则遍历结果数据的行，每一列生成一个变量的数组，并按照表中定义的列的数据类型将数组存储到数组文件，如果已被合并存储，那么将结果数据元组中每个单元的内容取出作为一个变量数组，并按照表中定义的列的数据类型将数组存储到数组文件。