[发明专利]任务处理方法和分布式计算框架

摘要

本申请公开了任务处理方法和分布式计算框架。该方法的一具体实施方式包括：解析分布式计算任务对应的表达式，构建分布式计算任务对应的任务描述信息，任务描述信息用于描述算子与分布式数据集的对应关系，其中，算子作用于分布式数据集和/或对分布式数据集进行分组之后得到的分布式数据集；基于任务描述信息，确定算子所作用于的分布式数据集；利用算子对算子所作用于的分布式数据集进行分布式计算。实现了在分布式计算中，构建拓扑结构描述算子的作用范围以及嵌套关系，同一算子可同时作用在分布式数据集和对分布式数据集分组之后得到的分布式数据集，从而描述出不同计算需求的分布式计算任务。

主权项

1.一种任务处理方法，其特征在于，所述方法包括：解析分布式计算任务对应的表达式，以及构建分布式计算任务对应的任务描述信息，所述任务描述信息用于描述算子与分布式数据集的对应关系，其中，所述算子作用于分布式数据集和/或对所述分布式数据集进行分组之后得到的分布式数据集，所述表达式包括：分组算子关键字、分组关键字、操作算子关键字，所述任务描述信息为拓扑结构，所述拓扑结构包括：算子、域，所述域用于指示分布式数据集对应的范围；基于所述任务描述信息，确定所述算子所作用于的分布式数据集；利用所述算子对所述算子所作用于的分布式数据集进行分布式计算；其中，所述解析分布式计算任务对应的表达式，以及构建分布式计算任务对应的任务描述信息包括：创建所述分组关键字对应的域；确定所述操作算子关键字对应的操作算子；构建所述拓扑结构，其中，所述域在所述拓扑结构中的子节点包括：所述分组算子关键字对应的分组算子、所述操作算子。