[发明专利]一种基于映射聚合的分布式计算作业的实现方法及装置

摘要

一种基于映射聚合的分布式计算的实现方法和装置；所述实现方法至少包括两个映射计算任务；其中，还包括至少一个连接计算任务；所述连接计算任务包括如下步骤：接收来自分布式计算作业的至少两个映射计算任务的输出数据，作为连接计算任务的输入；对所述接收的输入数据执行连接运算；将所述连接运算的结果格式化为输出文件格式输出或存储至分布式文件系统中。本申请的方法使得在分布式计算平台的关系运算具有简单、灵活的特点。

主权项

1.一种基于映射聚合的分布式计算的实现方法，所述实现方法至少包括两个映射计算任务；其特征在于，还包括至少一个连接计算任务；所述连接计算任务包括如下步骤：接收来自分布式计算作业的至少两个映射计算任务的输出数据，作为连接计算任务的输入；对所述接收的输入数据执行连接运算；将所述连接运算的结果格式化为输出文件格式输出或存储至分布式文件系统中；所述接收来自分布式计算作业的至少两个映射计算任务的输出数据作为输入具体包括：接收来自不同分布式计算作业的至少两个初始映射计算任务的输出数据作为输入；每一映射计算任务包括如下步骤：获取根据分布式计算作业数据大小对该分布式计算作业进行切分而形成的块数据，作为映射计算任务的输入；按照配置的格式读取并解析所述作为映射计算任务的输入的块数据；对所述块数据执行映射操作，形成相应的中间键值对集合；将生成的所述中间键值对集合按照设定的格式输出，并将该输出作为所述连接计算任务的输入；所述将生成的所述中间键值对集合按照设定的格式输出包括：将生成的所述中间键值对集合中的数据按照设定的计算规则均匀分配到内存不同区域中暂存，每一区域成为一个桶；对每一桶中的数据记录按照选定的字段元素进行排序；其中，桶的数目与该分布式计算的映射任务相应的规约任务数目相一致。