[发明专利]计算系统的作业任务处理方法、装置、存储介质和处理器

权利要求书

1.一种计算系统的作业任务处理方法，其特征在于，所述计算系统为基于分布式计算模型构建的系统，包括：客户端、主服务器和任务服务器，其中，

所述主服务器获取多个需要并行处理的作业任务；

所述主服务器将所述多个需要并行处理的作业任务进行分解，得到多个任务块，其中，所述任务块的类型包括：Map任务和Reduce任务；

所述主服务器将每个所述任务块分配到对应的所述任务服务器上；

所述主服务器接收每个所述任务服务器执行所述任务块而返回的结果。

2.根据权利要求1所述的方法，其特征在于，所述Map任务用于处理输入数据而得到一组键值对，所述Reduce任务用于将具有相同键的所述键值对进行数据合并。

3.根据权利要求2所述的方法，其特征在于，所述Map任务将预定时间内的所述输入数据进行预处理，生成所述一组键值对，所述预处理包括如下至少之一：筛选数据、解析数据串，其中，在所述作业任务为邮件作业的情况下，所述键值对包括：键和键值，所述键用于表征邮件ID，所述键值用于表征邮件数据，所述邮件数据包括如下至少之一：邮件敏感数据、邮件主题和邮箱。

4.根据权利要求3所述的方法，其特征在于，所述Reduce任务用于将多个所述Map任务完成后，将具有相同键的所述Map任务进行合并，其中，在所述作业任务为所述邮件作业的情况下，所述Reduce任务用于将具有相同邮件ID的邮件数据进行合并处理。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，在任意一个所述任务服务器检测到出现故障的情况下，所述主服务器将所述任务服务器上执行的所述任务块重新分配到优先级最高的其他任务服务器上，其中，基于所述任务服务器的空闲资源量来确定所述优先级。

6.一种用于处理作业任务的计算系统，其特征在于，所述计算系统为基于分布式计算模型构建的系统，包括：多个客户端、主服务器和任务服务器，其中，

多个客户端，用于生成并发送作业任务；

所述主服务器，与每个所述客户端通信，用于获取多个需要并行处理的作业任务，将所述多个需要并行处理的作业任务进行分解，得到多个任务块，其中，所述任务块的类型包括：Map任务和Reduce任务；

多个任务服务器，每个任务服务器接收所述主服务器分配的所述任务块，并将执行所述任务块而产生的结果返回给所述主服务器。

7.根据权利要求6所述的计算系统，其特征在于，所述Map任务用于处理输入数据而得到一组键值对，所述Reduce任务用于将具有相同键的所述键值对进行数据合并。

8.根据权利要求7所述的计算系统，其特征在于，所述Map任务将预定时间内的所述输入数据进行预处理，生成所述一组键值对，所述预处理包括如下至少之一：筛选数据、解析数据串，其中，在所述作业任务为邮件作业的情况下，所述键值对包括：键和键值，所述键用于表征邮件ID，所述键值用于表征邮件数据，所述邮件数据包括如下至少之一：邮件敏感数据、邮件主题和邮箱。

9.根据权利要求8所述的计算系统，其特征在于，所述Reduce任务用于将多个所述Map任务完成后，将具有相同键的所述Map任务进行合并，其中，在所述作业任务为所述邮件作业的情况下，所述Reduce任务用于将具有相同邮件ID的邮件数据进行合并处理。

10.根据权利要求6至9中任意一项所述的计算系统，其特征在于，在任意一个所述任务服务器检测到出现故障的情况下，所述主服务器将所述任务服务器上执行的所述任务块重新分配到优先级最高的其他任务服务器上，其中，基于所述任务服务器的空闲资源量来确定所述优先级。