[发明专利]任务迁移方法、装置、电子设备及存储介质

权利要求书

1.一种任务迁移方法，其特征在于，包括：

获取用户提交的任务；

若所述任务为Hadoop任务，且确定需要进行任务转换，则将所述任务中的Hadoop参数转换为Spark可识别的参数；

将转换结果注入预定工具包，提交到Spark集群。

2.根据权利要求1所述的方法，其特征在于，

所述确定需要进行任务转换包括：

通过请求服务端获取所述用户预先所作的配置；

根据所述配置确定出是否需要进行任务转换。

3.根据权利要求1所述的方法，其特征在于，

该方法进一步包括：

若所述任务为指示从Hadoop任务向Spark任务转换的Hadoop2Spark任务，则将所述任务中的Hadoop参数转换为Spark可识别的参数；

将转换结果注入预定工具包，提交到所述Spark集群。

4.根据权利要求1所述的方法，其特征在于，

该方法进一步包括：

若所述任务为Hadoop任务，且确定不需要进行任务转换，则将所述任务提交到Hadoop集群；

若所述任务为Spark任务，则将所述任务提交到所述Spark集群。

5.根据权利要求1所述的方法，其特征在于，

所述将转换结果注入预定工具包，提交到Spark集群包括：

将转换结果注入预定工具包，提交Spark任务到Spark集群；

其中，所述Spark任务经过预定处理后，实现与Hadoop逻辑等价的映射map和化简reduce处理。

6.一种任务迁移装置，其特征在于，包括：任务获取单元以及任务处理单元；

所述任务获取单元，用于获取用户提交的任务；

所述任务处理单元，用于当所述任务为Hadoop任务，且确定需要进行任务转换时，将所述任务中的Hadoop参数转换为Spark可识别的参数，并将转换结果注入预定工具包，提交到Spark集群。

7.根据权利要求6所述的装置，其特征在于，

所述任务处理单元通过请求服务端获取所述用户预先所作的配置，根据所述配置确定出是否需要进行任务转换。

8.根据权利要求6所述的装置，其特征在于，

所述任务处理单元进一步用于，若所述任务为指示从Hadoop任务向Spark任务转换的Hadoop2Spark任务，则将所述任务中的Hadoop参数转换为Spark可识别的参数，并将转换结果注入预定工具包，提交到所述Spark集群。

9.根据权利要求6所述的装置，其特征在于，

所述任务处理单元进一步用于，若所述任务为Hadoop任务，且确定不需要进行任务转换，则将所述任务提交到Hadoop集群，若所述任务为Spark任务，则将所述任务提交到所述Spark集群。

10.根据权利要求6所述的装置，其特征在于，

所述任务处理单元进将转换结果注入预定工具包，提交Spark任务到Spark集群；其中，所述Spark任务经过预定处理后，实现与Hadoop逻辑等价的映射map和化简reduce处理。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。