[发明专利]大数据集群处理方法和系统、电子设备和存储介质

权利要求书

1.一种大数据集群处理方法，其特征在于，包括：

对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；

在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；

基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。

2.根据权利要求1所述的大数据集群处理方法，其特征在于，所述方法还包括以下任一或其组合：

对所述第一定时任务脚本、第一任务执行计划分别进行修改，基于修改后的第一任务执行计划，定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中；

对所述第一定时任务脚本、第一任务执行计划分别进行更新，生成第二定时任务脚本、第二任务执行计划；基于所述第二任务执行计划，定时将所述第二定时任务脚本推送到大数据集群下的主机中；

删除所述第一定时任务脚本及第一任务执行计划，并将删除的内容推送到大数据集群下的主机中。

3.根据权利要求2所述的大数据集群处理方法，其特征在于，所述定时将所述第一定时任务脚本推送到大数据集群下的主机中或定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中之后，所述方法还包括：

对所述第一任务执行计划的状态进行监控，并将所述第一任务执行计划的状态上报给所述大数据集群对应的服务器端；

所述定时将所述第二定时任务脚本推送到大数据集群下的主机中之后包括：

对所述第二任务执行计划的状态进行监控，并将所述第二任务执行计划的状态上报给所述大数据集群对应的服务器端。

4.根据权利要求1所述的大数据集群处理方法，其特征在于，所述基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中之后，所述方法还包括：

收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。

5.一种大数据集群处理系统，其特征在于，包括：

脚本定义模块，用于对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；

脚本分发模块，用于在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；

定时推送模块，用于基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。

6.根据权利要求5所述的大数据集群处理系统，其特征在于，所述大数据集群处理系统包括以下任一或其组合：

修改模块，用于对所述第一定时任务脚本、第一任务执行计划分别进行修改，基于修改后的第一任务执行计划，定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中；

更新模块，用于对所述第一定时任务脚本、第一任务执行计划分别进行更新，生成第二定时任务脚本、第二任务执行计划；基于所述第二任务执行计划，定时将所述第二定时任务脚本推送到大数据集群下的主机中；

删除模块，用于删除所述第一定时任务脚本及第一任务执行计划，并将删除的内容推送到大数据集群下的主机中。

7.根据权利要求6所述的大数据集群处理系统，其特征在于，所述大数据集群处理系统包括：

状态监控模块，用于对所述第一任务执行计划或第二任务执行计划的状态进行监控，并将所述第一任务执行计划或第二任务执行计划的状态上报给所述大数据集群对应的服务器端。

8.根据权利要求6所述的大数据集群处理系统，其特征在于，所述大数据集群处理系统包括：

运行结果收集模块，用于收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述大数据集群处理方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述大数据集群处理方法的步骤。