[发明专利]一种混合式大数据任务异步提交的方法和系统

摘要

本发明提供了一种混合式大数据任务异步提交的方法和系统，其中方法包括：至少一个工作节点向Zookeeper按照预设时间间隔发送心跳信息数据，获取工作节点的负载信息发送至Zookeeper；至少一个管控节点中的主管控节点从Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点；至少一个管控节点中的任一管控节点接收外部提交的任务，从Zookeeper获取所有可用的工作节点的负载信息，根据负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把任务发送至选择出的工作节点上；选择出的工作节点读取任务优先级队列中的任务，根据任务属性生成不同的集群客户端，并利用不同的集群客户端提交任务。

主权项

1.一种混合式大数据任务异步提交的方法，其特征在于，包括：至少一个工作节点向所述Zookeeper按照预设时间间隔发送心跳信息数据，获取所述工作节点的负载信息，并将所述负载信息发送至所述Zookeeper；至少一个管控节点中的主管控节点从所述Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点；至少一个管控节点中的任一管控节点接收外部提交的任务，并将所述任务存储在任务队列里，从所述Zookeeper获取所有可用的工作节点的负载信息，根据所述负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把所述任务发送至所述选择出的工作节点上；所述选择出的工作节点接收所述管控节点发送的所述任务，并将所述任务存储在任务优先级队列中；所述选择出的工作节点通过任务执行线程读取任务优先级队列中的所述任务，根据所述任务属性生成不同的集群客户端，并利用所述不同的集群客户端提交所述任务。