[发明专利]一种密集型任务分布式智能调度方法及系统

说明书

本发明公开了一种密集型任务分布式智能调度方法及系统，所述方法应用于调度节点，包括：获得指定任务；基于所述指定任务指示管理节点运行任务管理，以监控所述指定任务的资源信息；获得来自所述管理节点的资源请求，所述资源请求用于申请资源信息；发送所述资源信息至所述管理节点，所述资源信息用于所述管理节点指示任务节点运行所述指定任务。应用本发明实施例提供的方法，能够满足海量数据接入与计算的要求，并在充分利用资源、大力提高性能的同时，保障系统的稳定性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种密集型任务分布式智能调度方法及系统。

背景技术

在分布式系统中，海量数据流高效接入与分发一致性，使数据源与计算子网的映射关系保持不变，同时可以应对数据源的批量接入与裁剪，并负责将数据源按照策略分发至相应子网。在分布式系统中，资源调度系统相当于大脑，其要处理所有数据节点和任务的各种请求，资源调度系统的设计直接影响系统整体的稳定性，因此，制定可行的资源调度计划是必不可少的措施。

发明内容

本发明实施例提供了一种密集型任务分布式智能调度方法及系统，具有保障分布式系统稳定性的特点。

本发明一方面提供一种密集型任务分布式智能调度方法，所述方法应用于调度节点，包括：获得指定任务；基于所述指定任务指示管理节点运行任务管理，以监控所述指定任务的资源信息；获得来自所述管理节点的资源请求，所述资源请求用于申请资源信息；发送所述资源信息至所述管理节点，所述资源信息用于所述管理节点指示任务节点运行所述指定任务。

在一可实施方式中，所述基于所述指定任务指示管理节点运行任务管理，以监控所述指定任务的资源信息，包括：对所述指定任务进行解析，获得解析结果；基于解析结果在管理节点列表确定管理节点；发送第一通知至管理节点，所述第一通知用于指示所述管理节点加载并运行任务管理，以监控所述指定任务的资源信息。

在一可实施方式中，在所述获得来自所述管理节点的资源请求之后，所述方法还包括：与所述管理节点建立第一心跳。

在一可实施方式中，在所述发送所述资源信息至所述管理节点之后，所述方法还包括：与所述任务节点建立第二心跳；获得来自所述任务节点的状态信息，所述状态信息用于表征所述任务节点的资源状态。

在一可实施方式中，在与所述管理节点建立第一心跳和与所述任务节点建立第二心跳之后，所述方法还包括：基于所述第一心跳和第二心跳判断所述指定任务的执行是否异常；当判断为所述指定任务的执行异常时，基于所述指定任务重新指示管理节点运行任务管理。

本发明另一方面提供一种密集型任务分布式智能调度方法，所述方法应用于管理节点，所述方法包括：确定对应指定任务的资源信息；发送资源请求至调度节点，所述资源请求用于向调度节点申请资源信息；获得来自调度节点的所述资源信息；基于资源信息发送第二通知至任务节点，所述第二通知用于指示所述任务节点运行所述指定任务。

在一可实施方式中，在所述发送资源请求至调度节点之后，所述方法还包括：与所述调度节点建立第一心跳。

本发明另一方面提供一种密集型任务分布式智能调度方法，所述方法应用于任务节点，所述方法包括：获得来自管理节点的第二通知，所述第二通知用于指示运行指定任务；加载并运行任务程序，基于任务程序执行所述指定任务。

在一可实施方式中，所述任务程序还用于与所述管理节点建立第三心跳，并周期性向所述管理节点发送所述指定任务的运行状态。