[发明专利]一种基于消息的分布式任务分发调度方法及装置

摘要

本发明提出一种基于消息的分布式任务分发调度方法及装置，所述方法包括：提取所述任务的属性，将所述任务分割成多个原子任务；将所述原子任务分发给相应的工作节点执行；根据所述原子任务的执行情况，对其中执行失败的原子任务予以有限次数的分发重试。采用本发明的技术方案，有效解决了现有技术中任务分发调度技术缺乏任务分割功能和任务分发调度控制不灵活的问题。

主权项

1.一种基于消息的分布式任务分发调度方法，其特征在于所述方法包括下述步骤：/n步骤1：获得任务的整体属性值，根据所述整体属性值确定出该任务的类别，由探测插件探测基于该任务的类别获取所述任务的各项属性及对应的属性值，提取该任务、该任务所属类别的历史任务的属性及属性值的特征，以获得该任务、以及该类别的各历史任务的特征向量表示；基于划分子任务的方式的不同，将该类别的各历史任务划分为至少一个子类；比较该任务的特征向量与各子类中的历史任务的特征向量均值的偏差，确定与该任务的特征向量偏差值最小的子类；再将该偏差值与预设的关联度阈值进行比较，若该偏差值小于或等于预设的关联度阈值，则该任务从属于该偏差值最小的子类；获取该任务从属的子类，依据该子类中的历史任务的划分子任务方式，对该任务进行任务分割，即将所述任务分割成多个原子任务，并将该任务标记为历史任务；若该偏差值大于预设的关联度阈值，新建一子类，并将该任务添加到新建子类中，对该任务进行语义分析，并根据语义分析的结果，划分该任务的各子任务，即将所述任务分割成多个原子任务，并将该任务标记为历史任务；/n步骤2：任务分割为多个原子任务与原子任务分发调度同步进行；消息服务器与多个工作节点之间建立消息队列；所述消息服务器通过所述消息队列将所述多个原子任务分配给所述多个工作节点，由工作节点执行对应的所述原子任务；/n步骤3：根据所述原子任务的执行情况，对其中执行失败的原子任务予以有限次数的分发重试。/n