[发明专利]一种分布式任务处理方法及装置有效
申请号: | 201610928429.6 | 申请日: | 2016-10-31 |
公开(公告)号: | CN108021430B | 公开(公告)日: | 2021-11-05 |
发明(设计)人: | 王志杰;浦世亮;周明耀 | 申请(专利权)人: | 杭州海康威视数字技术股份有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 项京;马敬 |
地址: | 310051 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 任务 处理 方法 装置 | ||
1.一种分布式任务处理方法,其特征在于,所述方法包括:
遍历任务处理队列,其中,所述任务处理队列中包括每个运行任务的任务信息,所述任务信息包括该任务的状态信息;
根据所述任务信息,从所述任务处理队列中,筛选出对应的状态信息超时未更新的目标任务;其中,所述目标任务为:导致计算节点崩溃的错误任务;计算节点崩溃后,无法向管理节点上报正在运行的任务的状态信息;
为所述目标任务添加非处理标识;以使计算节点申请到所述目标任务后,根据所述非处理标识,将所述目标任务透传至数据接收端。
2.根据权利要求1所述的方法,其特征在于,所述任务处理队列中的每个任务信息中还包括该任务的崩溃次数;
所述根据所述任务信息,从所述任务处理队列中,筛选出对应的状态信息超时未更新的目标任务的步骤之后,所述方法还包括:
判断所述目标任务的崩溃次数是否超过崩溃阈值;
当判断所述目标任务的崩溃次数超过崩溃阈值时,执行为所述目标任务添加非处理标识的步骤;否则,将所述目标任务的崩溃次数加一。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
当判断所述目标任务的崩溃次数超过崩溃阈值时,判断所述目标任务是否达到最小任务切分单位;
当判断所述目标任务达到最小任务切分单位时,执行为所述目标任务添加非处理标识的步骤;
当判断所述目标任务未达到最小任务切分单位时,以所述最小任务切分单位对所述目标任务进行切分;
并将切分后所形成的各子任务作为待处理任务发送至任务等待队列,其中,所述任务等待队列中包括待处理任务的任务信息,所述各子任务的任务信息中的崩溃次数的数值等于所述目标任务的崩溃次数加一。
4.根据权利要求2或3任一项所述的方法,其特征在于,所述为所述目标任务添加非处理标识的步骤之后,所述方法还包括:
将所述目标任务作为待处理任务发送至任务等待队列;
接收计算节点发送的任务申请请求;
响应所述任务申请请求,将所述任务等待队列中的待处理任务调度至所述计算节点;
在所述任务处理队列中添加所调度后的待处理任务的任务信息。
5.根据权利要求4所述的方法,其特征在于,所述将所述任务等待队列中的待处理任务调度至所述计算节点的步骤,包括:
判断所述计算节点中是否存在崩溃次数超过所述崩溃阈值的任务;
当判断所述计算节点中存在崩溃次数超过所述崩溃阈值的任务时,从所述任务等待队列中选择崩溃次数低于所述崩溃阈值的待处理任务,将所选择出的待处理任务调度至所述计算节点;
当判断所述计算节点中不存在崩溃次数超过所述崩溃阈值的任务时,从所述任务等待队列中选择崩溃次数不低于所述崩溃阈值的待处理任务,将所选择出的待处理任务调度至所述计算节点。
6.一种分布式任务处理方法,其特征在于,所述方法包括:
接收管理节点调度的目标任务;其中,所述目标任务为:导致计算节点崩溃的错误任务;计算节点崩溃后,无法向管理节点上报正在运行的任务的状态信息;
判断所述目标任务是否携带非处理标识;
当判断为是时,将所述目标任务透传至数据接收端。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
当判断所述目标任务未携带非处理标识时,处理所述目标任务。
8.根据权利要求6所述的方法,其特征在于,所述将所述目标任务透传至数据接收端的步骤,包括:
将所述目标任务透传至数据接收端,并将与所述目标任务对应的任务信息透传至所述数据接收端。
9.根据权利要求6-8任一项所述的方法,其特征在于,在所述接收管理节点调度的目标任务的步骤之前,所述方法还包括:
向所述管理节点发送任务申请请求,以使所述管理节点根据所述任务申请请求,将所述目标任务调度至所述计算节点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610928429.6/1.html,转载请声明来源钻瓜专利网。