[发明专利]离线任务的处理方法、装置、电子设备及存储介质有效
申请号: | 201910945923.7 | 申请日: | 2019-09-30 |
公开(公告)号: | CN110750419B | 公开(公告)日: | 2023-03-14 |
发明(设计)人: | 张琳 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F11/30 | 分类号: | G06F11/30;G06F9/48 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 朱颖;刘芳 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 离线 任务 处理 方法 装置 电子设备 存储 介质 | ||
1.一种离线任务的处理方法,其特征在于,包括:
根据离线任务列表中的每一离线任务的任务信息,对各离线任务进行任务拆解处理;
将拆解任务拆解处理获得的每一离线任务的多个任务进程以及每一任务进程的进程信息存储至进程执行列表;
根据所述进程执行列表中各任务进程的进程信息,在离线数据列表中确定与进程信息对应的离线数据,并对各任务进程的离线数据进行处理。
2.根据权利要求1所述的处理方法,其特征在于,
所述任务信息包括离线任务的任务类型和任务优先级;所述进程信息包括进程所属于的离线任务的任务标识、任务类型以及任务优先级;
相应的,所述根据所述进程执行列表中各任务进程的进程信息,在离线数据列表中确定与进程信息对应的离线数据,并对各任务进程的离线数据进行处理,包括:
根据所述进程执行列表中各任务进程的所属于的离线任务的任务优先级,选取任务优先级最高的任务进程作为待处理进程;
在离线数据列表中确定所述待处理进程对应的离线数据,并对各任务进程的离线数据进行处理。
3.根据权利要求1所述的处理方法,其特征在于,所述任务信息包括有多个目标用户;
所述根据离线任务列表中的每一离线任务的任务信息,对各离线任务进行任务拆解处理,包括:
根据每一离线任务的目标用户的用户分布,按照负载均衡的原则对各离线任务进行任务拆解。
4.根据权利要求2所述的处理方法,其特征在于,所述离线数据列表中存储有各离线数据的数据类型;
相应的,所述在离线数据列表中确定所述待处理进程对应的离线数据,并对各任务进程的离线数据进行处理,包括:
根据待处理进程的任务类型,确定与其任务类型的目标数据类型;
将所述离线数据列表中数据类型为目标数据类型的数据作为所述待处理进程对应的离线数据,并对其进行处理。
5.根据权利要求4所述的处理方法,其特征在于,所述离线数据列表中还存储有各离线数据的更新时间;其中,当所述离线数据不完整时,所述离线数据的更新时间为空;
相应的,所述将所述离线数据列表中数据类型为目标数据类型的数据作为所述待处理进程对应的离线数据,还包括:
将所述离线数据列表中数据类型为目标数据类型,且数据的更新时间不为空的数据,作为所述待处理进程对应的离线数据。
6.根据权利要求1所述的处理方法,其特征在于,所述对任务进程的离线数据进行处理,包括:
调用所述任务进程的运行函数,对离线数据进行运算。
7.根据权利要求6所述的处理方法,其特征在于,所述进程执行列表中还包括有各任务进程的执行次数;
当调用所述任务进程的运行函数,对离线数据进行运算失败时,所述处理方法还包括:
将任务进程的执行次数加一,并确定所述执行次数是否大于预设次数阈值,若是,则停止执行所述任务进程并对其进行标记;
若否,则调用该任务进程的其他运行函数,对离线数据进行运算。
8.根据权利要求7所述的处理方法,其特征在于,所述进程执行列表中还包括有各任务进程的执行时间;
所述处理方法还包括:
判断任务进程在当前执行次数下的执行时间是否大于预设时间阈值,若是,则对离线数据进行运算失败,并执行所述将任务进程的执行次数加一的步骤。
9.一种离线数据的处理装置,其特征在于,包括:
拆解模块,用于根据离线任务列表中的每一离线任务的任务信息,对各离线任务进行任务拆解处理;
第一处理模块,用于将拆解任务拆解处理获得的每一离线任务的多个任务进程以及每一任务进程的进程信息存储至进程执行列表;
第二处理模块,用于根据所述进程执行列表中各任务进程的进程信息,在离线数据列表中确定与进程信息对应的离线数据,并对各任务进程的离线数据进行处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910945923.7/1.html,转载请声明来源钻瓜专利网。