[发明专利]一种任务数据处理方法、装置及电子设备在审
| 申请号: | 201910576590.5 | 申请日: | 2019-06-28 |
| 公开(公告)号: | CN110321209A | 公开(公告)日: | 2019-10-11 |
| 发明(设计)人: | 蒋戈 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
| 主分类号: | G06F9/48 | 分类号: | G06F9/48 |
| 代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 丁芸;项京 |
| 地址: | 100080 北京市海淀区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 获取目标 点数据 宕机 数据处理 目标项 装置及电子设备 目标检查 目标流 计算机技术领域 存储路径 任务目标 中间状态 检查点 断流 加载 预设 申请 存储 检查 创建 恢复 保证 | ||
1.一种任务数据处理方法,其特征在于,所述方法包括:
创建目标流任务;
在预设存储路径下获取目标任务目录;
获取所述目标任务目录中的目标项;
根据所述目标项中的检查点路径,获取目标检查点数据;
通过所述目标流任务加载所述目标检查点数据。
2.根据权利要求1所述的方法,其特征在于,所述预设存储路径为检查点Checkpoint存储路径,所述在预设存储路径下获取目标任务目录,包括:
在所述Checkpoint存储路径中,按照任务目录的时间戳对各任务目录进行排序;
在排序后的任务目录中,在除所述目标流任务的任务目录外的其他任务目标中选取时间戳与当前时间最接近的任务目录,得到目标任务目录。
3.根据权利要求1所述的方法,其特征在于,在所述创建目标流任务之后,所述方法还包括:
在所述预设存储路径不包括所述目标任务目录时,通过所述目标流任务处理任务数据。
4.根据权利要求1所述的方法,其特征在于,所述获取所述目标任务目录中的目标项,包括:
获取所述目标任务目录中Checkpoint ID最大的Checkpoint数据文件项,得到目标项。
5.一种任务数据处理装置,其特征在于,所述装置包括:
流任务创建模块,用于创建目标流任务;
目标目录获取模块,用于在预设存储路径下获取目标任务目录;
目标项获取模块,用于获取所述目标任务目录中的目标项;
检查点数据获取模块,用于根据所述目标项中的检查点路径,获取目标检查点数据;
流任务恢复模块,用于通过所述目标流任务加载所述目标检查点数据。
6.根据权利要求5所述的装置,其特征在于,所述预设存储路径为检查点Checkpoint存储路径,所述目标目录获取模块,包括:
目录排序子模块,用于在所述Checkpoint存储路径中,按照任务目录的时间戳对各任务目录进行排序;
时间戳判断子模块,用于在排序后的任务目录中,在除所述目标流任务的任务目录外的其他任务目标中选取时间戳与当前时间最接近任务的目录,得到目标任务目录。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
任务新建模块,用于在所述预设存储路径不包括所述目标任务目录时,通过所述目标流任务处理任务数据。
8.根据权利要求5所述的装置,其特征在于,所述目标项获取模块,具体用于:
获取所述目标任务目录中Checkpoint ID最大的Checkpoint数据文件,得到目标项。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910576590.5/1.html,转载请声明来源钻瓜专利网。





