[发明专利]一种自动化配置数据仓库并行任务队列的方法和装置在审
申请号: | 201710397740.7 | 申请日: | 2017-05-31 |
公开(公告)号: | CN107315627A | 公开(公告)日: | 2017-11-03 |
发明(设计)人: | 李建星 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
代理公司: | 中原信达知识产权代理有限责任公司11219 | 代理人: | 张一军,姜劲 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 自动化 配置 数据仓库 并行 任务 队列 方法 装置 | ||
1.一种自动化配置数据仓库并行任务队列的方法,其特征在于,包括:
采集用户的任务在数据仓库中运行的历史数据;
对所述历史数据进行处理,统计出任务的资源占用时长;
根据所述资源占用时长对所述任务进行排序;
根据排序的结果以及用户的资源进程数,将任务分配到任务队列中。
2.根据权利要求1所述的方法,其特征在于,所述根据排序的结果以及用户的资源进程数,将任务分配到任务队列中包括:
按照任务的资源占用时长从大到小的顺序,依次将任务分配到总时长最小的任务队列中,并且将任务的资源占用时长叠加到接收所述任务的任务队列的总时长中。
3.根据权利要求2所述的方法,其特征在于,还包括:
判断用户的任务个数是否小于或等于用户的资源进程数;
若是,则将任务一对一且随机地分配到任务队列中;否则,按照任务的资源占用时长从大到小的顺序,依次将任务分配到总时长最小的任务队列中,并且将任务的资源占用时长叠加到接收所述任务的任务队列的总时长中。
4.根据权利要求1所述的方法,其特征在于,根据所述资源占用时长将用户的任务按照从大到小或从小到大的顺序进行排序;并且,获取用户的资源进程号。
5.根据权利要求1所述的方法,其特征在于,还包括:
根据任务的类型根据任务的类型设置采集历史数据的时间段,并将采集到的所述历史数据存储在数据表中,所述历史数据包括:运行的日期、用户名、任务编号、任务名称和任务开始时间、任务结束时间。
6.根据权利要求5所述的方法,其特征在于,所述对所述历史数据进行处理,统计出任务的资源占用时长包括:
根据采集的历史数据,计算出每一个任务的平均资源占用时长。
7.一种自动化配置数据仓库并行任务队列的装置,其特征在于,包括:
采集模块,用于采集用户的任务在数据仓库中运行的历史数据;
处理模块,用于对所述历史数据进行处理,统计出任务的资源占用时长;
排序模块,用于根据所述资源占用时长对所述任务进行排序;
分配模块,用于根据排序的结果以及用户的资源进程数,将任务分配到任务队列中。
8.根据权利要求7所述的装置,其特征在于,所述分配模块用于按照任务的资源占用时长从大到小的顺序,依次将任务分配到总时长最小的任务队列中,并且将任务的资源占用时长叠加到接收所述任务的任务队列的总时长中。
9.根据权利要求8所述的装置,其特征在于,还包括判断模块,用于判断用户的任务个数是否小于或等于用户的资源进程数;若是,则所述分配模块将任务一对一且随机地分配到任务队列中;否则,分配模块按照任务的资源占用时长从大到小的顺序,依次将任务分配到总时长最小的任务队列中,并且将任务的资源占用时长叠加到接收所述任务的任务队列的总时长中。
10.根据权利要求7所述的装置,其特征在于,所述排序模块根据所述资源占用时长将用户的任务按照从大到小或从小到大的顺序进行排序;以及,获取用户的资源进程号。
11.根据权利要求7所述的装置,其特征在于,还包括设置模块,用于根据任务的类型设置采集历史数据的时间段,并将采集到的所述历史数据存储在数据表中,所述历史数据包括:运行的日期、用户名、任务编号、任务名称和任务开始时间、任务结束时间。
12.根据权利要求7所述的装置,其特征在于,所述处理模块根据采集的历史数据,计算出每一个任务的平均资源占用时长。
13.一种自动化配置数据仓库并行任务队列的电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710397740.7/1.html,转载请声明来源钻瓜专利网。