[发明专利]动态碎片分配调整有效
申请号: | 201580033526.2 | 申请日: | 2015-07-06 |
公开(公告)号: | CN106663028B | 公开(公告)日: | 2021-05-25 |
发明(设计)人: | J.S.赫维茨;E.R.基尔皮肖夫;J.普杰西瓦克-格尔博维克;K.J.戈德曼 | 申请(专利权)人: | 谷歌有限责任公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 邵亚丽 |
地址: | 美国加利*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本公开涉及在并行处理操作期间动态调整碎片分配。一种示例方法包括确定由多个任务执行的输入数据集的批量数据处理作业的目标完成时间,多个任务的每个处理不同的输入碎片,不同的输入碎片包括输入数据集的不同部分;识别估计的完成时间大于批量数据处理作业的目标完成时间的第一任务;以及将第一输入碎片分裂成第一分裂输入碎片和不同于第一分裂输入碎片的第二分裂输入碎片,第一分裂输入碎片包括第一输入碎片的第一部分,并且第二分裂输入碎片包括不同于第一部分的第一输入碎片的第二部分。 | ||
搜索关键词: | 动态 碎片 分配 调整 | ||
【主权项】:
一种由一个或多个处理器执行的计算机实现的方法,该方法包括:确定输入数据集的批量数据处理作业的目标完成时间,批量数据处理作业由多个任务执行,多个任务的每个处理不同的输入碎片,不同的输入碎片包括输入数据集的不同部分;从多个任务中,识别第一任务,第一任务具有大于批量数据处理作业的目标完成时间的估计完成时间,估计完成时间代表第一任务将完成处理由第一任务处理的第一输入碎片处的输入数据集的该部分的估计时间;以及将第一输入碎片分裂成第一分裂输入碎片和不同于第一分裂输入碎片的第二分裂输入碎片,第一分裂输入碎片包括第一输入碎片的第一部分,并且第二分裂输入碎片包括不同于第一部分的第一输入碎片的第二部分。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司,未经谷歌有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201580033526.2/,转载请声明来源钻瓜专利网。