[发明专利]一种迭代型MapReduce作业的参数自动调优方法有效
| 申请号： | 201610692752.8 | 申请日： | 2016-08-18 |
| 公开（公告）号： | CN106326005B | 公开（公告）日： | 2019-12-17 |
| 发明（设计）人： | 赵淦森;高晓杰;唐华;张海明;王欣明;聂瑞华;汤庸;朱佳;廖智锐;陈乐华;涂继来 | 申请（专利权）人： | 华南师范大学;广州时韵信息科技有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 44205 广州嘉权专利商标事务所有限公司 | 代理人： | 谭英强 |
| 地址： | 510631 *** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种迭代型MapReduce作业的参数自动调优方法，包括：判断是否满足迭代结束条件，若是，则迭代计算任务结束，反之，则执行步骤B；B、通过参数搜索算法，进而根据给定的MapReduce参数搜索空间，搜索得出新的MapReduce参数配置；C、采用搜索出的新的MapReduce参数配置来实现当前MapReduce作业的运行，运行结束后，对当前MapReduce作业的运行效果进行判断，并根据判断结果从而进行相应的数据调整处理；D、返回执行步骤A。通过使用本发明的方法能提高每一次迭代MapReduce作业的运行效率，为用户带来方便，以及大大减少了时间资源的浪费。本发明的方法可广泛应用于Hadoop运行参数调优领域中。 | ||
| 搜索关键词： | 参数配置 参数搜索 搜索 迭代结束条件 迭代计算 判断结果 任务结束 时间资源 数据调整 一次迭代 运行参数 运行结束 运行效果 运行效率 迭代 算法 返回 应用 | ||
【主权项】：
1.一种迭代型MapReduce作业的参数自动调优方法，其特征在于：该方法包括：/nA、判断是否满足迭代结束条件，若是，则迭代计算任务结束，反之，则执行步骤B；/nB、通过参数搜索算法，进而根据给定的MapReduce参数搜索空间，搜索得出新的MapReduce参数配置；/nC、采用搜索出的新的MapReduce参数配置来实现当前MapReduce作业的运行，运行结束后，对当前MapReduce作业的运行效果进行判断，并根据判断结果从而进行相应的数据调整处理；/nD、返回执行步骤A；/n所述步骤B包括：/nB1、判断是否存在历史最优的MapReduce参数配置，若存在，则执行步骤B2，反之，则执行步骤B4；/nB2、根据历史最优的MapReduce参数配置以及给定的MapReduce参数搜索空间，进而通过参数搜索算法在给定的MapReduce参数搜索空间中进行参数搜索，并生成历史最优的MapReduce参数配置的所有邻居参数配置；/nB3、判断步骤B2生成的所有邻居参数配置是否均存在运行日志记录中，若是，则结束参数自动调优工作，并将历史最优的MapReduce参数配置作为最终最优的MapReduce参数配置输出，反之，则从所有邻居参数配置中选取一个未运行过的邻居参数配置作为新的MapReduce参数配置；/nB4、将默认的MapReduce参数配置作为新的MapReduce参数配置。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华南师范大学;广州时韵信息科技有限公司，未经华南师范大学;广州时韵信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610692752.8/，转载请声明来源钻瓜专利网。
