[发明专利]映射化简应用的缓存管理方法和装置有效
| 申请号： | 201410438255.6 | 申请日： | 2014-08-29 |
| 公开（公告）号： | CN105446896B | 公开（公告）日： | 2018-05-04 |
| 发明（设计）人： | 曲俊媚;朱朝强;刘亮;庄威 | 申请（专利权）人： | 国际商业机器公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京市金杜律师事务所11256 | 代理人： | 酆迅,陈颖 |
| 地址： | 美国纽*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及分布式文件系统，其公开了MapReduce应用的缓存管理方法和装置，该方法包括接收需要迭代计算的MapReduce作业的Map任务的处理请求；获取所述Map任务的参数，所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目；获取所述Map任务的缓存分片大小，其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的；将待处理的数据按照所述缓存分片大小从所述分布式文件系统的存储介质读到缓存中用于Map任务处理；将Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。该方法能高效地缓存需要迭代计算的MapReduce作业的数据，提高内存缓存的利用率，减小处理延时。 | ||
| 搜索关键词： | 映射 应用 缓存 管理 方法 装置 | ||
【主权项】：
一种基于分布式文件系统的MapReduce应用的缓存管理方法，包括：接收需要迭代计算的MapReduce作业的Map任务的处理请求；获取处理所述Map任务的参数，所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目；获取所述Map任务的缓存分片大小，其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的，其中所述Map缓存分片大小训练模型是基于至少一个计算节点处理的Map任务的历史参数建立的Map任务处理时间与缓存分片大小之间关系的第一多元线性回归模型；将待处理的数据按照所述缓存分片大小从所述分布式文件系统的存储介质读到缓存中用于Map任务处理；将所述Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国际商业机器公司，未经国际商业机器公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410438255.6/，转载请声明来源钻瓜专利网。
