[发明专利]Rack架构下面向编码MapReduce的Shuffle性能优化方法及系统有效
| 申请号： | 202210554617.2 | 申请日： | 2022-05-20 |
| 公开（公告）号： | CN114844781B | 公开（公告）日： | 2023-05-09 |
| 发明（设计）人： | 陈广军;叶保留;王楚豫;陆桑璐 | 申请（专利权）人： | 南京大学 |
| 主分类号： | H04L41/083 | 分类号： | H04L41/083;H04L41/0823;H04L41/0833;H04L67/10 |
| 代理公司： | 南京泉为知识产权代理事务所(特殊普通合伙) 32408 | 代理人： | 许丹丹 |
| 地址： | 210023 江苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种Rack架构下编码MapReduce的Shuffle性能优化方法及系统。所述方法基于数据中心服务器部署时典型的Rack架构场景，将Shuffle阶段的通信优化问题规约为跨机架的通信量问题，并进一步规约为每个机架内每台服务器放置的Reduce函数的个数问题，最终通过对输入文件进行合理的冗余计算以及Reduce函数进行合理的放置，结合编码计算以及组播传输技术将数据进行压缩的方式，降低了Shuffle阶段的时间开销，并且缩短了MapReduce任务总的执行时间。 | ||
| 搜索关键词： | rack 架构 面向 编码 mapreduce shuffle 性能 优化 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京大学，未经南京大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210554617.2/，转载请声明来源钻瓜专利网。
- 上一篇：室内地磁定位导航装置
- 下一篇：一种PCB板加工用除锈设备
