[发明专利]基于MapReduce的数据传输方法和装置有效
| 申请号： | 202010273234.9 | 申请日： | 2020-04-09 |
| 公开（公告）号： | CN111444148B | 公开（公告）日： | 2023-09-05 |
| 发明（设计）人： | 耿筱喻;顾荣;郭俊 | 申请（专利权）人： | 南京大学;抖音视界有限公司 |
| 主分类号： | G06F16/16 | 分类号： | G06F16/16;G06F16/13;G06F16/182;H04L67/06 |
| 代理公司： | 北京国昊天诚知识产权代理有限公司 11315 | 代理人： | 王思超 |
| 地址： | 210023 江苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例公开了基于MapReduce的数据传输方法和装置。该方法的一具体实施方式包括：执行Map任务，以生成计算结果文件，其中，该计算结果文件中包括与Reduce端数目一致的分区及其对应的数据；将该计算结果文件上传至提供冗余存储的目标文件系统，以使对应的Reduce端通过该目标文件系统获取该计算结果文件中的数据，其中，该目标文件系统按照预定的命名规则对该计算结果文件进行命名，以及按照预定目录结构对该计算结果文件进行存储。该实施方式避免了由于重计算而带来的计算资源消耗和时间花销，提升Shuffle过程的稳定性，并且具备较好的普适性。 | ||
| 搜索关键词： | 基于 mapreduce 数据传输 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京大学;抖音视界有限公司，未经南京大学;抖音视界有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010273234.9/，转载请声明来源钻瓜专利网。
