[发明专利]数据处理方法和装置有效
申请号: | 201410606716.6 | 申请日: | 2014-10-31 |
公开(公告)号: | CN105610879B | 公开(公告)日: | 2019-05-17 |
发明(设计)人: | 辛华 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 刘芳 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明实施例提供一种数据处理方法和装置。本发明数据处理方法,包括:接收管理节点发送的数据处理任务消息,所述数据处理任务消息携带有原始数据个数和效验数据个数;根据所述原始数据个数和所述效验数据个数获取生成矩阵;同时获取管理节点对网络中各数据存储节点进行区域划分的区域划分结果;根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理,所述数据处理包括生成效验数据处理和恢复原始数据处理。本发明实施例在接收到EC任务后各区域分别进行数据处理,进而实现性能较好的区域在完成一项EC任务后可以进行下一项EC任务处理,发挥分布式并行处理的优点,充分利用了网络资源和计算资源。 | ||
搜索关键词: | 数据处理 方法 装置 | ||
【主权项】:
1.一种数据处理方法,其特征在于,包括:接收管理节点发送的数据处理任务消息,所述数据处理任务消息携带有原始数据个数和效验数据个数;根据所述原始数据个数和所述效验数据个数获取生成矩阵;同时获取所述管理节点对网络中各数据存储节点进行区域划分的区域划分结果,其中,所述区域划分结果包括区域个数和各区域内的各数据存储节点的信息;根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理,所述数据处理包括生成效验数据处理和恢复原始数据处理;若所述数据处理为生成效验数据处理;所述根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理,包括:根据所述区域个数和所述生成矩阵获取多个生成子矩阵,所述生成子矩阵的个数与所述区域个数相同,且各生成子矩阵与各区域一一对应;根据区域内的各数据存储节点中的数据和所述区域的生成子矩阵获取效验子数据,并获取其他区域的主数据存储节点生成的效验子数据;利用各区域的效验子数据生成效验数据,并将所述效验数据存储于相应的数据存储节点中;若所述数据处理为恢复原始数据处理;所述根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理,包括:根据丢失数据和所述生成矩阵获取恢复矩阵;根据所述区域个数和所述恢复矩阵获取多个恢复子矩阵,所述恢复子矩阵的个数和所述区域个数相同,且各恢复子矩阵与各区域一一对应;根据区域内的各数据存储节点中的数据和所述区域的恢复子矩阵获取恢复子数据,并获取其他区域的主数据存储节点生成的恢复子数据;利用各区域的恢复子数据生成原始数据,并将所述原始数据存储于各原始数据所在数据存储节点中。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201410606716.6/,转载请声明来源钻瓜专利网。
- 上一篇:旅游信息的提供方法及装置
- 下一篇:目录上传方法、数据发布方法、终端及服务器