[发明专利]数据处理方法和装置有效

专利信息
申请号: 201410606716.6 申请日: 2014-10-31
公开(公告)号: CN105610879B 公开(公告)日: 2019-05-17
发明(设计)人: 辛华 申请(专利权)人: 华为技术有限公司
主分类号: H04L29/08 分类号: H04L29/08
代理公司: 北京同立钧成知识产权代理有限公司 11205 代理人: 刘芳
地址: 518129 广东*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明实施例提供一种数据处理方法和装置。本发明数据处理方法,包括:接收管理节点发送的数据处理任务消息,所述数据处理任务消息携带有原始数据个数和效验数据个数;根据所述原始数据个数和所述效验数据个数获取生成矩阵;同时获取管理节点对网络中各数据存储节点进行区域划分的区域划分结果;根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理,所述数据处理包括生成效验数据处理和恢复原始数据处理。本发明实施例在接收到EC任务后各区域分别进行数据处理,进而实现性能较好的区域在完成一项EC任务后可以进行下一项EC任务处理,发挥分布式并行处理的优点,充分利用了网络资源和计算资源。
搜索关键词: 数据处理 方法 装置
【主权项】:
1.一种数据处理方法,其特征在于,包括:接收管理节点发送的数据处理任务消息,所述数据处理任务消息携带有原始数据个数和效验数据个数;根据所述原始数据个数和所述效验数据个数获取生成矩阵;同时获取所述管理节点对网络中各数据存储节点进行区域划分的区域划分结果,其中,所述区域划分结果包括区域个数和各区域内的各数据存储节点的信息;根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理,所述数据处理包括生成效验数据处理和恢复原始数据处理;若所述数据处理为生成效验数据处理;所述根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理,包括:根据所述区域个数和所述生成矩阵获取多个生成子矩阵,所述生成子矩阵的个数与所述区域个数相同,且各生成子矩阵与各区域一一对应;根据区域内的各数据存储节点中的数据和所述区域的生成子矩阵获取效验子数据,并获取其他区域的主数据存储节点生成的效验子数据;利用各区域的效验子数据生成效验数据,并将所述效验数据存储于相应的数据存储节点中;若所述数据处理为恢复原始数据处理;所述根据所述区域划分结果和所述生成矩阵对网络中各数据存储节点中的数据进行数据处理,包括:根据丢失数据和所述生成矩阵获取恢复矩阵;根据所述区域个数和所述恢复矩阵获取多个恢复子矩阵,所述恢复子矩阵的个数和所述区域个数相同,且各恢复子矩阵与各区域一一对应;根据区域内的各数据存储节点中的数据和所述区域的恢复子矩阵获取恢复子数据,并获取其他区域的主数据存储节点生成的恢复子数据;利用各区域的恢复子数据生成原始数据,并将所述原始数据存储于各原始数据所在数据存储节点中。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201410606716.6/,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top