[发明专利]数据文件可靠存储方法在审
申请号: | 201810186581.0 | 申请日: | 2018-03-07 |
公开(公告)号: | CN108388658A | 公开(公告)日: | 2018-08-10 |
发明(设计)人: | 杨晓莹;吴伟杰 | 申请(专利权)人: | 成都创信特电子技术有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;H04L29/08 |
代理公司: | 北京天奇智新知识产权代理有限公司 11340 | 代理人: | 杨春 |
地址: | 610041 四川省*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据文件 存储 中继单元 数据块 云存储服务器 结果数据 实时变化 实时处理 大数据 集合 传输 | ||
1.一种数据文件可靠存储方法,其特征在于,包括:
将接收到的数据根据数据块名划分,并通过与数据块名对应的通道传送给DataNode的中继单元;将来自所述中继单元的结果数据传输给对应的云存储服务器。
2.根据权利要求1所述的方法,其特征在于:
所述中继单元接收划分后的数据,并将接收到的数据放入以待处理业务名称命名的队列中;
基于各待处理业务的优先级开启待处理业务,并将待处理业务发送给DataNode计算单元;
所述计算单元开启的待处理业务,对来自中继单元的数据进行计算,并向中继单元输出计算之后的数据块。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
使DataNode的数据传输和内部的逻辑计算隔离,将输入数据按数据块名划分,并将数据传送给中继单元;中继单元根据数据和当前DataNode的待处理业务的关联关系,维护一个针对所有处于就绪状态的待处理业务的分层队列。
4.根据权利要求1所述的方法,其特征在于,所述中继单元根据DataNode的负载确定启动多少个业务,并从分层队列中选择相应数量的、优先级最高的待处理业务启动;
所述中继单元还将数据传送给执行待处理业务的计算单元,并接收经过计算单元处理后的结果数据;在包括上述DataNode的云计算系统中,对输入或结果数据的划分、融合和处理都在内存中完成。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都创信特电子技术有限公司,未经成都创信特电子技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810186581.0/1.html,转载请声明来源钻瓜专利网。