[发明专利]一种基于多数派数据存储方法、装置及系统有效
申请号: | 201611168618.4 | 申请日: | 2016-12-16 |
公开(公告)号: | CN108206839B | 公开(公告)日: | 2020-02-07 |
发明(设计)人: | 吴义谱;张炎泼 | 申请(专利权)人: | 贵州白山云科技股份有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F3/06 |
代理公司: | 35218 厦门市精诚新创知识产权代理有限公司 | 代理人: | 方惠春 |
地址: | 550000 贵州省贵阳市南*** | 国省代码: | 贵州;52 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文件组 预设 文件上传请求 装置及系统 存储单元 数据存储 副本 元数据信息更新 文件内容传输 前端服务器 确定文件 数据丢失 数据上传 物理信息 写入成功 写入文件 返回 磁盘IO 单点 流式 上传 服务器 数据库 占用 成功 代理 | ||
1.一种基于多数派数据存储方法,其特征在于,包括:
前端服务器接收文件上传请求,并根据所述文件上传请求从第一预设值个数的文件组中选取一个文件组,其中,每一文件组对应第二预设值个数的存储单元;
接收文件中的数据,并根据选取的所述文件组,将接收到的文件中的数据分别上传至选取的所述文件组对应的第二预设值个数的存储单元上;
当确定文件中的数据上传完成,且接收到大于等于第三预设值个数的存储单元返回的文件物理信息时,则数据写入成功,再将文件中的元数据信息更新至数据库,此时,返回文件上传请求成功;
其中,所述第一预设值、第二预设值和第三预设值均为大于1的正整数,且第三预设值小于等于第二预设值并且大于第二预设值的一半。
2.如权利要求1所述的方法,其特征在于,每一文件组中分别存储有各存储单元对应的地址;则,
在将接收到的文件中的数据分别上传至选取的所述文件组对应的第二预设值个数的存储单元上之前,所述方法还包括:
根据选取的所述文件组中存储的各存储单元对应的地址,同时与选取的所述文件组中的每一存储单元建立HTTP连接。
3.如权利要求1-2中任一所述的方法,其特征在于,所述接收文件中的数据,并根据选取的所述文件组,将接收到的文件中的数据分别上传至选取的所述文件组对应的第二预设值个数的存储单元上,包括:
接收文件中的数据,且每当接收到的文件中的数据的容量达到预设阈值时,根据选取的所述文件组,将接收到的文件中的数据分别通过HTTP连接并行上传至选取的所述文件组对应的第二预设值个数的存储单元上。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
检测每个存储单元的传输速度,并选取出传输速度最慢的存储单元;
判断连接的存储单元数量是否大于第三预设值;
若是,断开与选取出传输速度最慢的存储单元之间的HTTP连接,将所述选取出传输速度最慢的存储单元从选取的所述文件组中剔除;
在文件中的数据上传完成后,检测是否接收到大于等于第三预设置个数的存储单元返回的文件物理信息;
若是,则确定数据写入成功。
5.如权利要求3所述的方法,其特征在于,所述将接收到的文件中的数据分别通过HTTP连接并行上传至选取的所述文件组对应的第二预设值个数的存储单元上,包括:
将接收到的文件中的数据分别通过HTTP连接并以字节流的方式并行上传至选取的所述文件组对应的第二预设值个数的存储单元上。
6.如权利要求1所述的方法,其特征在于,所述当接收到大于等于第三预设值个数的存储单元返回的文件物理信息时,确定数据写入成功,包括:
接收到各存储单元返回SHA1、MD5、SIZE的文件物理信息;
当接收到相同SHA1的文件物理信息大于等于第三预设值个数时,确定数据写入成功。
7.一种前端服务器,其特征在于,包括:
接收单元,用于接收文件上传请求,并根据所述文件上传请求从第一预设值个数的文件组中选取一个文件组,其中,每一文件组对应第二预设值个数的存储单元;
上传单元,用于接收文件中的数据,并根据选取的所述文件组,将接收到的文件中的数据分别上传至选取的所述文件组对应的第二预设值个数的存储单元上;
处理单元,用于当确定文件中的数据上传完成,且接收到大于等于第三预设值个数的存储单元返回的文件物理信息时,则数据写入成功,再将文件中的元数据信息更新至数据库,此时,返回文件上传请求成功;
其中,所述第一预设值、第二预设值和第三预设值均为大于1的正整数,且第三预设值小于等于第二预设值并且大于第二预设值的一半。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于贵州白山云科技股份有限公司,未经贵州白山云科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611168618.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种负载均衡系统、方法及装置
- 下一篇:用于风电场的通信方法、服务器及风机