[发明专利]基于多种分片方式的数据动态存储系统及方法有效
申请号: | 201810653166.1 | 申请日: | 2018-06-22 |
公开(公告)号: | CN108920099B | 公开(公告)日: | 2021-11-16 |
发明(设计)人: | 游伟;汤红波;赵星;赵宇;柏溢;陈云杰;秦小刚;冯莉 | 申请(专利权)人: | 中国人民解放军战略支援部队信息工程大学 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 郑州大通专利商标代理有限公司 41111 | 代理人: | 陈勇 |
地址: | 450000 河*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 多种 分片 方式 数据 动态 存储系统 方法 | ||
1.基于多种分片方式的数据动态存储系统,其特征在于,包括:分布式存储系统、分片控制模块和迁移控制模块;
所述分布式存储系统包括元数据服务器和数据节点,数据节点用于存储用户数据的各数据分片,元数据服务器用于存储与所述用户数据对应的用户认证信息、分片方式标识及各数据分片的存储地址;
所述分片控制模块用于当用户数据写入数据节点时随机选取分片方式将所述用户数据分片并将所述分片方式的所述分片方式标识发送至元数据服务器;当用户数据被读取时根据所述用户数据对应的分片方式将各数据分片还原为所述用户数据;
所述迁移控制模块用于存储各数据分片的静止时间,根据预设迁移规则对所述静止时间超过预设时间阈值的数据分片执行迁移操作;
其中,所述预设迁移规则包括以待迁移数据分片对应的用户数据为迁移单元,对所述用户数据的所有数据分片进行迁移;和/或以待迁移数据分片所在的数据节点为迁移单元,对所述数据节点内部的所有数据分片进行迁移;
所述分布式存储系统还用于在所述迁移控制模块完成所述迁移操作后更新各数据分片的存储地址。
2.根据权利要求1所述的系统,其特征在于,所述分布式存储系统还用于:
当用户数据写入时,为所述用户数据分配一数据标识,并存储所述数据标识;
为各数据分片分配存储地址,接收分片控制模块发送的各数据分片。
3.根据权利要求2所述的系统,其特征在于,所述分片控制模块还用于:
当用户数据写入时,从元数据服务器获取与所述用户数据对应的各数据分片的存储地址,将所述各数据分片存储至所述存储地址对应的数据节点中;
当用户数据被读取时,从元数据服务器获取与所述用户数据对应的分片方式标识及各数据分片的存储地址,从所述存储地址对应的数据节点中读取所述各数据分片,并根据所述分片方式标识将各数据分片还原为所述用户数据。
4.基于多种分片方式的数据动态存储方法,其特征在于,包括:分布式存储系统、分片控制模块和迁移控制模块;所述分布式存储系统包括元数据服务器和数据节点,数据节点用于存储用户数据的各数据分片,元数据服务器用于存储与所述用户数据对应的用户认证信息、分片方式标识及各数据分片的存储地址;所述方法具体包括:
步骤1.通过分布式存储系统接收用户数据写请求,对所述用户数据写请求进行认证,认证成功后分片控制模块接收用户数据;
步骤2.通过分片控制模块为所述用户数据随机选取分片方式将所述用户数据分片,并将所述分片方式的分片方式标识及各数据分片发送至分布式存储系统;
步骤3.分布式存储系统接收并存储所述分片方式标识及各数据分片;
步骤4.通过迁移控制模块存储各数据分片的静止时间,根据预设迁移规则对所述静止时间超过预设时间阈值的数据分片执行迁移操作;
其中,所述预设迁移规则包括以待迁移数据分片对应的用户数据为迁移单元,对所述用户数据的所有数据分片进行迁移;和/或以待迁移数据分片所在的数据节点为迁移单元,对所述数据节点内部的所有数据分片进行迁移;
分布式存储系统在所述迁移控制模块完成所述迁移操作后更新各数据分片的存储地址。
5.根据权利要求4所述的方法,其特征在于,还包括:
分布式存储系统认证成功后为所述用户数据分配一数据标识,并将所述数据标识发送至所述分片控制模块;
通过分片控制模块根据分片方式确定与所述数据标识对应的所述用户数据的分片个数,将所述分片个数发送至分布式存储系统;
分布式存储系统根据所述分片个数为所述用户数据分配存储地址。
6.根据权利要求5所述的方法,其特征在于,还包括:
当用户数据写入时,通过分片控制模块从元数据服务器获取与所述用户数据对应的各数据分片的存储地址,将所述各数据分片存储至所述存储地址对应的数据节点中;
当用户数据被读取时,通过分片控制模块从元数据服务器获取与所述用户数据对应的分片方式标识及各数据分片的存储地址,从所述存储地址对应的数据节点中读取所述各数据分片并按照所述分片方式标识对应的分片方式将所述各数据分片还原为所述用户数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军战略支援部队信息工程大学,未经中国人民解放军战略支援部队信息工程大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810653166.1/1.html,转载请声明来源钻瓜专利网。