[发明专利]分布式对象存储方法、装置、计算机设备和存储介质有效
申请号: | 201910693969.4 | 申请日: | 2019-07-30 |
公开(公告)号: | CN110413588B | 公开(公告)日: | 2022-05-17 |
发明(设计)人: | 张艺;张学舟;林丹;韩霜 | 申请(专利权)人: | 中国工商银行股份有限公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/178;H04L67/06;H04L67/1097 |
代理公司: | 北京三友知识产权代理有限公司 11127 | 代理人: | 王涛;任默闻 |
地址: | 100140 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 对象 存储 方法 装置 计算机 设备 介质 | ||
1.一种分布式对象存储方法,其特征在于,包括:
接收数据上传请求,其中,所述数据上传请求中携带有第一类型文件;
响应于所述数据上传请求,将所述第一类型文件转换成第二类型文件,其中,所述第二类型文件的字节数与所述第一类型文件的字节数之间的差值大于预设阈值;
将所述第二类型文件上传至分布式对象存储系统进行对象存储;
其中,在所述第一类型文件的字节数大于第二预设字节数的情况下,所述数据上传请求中还携带有第三预设字节数和所述第一类型文件的元数据;
相应地,将所述第一类型文件转换成第二类型文件,包括:
根据所述第三预设字节数将所述第一类型文件分割成多个第二类型文件,并记录所述多个第二类型文件中各第二类型文件的偏移量,其中,所述第二类型文件的字节数为所述第三预设字节数;
根据所述各第二类型文件的偏移量和所述第一类型文件的元数据生成所述各第二类型文件的索引文件;
其中,将所述第二类型文件上传至分布式对象存储系统进行对象存储,包括:
将所述多个第二类型文件上传至所述分布式对象存储系统的分布式文件系统中进行对象存储,记录上传过程中生成的业务元数据;
将所述各第二类型文件的索引文件上传至所述分布式对象存储系统的分布式数据库中进行存储;
根据所述第一类型文件的元数据、所述业务元数据、所述各第二类型文件的属性信息生成控制对象,其中,所述第二类型文件的属性信息包括所述多个第二类型文件的个数和所述第三预设字节数;
将所述控制对象上传至所述分布式对象存储系统的分布式文件系统进行对象存储;
其中,根据所述第一类型文件的元数据、所述业务元数据、所述各第二类型文件的属性信息生成控制对象,包括:
将所述第一类型文件的键值确定为所述控制对象的键值;
根据所述第一类型文件的元数据和所述业务元数据生成目标元数据;
将所述目标元数据、通用唯一识别 码和所述第二类型文件的属性信息存储至所述控制对象中;所述通用唯一识别 码是随机生成的。
2.根据权利要求1所述的方法,其特征在于,在所述第一类型文件的字节数小于第一预设字节数的情况下,所述数据上传请求中携带有多个第一类型文件和所述多个第一类型文件中各第一类型文件的元数据;
相应地,将所述第一类型文件转换成第二类型文件,包括:
获取所述多个第一类型文件中各第一类型文件的元数据;
将所述多个第一类型文件合并成第二类型文件,并记录所述多个第一类型文件中各第一类型文件在所述第二类型文件中的定位信息;
根据所述各第一类型文件的元数据和定位信息生成索引文件。
3.根据权利要求2所述的方法,其特征在于,将所述第二类型文件上传至分布式对象存储系统进行对象存储,包括:
将所述第二类型文件上传至所述分布式对象存储系统的分布式文件系统中进行对象存储;
将所述索引文件上传至所述分布式对象存储系统的分布式数据库中进行存储。
4.根据权利要求1所述的方法,其特征在于,将所述多个第二类型文件上传至所述分布式对象存储系统的分布式文件系统中进行对象存储,包括:
根据所述通用唯一识别码与所述各第二类型文件的偏移量生成所述各第二类型文件的键值;
将所述多个第二类型文件中各第二类型文件、所述各第二类型文件的键值和所述第一类型文件的元数据上传至所述分布式对象存储系统进行对象存储。
5.根据权利要求4所述的方法,其特征在于,将所述多个第二类型文件上传至所述分布式对象存储系统的分布式文件系统中进行对象存储,还包括:
在上传出错时,生成出错信息,其中,所述出错信息中携带有所述通用唯一识别码;
根据所述通用唯一识别码对已上传的第二类型文件进行校验,以确定上传失败的第二类型文件;
将所述上传失败的第二类型文件重新上传至所述分布式文件系统中进行对象存储。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国工商银行股份有限公司,未经中国工商银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910693969.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种老化历史数据的方法和装置
- 下一篇:基于星际文件系统的信息管理方法及平台