[发明专利]基于对象存储的数据处理方法、装置、服务器和存储介质在审
申请号: | 201911030905.2 | 申请日: | 2019-10-28 |
公开(公告)号: | CN110795408A | 公开(公告)日: | 2020-02-14 |
发明(设计)人: | 郭军;卢晶晶 | 申请(专利权)人: | 柏科数据技术(深圳)股份有限公司 |
主分类号: | G06F16/172 | 分类号: | G06F16/172;G06F16/16;H04L29/08 |
代理公司: | 11332 北京品源专利代理有限公司 | 代理人: | 孟金喆 |
地址: | 518000 广东省深圳市南山区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 同名文件 基于对象存储 数据处理 集群 接收客户端 版本属性 存储介质 历史操作 文件增加 保存 上传 服务器 记录 优化 | ||
本发明实施例提供了一种基于对象存储的数据处理方法、装置、服务器和存储介质。该基于对象存储的数据处理方法包括:接收客户端上传的第一文件,所述第一文件包括第一文件名;根据所述第一文件名判断是否存在同名文件;如果不存在所述同名文件,则直接保存所述第一文件;如果存在所述同名文件,则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。达到了降低集群的负载,优化集群的性能的效果。
技术领域
本发明实施例涉及分布式存储技术领域,尤其涉及一种基于对象存储的数据处理方法、装置、服务器和存储介质。
背景技术
随着互联网的迅速发展,全球的数据量出现爆炸式增长,如何便捷地处理大量的数据越来与重要。
目前,现有使用分布式存储系统ceph对数据进行处理时,对于同名的文件,都是最新的同名文件替换旧的同名文件,即删除旧的同名文件,保留最新的同名文件。当需要旧的同名文件时,则将存储系统恢复至一个时间点,该时间点以内包括有该旧的同名文件,而不包括新的同名文件,从而获取旧的同名文件。当再次需要用到新的同名文件时,则再次将存储系统恢复至包括新的同名文件的另一个时间点,从而获取新的同名文件
然而,在如今的信息化时代,每天都有大量的数据在不断更新,通过这种恢复存储系统的时间点,以获取不同版本的同名文件,不仅操作繁琐,并且还会增加集群的负载,降低了集群的性能。
发明内容
本发明实施例提供一种基于对象存储的数据处理方法、装置、服务器和存储介质,以实现降低集群的负载,优化集群的性能的效果。
第一方面,本发明实施例提供了一种基于对象存储的数据处理方法,包括:
接收客户端上传的第一文件,所述第一文件包括第一文件名;
根据所述第一文件名判断是否存在同名文件;
如果不存在所述同名文件,则直接保存所述第一文件;
如果存在所述同名文件,则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存。
可选的,所述基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存,包括:
基于所述同名文件的历史操作记录对所述第一文件增加版本属性;
根据所述版本属性建立与MD5的映射关系;
基于所述映射关系对所述第一文件进行保存。
可选的,在所述基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存之前,包括:
判断bucket是否开启多版本功能;
如果所述bucket开启多版本功能,则基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存;
如果所述bucket未开启多版本功能,则直接保存所述第一文件,并删除所述同名文件。
可选的,在所述基于所述同名文件的历史操作记录对所述第一文件增加版本属性并进行保存之后,包括:
接收客户端发送的第二文件的删除请求;
判断所述删除请求是否包括版本属性;
如果所述删除请求不包括所述版本属性,则直接删除所述第二文件;
如果所述删除请求包括所述版本属性,则删除与版本属性对应的第二文件。
可选的,所述删除与版本属性对应的第二文件,包括:
根据所述版本属性获取对应的MD5值;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于柏科数据技术(深圳)股份有限公司,未经柏科数据技术(深圳)股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911030905.2/2.html,转载请声明来源钻瓜专利网。