[发明专利]一种云存储系统中大文件的处理方法及系统

说明书

技术领域

本申请涉及云存储领域，特别涉及一种云存储系统中大文件的处理方法及系统。

背景技术

随着技术的发展，人们对云存储系统中大文件的处理方法越来越关注。

目前，Swift对象存储系统可以存储的最大对象为5GB，超过这个大小的文件将不能上传到Swift中，同时GB级的大文件上传和下载比较慢。Swift己有的大文件解决方案：静态大对象(StaticLargeObjects)存储方案和动态大对象(DynamicLargeObjects)存储方案，都是Swift服务端的存储方案，在灵活性、扩展性等方面存在一定的不足。

因此，如何有效的对云存储系统中大文件进行处理，解决云存储系统中Switf无法上传大于5GB的文件的问题是本领域技术人员目前需要解决的技术问题。

发明内容

本申请所要解决的技术问题是提供一种云存储系统中大文件的处理方法及系统，解决了现有技术中云存储系统中Switf无法上传大于5GB的文件的问题。

其具体方案如下：

一种云存储系统中大文件的处理方法，该方法包括：

确定目标文件的大小；

当目标文件的大小超过预设大小时，对所述目标文件进行分割，转换成一组片段对象和一个清单对象；

将所述一组片段对象和一个清单对象均上传到云存储系统中。

上述的方法，优选的，将所述一组片段对象和一个清单对象均上传到云存储系统中，包括：

计算所述一组片段对象中每个片段的MD5校验值；

异步上传每个片段对象；

当所有片段对象均上传完毕时，计算整个目标文件的MD5校验值；

上传所述清单对象。

上述的方法，优选的，所述上传所述清单对象，包括：

将所述一组片段对象中的所有信息序列化为JSON格式的字符串，作为所述清单对象的内容；

计算所述JSON格式的字符串的MD5校验值；

上传所述清单对象的内容。

上述的方法，优选的，还包括：

从所述云存储系统中获取对象元数据；

当所述对象元数据为清单对象元数据时，解析JSON格式的片段对象信息；

下载所述JSON格式的片段对象信息中对应的所有片段对象；

将下载的所有片段对象合并成一个大文件。

上述的方法，优选的，还包括：

校验磁盘上的文件的MD5校验值与上传时记录的整个文件的MD5校验值。

一种云存储系统中大文件的处理系统，该系统包括：

确定单元，用于确定目标文件的大小；

分割单元，用于当目标文件的大小超过预设大小时，对所述目标文件进行分割，转换成一组片段对象和一个清单对象；

上传单元，用于将所述一组片段对象和一个清单对象均上传到云存储系统中。

上述的系统，优选的，所述上传单元包括：

第一计算单元，用于计算所述一组片段对象中每个片段的MD5校验值；

第一上传子单元，用于异步上传每个片段对象；

第二计算单元，用于当所有片段对象均上传完毕时，计算整个目标文件的MD5校验值；

第二上传子单元，用于上传所述清单对象。

上述的系统，优选的，所述第二上传子单元包括：

序列化单元，用于将所述一组片段对象中的所有信息序列化为JSON格式的字符串，作为所述清单对象的内容；

第三计算单元，用于计算所述JSON格式的字符串的MD5校验值；

第三上传子单元，用于上传所述清单对象的内容。

上述的系统，优选的，还包括：

获取单元，用于从所述云存储系统中获取对象元数据；

解析单元，用于当所述对象元数据为清单对象元数据时，解析JSON格式的片段对象信息；

下载单元，用于下载所述JSON格式的片段对象信息中对应的所有片段对象；

合并单元，用于将下载的所有片段对象合并成一个大文件。

上述的系统，优选的，还包括：

校验单元，用于校验磁盘上的文件的MD5校验值与上传时记录的整个文件的MD5校验值。