[发明专利]分布式对象存储方法、装置、计算机设备和存储介质

说明书

本申请提供了一种分布式对象存储方法、装置、计算机设备和存储介质，其中，该方法包括：接收数据上传请求，数据上传请求中携带有第一类型文件；响应于数据上传请求，将第一类型文件转换成第二类型文件，其中，第二类型文件的字节数与第一类型文件的字节数之间的差值大于预设阈值；将第二类型文件上传至分布式对象存储系统进行对象存储。上述分布式对象存储方法，使得分布式对象存储系统适于存储任意大小的文件，有效提高分布式对象存储系统的灵活性和可扩展性。

技术领域

本申请涉及计算机技术领域，特别涉及一种分布式对象存储方法、装置、计算机设备和存储介质。

背景技术

对象存储是互联网中经常使用的技术，对象存储与文件存储不同，对象不以目录分层的结构进行组织。每个对象都位于被称为存储池的扁平的空间的相同层级，每一级的每个元素在存储系统中都有唯一的标识，用户通过这个标识来访问容器或者对象。在对象存储中，一般是采用扁平的数据组织结构抛弃了嵌套的文件夹，从而可以避免维护庞大的目录树。

目前，对象存储通常采用分布式存储的方式。然而，分布式对象存储存在一些不足，不适于存储任意大小的文件，灵活性和扩展性较差。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种分布式对象存储方法、装置、计算机设备和存储介质，以解决现有技术中分布式对象存储不适于存储任意大小文件的问题。

本申请实施例提供了一种分布式对象存储方法，包括：接收数据上传请求，数据上传请求中携带有第一类型文件；响应于数据上传请求，将第一类型文件转换成第二类型文件，其中，第二类型文件的字节数与第一类型文件的字节数之间的差值大于预设阈值；将第二类型文件上传至分布式对象存储系统进行对象存储。

在一个实施例中，数据上传请求中携带有多个第一类型文件和多个第一类型文件中各第一类型文件的元数据，第一类型文件的字节数小于第一预设字节数；相应地，将第一类型文件转换成第二类型文件，包括：获取多个第一类型文件中各第一类型文件的元数据；将多个第一类型文件合并成第二类型文件，并记录多个第一类型文件中各第一类型文件在第二类型文件中的定位信息；根据各第一类型文件的元数据和定位信息生成索引文件。

在一个实施例中，将第二类型文件上传至分布式对象存储系统进行对象存储，包括：将第二类型文件上传至分布式对象存储系统的分布式文件系统中进行对象存储；将索引文件上传至分布式对象存储系统的分布式数据库中进行存储。

在一个实施例中，数据上传请求中还携带有第三预设字节数和第一类型文件的元数据，第一类型文件的字节数大于第二预设字节数；相应地，将第一类型文件转换成第二类型文件，包括：根据第三预设字节数将第一类型文件分割成多个第二类型文件，并记录多个第二类型文件中各第二类型文件的偏移量，其中，第二类型文件的字节数为第三预设字节数；根据各第二类型文件的偏移量和第一类型文件的元数据生成各第二类型文件的索引文件。

在一个实施例中，将第二类型文件上传至分布式对象存储系统进行对象存储，包括：将多个第二类型文件上传至分布式对象存储系统的分布式文件系统中进行对象存储，记录上传过程中生成的业务元数据；将各第二类型文件的索引文件上传至分布式对象存储系统的分布式数据库中进行存储；根据第一类型文件的元数据、业务元数据、各第二类型文件的属性信息生成控制对象，其中，第二类型文件的属性信息包括多个第二类型文件的个数和第三预设字节数；将控制对象上传至分布式对象存储系统的分布式文件系统进行对象存储。

在一个实施例中，将多个第二类型文件上传至分布式对象存储系统的分布式文件系统中进行对象存储，包括：随机生成通用唯一识别码；根据通用唯一识别码与各第二类型文件的偏移量生成各第二类型文件的键值；将多个第二类型文件中各第二类型文件、各第二类型文件的键值和第一类型文件的元数据上传至分布式对象存储系统进行对象存储。