[发明专利]存储方法及装置

说明书

本发明提供了一种存储方法及装置，涉及数据存储技术领域。存储方法应用于分布式文件系统的存储节点，该存储方法包括：获得用户终端发送的预存文件；判断是否需要创建新的存储桶；若是，则根据历史存储记录创建新的存储桶；将预存文件写入新的存储桶。本发明提供的存储方法及装置可在写入数据时不会引发存储桶溢出产生的性能问题，与传统的应用相比，在存储亿级数据量的情况下，仍然保持与分布式文件系统初始集群接近的高性能表现。

技术领域

本发明涉及数据存储技术领域，具体而言，涉及一种存储方法及装置。

背景技术

随着大数据时代的来临，人工智能的兴起，互联网产生的海量数据给行业带来了大量机遇，在大数据时代，数据就是最有价值的资产已成为共识，然而大规模数据爆发也同时形成了一些挑战，其中海量数据存储的问题尤为突出。

目前，数据存储方案中最热门的方案莫过于分布式文件系统(ceph)，然而，在默认情况下当ceph存储数据量在亿级时，其对对象存储的持续写入性能会急速下降，这是因为ceph本身的设计，在单个对象桶中存放了超大规模的数据，导致这些庞大的数据的元数据在每次写入时的维护非常耗时，直接阻塞了后续数据写入，导致写入性能低下。

发明内容

有鉴于此，本发明实施例的目的在于提供一种存储方法及装置，以改善上述问题。

第一方面，本发明实施例提供了一种存储方法，应用于分布式文件系统的存储节点，所述方法包括：

获得用户终端发送的预存文件；

判断是否需要创建新的存储桶；

若是，则根据历史存储记录创建新的存储桶；

将所述预存文件写入所述新的存储桶。

可选地，所述新的存储桶包括临时数据区、元数据区和实际数据区，所述将所述预存文件写入所述新的存储桶，包括：

将所述预存文件的文件信息写入所述临时数据区；

将所述预存文件的元数据信息写入所述元数据区；

将所述预存文件的数据信息写入所述实际数据区。

可选地，所述方法还包括：

向所述用户终端返回写入结果。

可选地，所述方法还包括：

获取上一个存储桶写入的数据量；

所述根据历史存储记录创建新的存储桶，包括：

以上一个存储桶写入的数据量为基准创建新的存储桶。

可选地，所述判断是否需要创建新的存储桶，包括：

依据当前时间判断是否需要创建新的存储桶。

第二方面，本发明实施例提供了一种存储装置，应用于分布式文件系统的存储节点，所述存储装置包括：

获取模块，用于获得用户终端发送的预存文件；

判断模块，用于判断是否需要创建新的存储桶；

创建模块，用于当判断结果为是时，根据历史存储记录创建新的存储桶；

写入模块，用于将所述预存文件写入所述新的存储桶。

可选地，所述新的存储桶包括临时数据区、元数据区和实际数据区，所述写入模块包括：

临时数据区写入子模块，用于将所述预存文件的文件信息写入所述临时数据区；

元数据区写入子模块，用于将所述预存文件的元数据信息写入所述元数据区；