[发明专利]基于分布式系统的数据存储方法、装置、设备及存储介质

说明书

本发明涉及计算机领域，公开了一种基于分布式系统的数据存储方法、装置、设备及存储介质。该方法包括：创建数据表和哈希链表，对数据表进行分区处理和分桶处理，根据分区处理结果和分桶处理结果建立数据表与哈希链表的关联映射关系；接收数据存储请求并获取对应的待处理数据以及各待处理数据的主键标识；响应于数据存储请求，获取预存储在哈希链表中的分桶数量，以分桶数量为基准，根据主键标识对待处理数据进行哈希分桶，根据哈希分桶结果存储待处理数据；统计数据表中各分区的数据文件，根据统计结果调整分桶策略并更新哈希链表。通过上述方式，本发明能够动态调整数据分桶策略，提高数据加工处理效率，降低存储管理压力，节约数据维护成本。

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于分布式系统的数据存储方法、装置、设备及存储介质。

背景技术

随着大数据、云技术的快速发展，数据海量增长，传统存储技术虽然技术成熟、性能良好且可用性高，但面对海量数据，仍然存在扩展性差、成本高、存在单点故障和性能瓶颈弊端等。为满足海量数据的存储需求，分布式存储技术应用而生。

在分布式存储系统中，数据分桶是在大数据领域中在确定数据分区的基础上，对数据的进一步划分。目前在大数据领域中关于数据分桶的问题是十分难处理的，关于数据的分桶数量既要考虑业务发展导致数据的不断增长，避免数据分桶数量过少导致出现单个桶的分区数据倾斜的状况；又需要考虑单个分区的数据量过少，避免数据分桶数量过多导致出现单个分区下小文件数量过多的问题。

以上问题，在海量数据的批处理场景尤为明显，尤其是业务数据在动态变化的场景下，如果分桶数量过少，对数据的读写和加工效率提升不够明显，而分桶数量过多，则会给文件系统造成极大的存储压力和管理成本；而定期根据数据分布的最新情况，对整体数据进行一次分桶的重新排布又是一个计算代价极高的操作。

发明内容

本发明提供一种基于分布式系统的数据存储方法、装置、设备及存储介质，能够动态调整数据分桶策略，提高数据加工处理效率，降低存储管理压力，节约数据维护成本。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于分布式系统的数据存储方法，包括：

在所述分布式系统中创建数据表和哈希链表，对所述数据表进行分区处理和分桶处理，根据分区处理结果和分桶处理结果建立所述数据表与所述哈希链表的关联映射关系；

接收数据存储请求并获取与所述数据存储请求对应的待处理数据以及各所述待处理数据的主键标识；

响应于所述数据存储请求，获取预存储在所述哈希链表中的分桶数量，以所述分桶数量为基准，根据所述主键标识对所述待处理数据进行哈希分桶，根据哈希分桶结果将所述待处理数据存储到所述数据表中；

统计所述数据表中各分区的数据文件，将统计结果与预设阈值进行比较，根据比较结果调整所述数据表的分桶策略，并将调整结果更新至所述哈希链表中。

根据本发明的一个实施例，所述在分布式系统中创建数据表和哈希链表，对所述数据表进行分区处理和分桶处理，根据分区处理结果和分桶处理结果建立所述数据表与所述哈希链表的关联映射关系包括：

在所述分布式系统中创建数据表并获取所述数据表的存储根路径，在所述存储根路径下创建所述哈希链表，将所述哈希链表与所述数据表进行关联绑定；

对所述数据表进行初始化分区处理，得到各分区的分区名称和分区数量；

对各分区进行初始化分桶处理，得到各分区的分桶数量；

将各分区对应的所述分区名称以及所述分桶数量存储到所述哈希链表中，形成所述数据表与所述哈希链表的关联映射关系。