[发明专利]基于分布式系统的数据存储方法、装置、设备及存储介质

权利要求书

1.一种基于分布式系统的数据存储方法，其特征在于，包括：

在所述分布式系统中创建数据表和哈希链表，对所述数据表进行分区处理和分桶处理，根据分区处理结果和分桶处理结果建立所述数据表与所述哈希链表的关联映射关系；

接收数据存储请求并获取与所述数据存储请求对应的待处理数据以及各所述待处理数据的主键标识；

响应于所述数据存储请求，获取预存储在所述哈希链表中的分桶数量，以所述分桶数量为基准，根据所述主键标识对所述待处理数据进行哈希分桶，根据哈希分桶结果将所述待处理数据存储到所述数据表中；

统计所述数据表中各分区的数据文件，将统计结果与预设阈值进行比较，根据比较结果调整所述数据表的分桶策略，并将调整结果更新至所述哈希链表中。

2.根据权利要求1所述的数据存储方法，其特征在于，所述在分布式系统中创建数据表和哈希链表，对所述数据表进行分区处理和分桶处理，根据分区处理结果和分桶处理结果建立所述数据表与所述哈希链表的关联映射关系包括：

在所述分布式系统中创建数据表并获取所述数据表的存储根路径，在所述存储根路径下创建所述哈希链表，将所述哈希链表与所述数据表进行关联绑定；

对所述数据表进行初始化分区处理，得到各分区的分区名称和分区数量；

对各分区进行初始化分桶处理，得到各分区的分桶数量；

将各分区对应的所述分区名称以及所述分桶数量存储到所述哈希链表中，形成所述数据表与所述哈希链表的关联映射关系。

3.根据权利要求1所述的数据存储方法，其特征在于，所述响应于所述数据存储请求，获取预存储在所述哈希链表中的分桶数量，以所述分桶数量为基准，根据所述主键标识对所述待处理数据进行哈希分桶，根据哈希分桶结果将所述待处理数据存储到所述数据表中包括：

响应于所述数据存储请求，获取预存储在所述哈希链表中的分桶数量；

以所述分桶数量为基准，基于哈希算法对所述主键标识进行哈希值转换处理，得到与各所述主键标识对应的哈希值以及对应的存储路径；

根据所述哈希值以及对应的所述存储路径将所述待处理数据存储到所述数据表中。

4.根据权利要求1所述的数据存储方法，其特征在于，所述统计所述数据表中各分区的数据文件，将统计结果与预设阈值进行比较，根据比较结果调整所述数据表的分桶策略，并将调整结果更新至所述哈希链表中包括：

获取各分区的数据文件的属性信息，根据所述属性信息统计同一分区所包含的数据文件的大小的累计值；

将所述累计值与预设阈值进行比较，根据比较结果调整所述数据表的分桶策略，并将调整结果更新至所述哈希链表中。

5.根据权利要求4所述的数据存储方法，其特征在于，所述预设阈值包括分桶下限阈值，所述将所述累计值与预设阈值进行比较，根据比较结果调整所述数据表的分桶策略，并将调整结果更新至所述哈希链表中包括：

将所述累计值与所述分桶下限阈值进行比较；

若所述累计值小于所述分桶下限阈值，则按照第一分桶策略计算新的分桶数量，并将新的分桶数量更新至所述哈希链表中。

6.根据权利要求5所述的数据存储方法，其特征在于，所述预设阈值包括分桶上限阈值，所述将所述累计值与预设阈值进行比较，根据比较结果调整所述数据表的分桶策略，并将调整结果更新至所述哈希链表中包括：

将所述累计值与所述分桶上限阈值进行比较；

若所述累计值大于所述分桶上限阈值，则按照第二分桶策略计算新的分桶数量，并将新的分桶数量更新至所述哈希链表中。

7.根据权利要求6所述的数据存储方法，其特征在于，所述第一分桶策略为计算所述累计值与所述分桶下限阈值的比值，根据比值计算结果确定新的分桶数量；所述第二分桶策略为计算所述累计值与所述分桶上限阈值的比值，根据比值计算结果确定新的分桶数量。