[发明专利]数据处理方法、装置、电子设备及可读存储介质

说明书

本申请提供了一种数据处理方法、装置、电子设备及可读存储介质，属于数据处理技术领域。本申请通过，针对目标业务对应的任一存储周期，预估所述存储周期对应的业务数据的数据量；基于所述数据量创建所述存储周期对应的多个存储分片，并利用多个所述存储分片对所述存储周期对应的业务数据进行分片存储；在多个所述存储分片均达到存储容量上限的情况下，针对所述存储周期的下一个存储周期，执行所述预估所述存储周期对应的业务数据的数据量，基于所述数据量创建所述存储周期对应的多个存储分片，并利用多个所述存储分片对所述存储周期对应的业务数据进行分片存储的步骤。以实现在业务不同发展阶段，根据数据规模，动态调整分片数量。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及可读存储介质。

背景技术

随着计算机技术和互联网的发展，数据规模呈现爆炸性增长，以往单节点存储规模和查询性能已经很难满足大规模数据的存取，分布式数据库系统应运而生。分布式数据库系统将数据分布在计算机网络的不同节点上，而这些数据在逻辑上属于同一个系统。其中，分布式数据库采用数据分片技术对数据进行分片存储。

目前，在对某项业务的业务数据进行分片存储时，通常是在进行分片存储前，对该项业务的数据规模做一个整体预估，进而根据该数据规模创建相应数量的存储分片，最后利用这些存储分片存储该项业务的业务数据。

然而，一项业务在各个时期的数据增长量受到很多因素的影响，因此，一次性对业务的整体数据规模进行预估常常不够准确，容易出现确定的分片数量与实际要存储的数据量不匹配的情况。例如，预估的分片数量过少，在业务扩展时期数据规模暴增的情况下，需要对已有数据进行重新分片，成本很高；又如分片数量过多，在业务初期数据规模不大的情况下，会导致过度设计。

发明内容

为了解决上述一次性对业务的整体数据规模进行预估常常不够准确，容易出现确定的分片数量与实际要存储的数据量不匹配的情况技术问题，本申请提供了一种数据处理方法、装置、电子设备及可读存储介质。

第一方面，提供了一种数据处理方法，所述方法包括：

针对目标业务对应的任一存储周期，预估所述存储周期对应的业务数据的数据量，其中，在接收所述目标业务的业务数据过程中包括多个存储周期；

基于所述数据量创建所述存储周期对应的多个存储分片，并利用多个所述存储分片对所述存储周期对应的业务数据进行分片存储；

在多个所述存储分片均达到存储容量上限的情况下，针对所述存储周期的下一个存储周期，执行所述预估所述存储周期对应的业务数据的数据量，基于所述数据量创建所述存储周期对应的多个存储分片，并利用多个所述存储分片对所述存储周期对应的业务数据进行分片存储的步骤。

在一个可能的实施方式中，所述方法还包括：

在接收所述目标业务的业务数据过程中，每接收一条业务数据，生成所述业务数据对应的数据ID，所述数据ID随着数据接收时间呈递增趋势；

所述预估所述存储周期对应的业务数据的数据量，包括：

确定所述存储周期数据ID的生成速度，以及，确定所述存储周期对应的预设时长；

将所述生成速度与所述预设时长的乘积，确定为所述存储周期对应的业务数据的数据量。

在一个可能的实施方式中，所述方法还包括：

针对目标业务对应的任一存储周期，记录所述存储周期中进行分片存储的第一条业务数据的第一数据ID，以及，所述存储周期中进行分片存储的最后一条业务数据的第二数据ID；

将所述第一数据ID和所述第二数据ID限定的范围，确定为所述存储周期对应的存储范围，得到目标业务对应的存储范围集合。