[发明专利]数据分区方法、装置、电子设备及存储介质

说明书

本发明涉及数据处理领域，揭露一种数据分区方法，包括：接收业务数据的分区需求，根据所述分区需求，识别所述业务数据的分区指标和分区属性；根据所述分区指标构建所述业务数据的主分区，及根据所述分区属性构建所述业务数据的子分区；实时监控所述主分区中的分区指标是否发生变化；若所述主分区中的分区指标未发生变化，则将所述业务数据加载至所述子分区中；若所述主分区中的分区指标发生变化，则定位所述主分区中的变化指标，并根据所述变化指标，更新所述子分区，将所述业务数据加载至更新后的所述子分区中。此外，本发明还涉及区块链技术，所述分区指标可存储区块链中，本发明可以数据分区的效率。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据分区方法、装置、电子设备及计算机可读存储介质。

背景技术

数据分区是一种物理数据库的设计技术，它的目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，如数据仓库的创建，会按主题建立许多事实表，每个主题表需要存放大量指标，并且指标的数量是动态的，是不断增加的。并且每个指标的处理逻辑都是不一样的，每个指标都会对应一套处理逻辑。另外每个指标的数据都是按天存放的，并且要初始化3到4年的数据，为了增加读和写的性能，以及解耦每个指标的处理过程，需要建立数据仓库的分区。

但目前数据分区面临以下两个问题：一是建分区的脚本将会非常长，非常难以整理，从而需要浪费较多的时间，影响数据分区的效率；二是初始化的数据如果有问题，需要快速删除单个指标的数据并重新初始化，需要循环很多次循环删除分区，从而也需要浪费较多的时间，影响数据分区的效率。

发明内容

本发明提供一种数据分区方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高数据分区的效率。

为实现上述目的，本发明提供的一种数据分区方法，包括：

接收业务数据的分区需求，根据所述分区需求，识别所述业务数据的分区指标和分区属性；

根据所述分区指标构建所述业务数据的主分区，及根据所述分区属性构建所述业务数据的子分区；

实时监控所述主分区中的分区指标是否发生变化；

若所述主分区中的分区指标未发生变化，则将所述业务数据加载至所述子分区中；

若所述主分区中的分区指标发生变化，则定位所述主分区中的变化指标，并根据所述变化指标，更新所述子分区，将所述业务数据加载至更新后的所述子分区中。

可选地，所述根据所述分区需求，识别所述业务数据的分区指标和分区属性，包括：

根据所述分区需求，识别所述业务数据的业务属性，根据所述业务属性，提取所述业务数据的业务特征，并确定所述业务数据的分区方式；

将所述业务特征作为所述业务数据的分区指标，根据所述分区方式，生成所述业务数据的分区属性。

可选地，所述根据所述业务属性，提取所述业务数据的业务特征，包括：

根据所述业务属性，删除所述业务数据中的无用数据，得到清洗数据，检测所述清洗数据中是否存在重复数据；

若存在重复数据，将删除重复数据中的任一个数据，得到标准数据，并识别所述标准数据是否存在异常数据；

若存在异常数据，则将所述异常数据删除后的标准数据作为所述业务数据的业务特征，若不存在异常数据，则将所述标准数据作为所述业务数据的业务特征；

若不存在重复数据，则识别所述清洗数据中是否存在异常数据；

若存在异常数据，则将所述异常数据删除后的清洗数据作为所述业务数据的业务特征，若不存在异常数据，则将所述清洗数据作为所述业务数据的业务特征。