[发明专利]数据处理的方法、装置、电子设备、存储介质及产品

说明书

本发明实施例提供一种数据处理的方法、装置、电子设备、存储介质及产品。通过获取预先存储的待处理数据，并依据预设维度对所述待处理数据进行维度划分处理，得到至少两个维度下的数据；依据所述至少两个维度下的数据中的每一维度下的数据的数据量，对每一维度下的数据进行数据体量处理，得到每一维度下的处理后的数据；将各维度下的处理后的数据，发送至多个不同节点进行数据处理。采用上述技术手段，能够在数据量较大的情况下提升ClickHouse处理数据的效率。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理的方法、装置、电子设备、存储介质及产品。

背景技术

ClickHouse作为一款针对大数据实时分析的高性能分布式数据库，因为其性能卓越而广受青睐。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：由于ClickHouse的高性能是以压榨服务器性能作为保障的，在服务器不变的情况下，随着聚合计算的数据量和集群计算并发数的提升，ClickHouse很容易达到其性能的瓶颈。

因此，亟需一种数据处理的方法，能够在数据量较大的情况下提升ClickHouse处理数据的效率。

发明内容

本发明实施例提供一种数据处理的方法，能够在数据量较大的情况下提升ClickHouse处理数据的效率。

一方面，本发明实施例提供一种数据处理的方法，包括：

获取预先存储的待处理数据，并依据预设维度对所述待处理数据进行维度划分处理，得到至少两个维度下的数据；

依据所述至少两个维度下的数据中的每一维度下的数据的数据量，对每一维度下的数据进行数据体量处理，得到每一维度下的处理后的数据；

将各维度下的处理后的数据，发送至多个不同节点进行数据处理。

可选的，依据所述至少两个维度下的数据中的每一维度下的数据的数据量，对每一维度下的数据进行数据体量处理，得到每一维度下的处理后的数据，包括：

针对所述至少两个维度下的数据中的每一维度下的数据，若确定该维度下的数据的数据量大于预设数据存储阈值，则根据该维度下的数据、所述至少两个维度下的数据中的任一其他维度下的数据进行数据缩小处理，得到该维度下的处理后的数据；

若确定该维度下的数据的数据量小于等于预设数据存储阈值，则确定该维度下的数据，为该维度下的处理后的数据。

可选的，若确定该维度下的数据的数据量大于预设数据存储阈值，则根据该维度下的数据、所述至少两个维度下的数据中的任一其他维度下的数据进行数据缩小处理，得到该维度下的处理后的数据，包括：

若确定该维度下的数据的数据量大于预设数据存储阈值，则提取该维度下的数据、所述至少两个维度下的数据中的任一其他维度下的数据两者之间的交集，得到该维度下的处理后的数据，所述该维度下的处理后的数据为该维度下的数据、所述至少两个维度下的数据中的任一其他维度下的数据两者的交集下的数据。

可选的，每一维度下的处理后的数据与至少一个节点相对应；将各维度下的处理后的数据，发送至多个不同节点进行数据处理，包括：

若确定每一节点的当前数据处理量大于预设数据处理阈值，则将与该节点对应的处理后的数据中的部分数据，发送至该节点进行处理，其中，所述部分数据为与该节点对应的处理后的数据中的在所述预设数据处理阈值范围之内的数据，并将与该节点对应的处理后的数据中的剩余数据，发送至其他节点进行处理，所述剩余数据为与该节点对应的处理后的数据中的超出所述预设数据处理阈值的数据。

可选的，所述预设维度中包括多个维度值；依据预设维度对所述待处理数据进行维度划分处理，得到至少两个维度下的数据，包括：