[发明专利]数据分段方法、装置、设备及计算机可读存储介质

说明书

本发明实施例涉及大数据技术领域，公开了一种数据分段方法，包括：获取待处理数据的当前分段长度；根据当前分段长度及预设关系公式，确定当前重叠数据长度；预设关系公式表征待处理数据的分段长度与待处理数据总长度及重叠数据长度呈正相关；基于当前分段长度及当前重叠数据长度，生成与所述待处理数据对应的分段数据。本发明实施例实现了避免数据分析边界精度下降，提高结果精度的效果。

技术领域

本发明实施例涉及大数据技术领域，具体涉及一种数据分段方法、大数据任务处理方法、装置、计算设备及计算机可读存储介质。

背景技术

目前，互联网数据大部分是与时间强相关的，通常和时间具有某种规律，此类数据简称为时间数据。现有技术中对于这些数据进行处理时，通常采用两种方式：(1)不将时间数据进行切分，直接整体通过数据挖掘算法进行分析，然后用来预测或决策。这种方法的优点是分析结果准确，缺点是对于数据量巨大的时间数据计算时间长，甚至崩溃无法计算出结果。(2)将时间数据进行切分，然后局部通过数据挖掘算法进行分析，然后合并结果用来预测或决策。这种方法的优点是运用了并行计算和分布式存储，对计算速度提升，即使数据量大也不会崩溃。然而发明人在实施本发明的过程中发现，这种方法存在以下缺点：由于时间进行了切分，每段数据就存在时间起始点和时间结束点，在进行数据挖掘算法计算的时候，边界附近的数据计算的结果精度降低，从而影响了结果的准确性。

发明内容

鉴于上述问题，本发明实施例提供了一种数据分段方法、大数据任务处理方法、装置、计算设备及计算机可读存储介质，用于解决现有技术中存在的现有时间数据切分方法的边界附近数据计算结果精度低的技术问题。

根据本发明实施例的一个方面，提供了一种数据分段方法，所述方法包括：

获取待处理数据的当前分段长度；

根据当前分段长度及预设关系公式，确定当前重叠数据长度；所述预设关系公式表征待处理数据的分段长度与待处理数据总长度及重叠数据长度呈正相关；

基于所述当前分段长度及所述当前重叠数据长度，生成与所述待处理数据对应的分段数据。

在一种可选的方式中，所述方法还包括：基于所述与所述待处理数据对应的分段数据进行计算，得到所述与所述待处理数据对应的分段数据对应的分段结果数据；

确定所述与所述待处理数据对应的分段数据中的重叠数据；所述重叠数据的长度为所述当前重叠数据长度；

确定所述分段结果数据中，所述重叠数据所对应的重叠数据结果；

移除所述重叠数据结果，得到结果数据；

验证所述结果数据的精度，当所述精度小于预设阈值时，调整所述当前分段长度，并根据调整后的所述当前分段长度，重新执行所述确定当前重叠数据长度，生成与所述待处理数据对应的分段数据，基于所述与所述待处理数据对应的分段数据进行计算，移除重叠数据结果，得到结果数据及验证所述结果数据的精度，当所述精度小于预设阈值时，调整所述当前分段长度的步骤，直至所述精度大于等于所述预设阈值，得到所述待处理数据的目标分段长度及目标重叠数据长度。

在一种可选的方式中，所述获取待处理数据的当前分段长度，包括：根据磁盘性能参数、内存信息及算法复杂度确定所述当前分段长度。

在一种可选的方式中，所述基于所述当前分段长度及所述当前重叠数据长度，生成与所述待处理数据对应的分段数据，包括：基于所述当前分段长度将所述待处理数据进行切分，得到多个切分后的分段数据；将各个切分后的分段数据与所述当前重叠数据长度的重叠数据进行拼接，得到所述与所述待处理数据对应的分段数据；所述重叠数据为所述待处理数据中位于所述切分后的分段数据前后所述当前重叠数据长度内的数据。

在一种可选的方式中，所述预设关系公式为：