[发明专利]基于分段函数拟合的单调有序数据处理方法及相关设备

说明书

本公开提供一种基于分段函数拟合的单调有序数据处理方法及相关设备，获取目标单调有序数据集；遍历所述目标单调有序数据集，将所述目标单调有序数据集划分为多个数据段；利用线性函数和二阶多项式函数将所有所述数据段分别拟合为函数模型；将所有所述函数模型汇总，得到所述目标单调有序数据集对应的函数模型集合，以降低处理器处理所述目标单调有序数据集所需的算力。本公开利用线性函数和二阶多项式函数根据目标单调有序数据集的数据分布特征进行拟合，效率高，拟合误差小。

技术领域

本公开涉及电子数字数据处理技术领域，尤其涉及一种基于分段函数拟合的单调有序数据处理方法及相关设备。

背景技术

索引是数据库系统中用于提升数据存取性能的主要技术之一，在大数据时代，随着数据量的不断增长，传统索引的问题日益突出，人工智能与数据库领域的结合催生了“学习索引”这一新的方向。

学习索引利用机器学习技术学习数据分布和查询负载特征，并用基于数据分布拟合函数的直接式查找代替传统的间接式索引查找，从而降低了索引的空间代价并提升了查询性能。

数据有序化是学习索引的第一步。学习索引通过学习有序数据集的数据分布规律将数据点与分布位置相关联并建立模型，通过模型快速的实现数据检索以减少不必要的间接查询。因此，如何快速有效的构建有序数据集的数据分布模型是学习索引的关键。

目前在学习索引中对有序数据集的建模一般有神经网络模型、线性回归模型和逻辑回归模型等。然而，神经网络模型、线性回归模型和逻辑回归模型等消耗的计算资源较多，具有较高的时间成本；并且，当数据集中的数据发生变化时，需要对模型进行重新训练，神经网络模型、线性回归模型和逻辑回归模型等无法满足对时效性要求比较高的数据集的要求。

发明内容

有鉴于此，本公开的目的在于提出一种基于分段函数拟合的单调有序数据处理方法及相关设备。

基于上述目的，本公开提供了一种基于分段函数拟合的单调有序数据处理方法，包括：

获取目标单调有序数据集；

遍历所述目标单调有序数据集，将所述目标单调有序数据集划分为多个数据段；

利用线性函数和二阶多项式函数将所有所述数据段分别拟合为函数模型；

将所有所述函数模型汇总，得到所述目标单调有序数据集对应的函数模型集合，以降低处理器处理所述目标单调有序数据集所需的算力。

一种基于分段函数拟合的单调有序数据处理装置，包括：

数据集获取模块，被配置为获取目标单调有序数据集；

数据段生成模块，被配置为遍历所述目标单调有序数据集，将所述目标单调有序数据集划分为多个数据段；

函数模型生成模块，被配置为利用线性函数和二阶多项式函数将所有所述数据段分别拟合为函数模型；

函数模型集合生成模块，被配置为将所有所述函数模型汇总，得到所述目标单调有序数据集对应的函数模型集合，以降低处理器处理所述目标单调有序数据集所需的算力。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的方法。

从上面所述可以看出，本公开提供的基于分段函数拟合的单调有序数据处理方法及相关设备，获取目标单调有序数据集；遍历所述目标单调有序数据集，将所述目标单调有序数据集划分为多个数据段；利用线性函数和二阶多项式函数将所有所述数据段分别拟合为函数模型；将所有所述函数模型汇总，得到所述目标单调有序数据集对应的函数模型集合，以降低处理器处理所述目标单调有序数据集所需的算力。本公开利用线性函数和二阶多项式函数根据目标单调有序数据集的数据分布特征进行拟合，效率高，拟合误差小。

附图说明