[发明专利]一种参数确定方法、装置及设备

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种参数确定方法、装置及设备。

背景技术

在机器学习算法调优的过程中，特征调优占据非常重要的位置。而现实中特征工程在收集、计算特征得分的时候，大部分的特征分布情况差异化明显，不同维度的数据呈现的分布也多种多样。这种不规则的数据分布不利于算法后续的使用，对线性算法的效率和效果也有明显的影响。因此，通常对数据进行归一化处理，以消除数据间存在的差异。

现有的归一化方法通常是人工指定平滑方程式中参数，然后根据确定参数后的平滑方程式对数据进行归一化。该方法虽然能够拟合出较为平滑的曲线，但是操作起来比较依赖人工经验，并且归一化处理后的数据的区分度不够。因此，如何快速确定平滑方程式中的参数显得尤为重要。

发明内容

本发明实施例的目的在于提供一种参数确定方法、装置及设备，以实现自动、快速确定归一化过程中所用平滑方程式的参数。具体技术方案如下：

一种参数确定方法，包括：

收集待归一化的原始特征数据；

从所述原始特征数据中选取预设数量的目标数据，并对各目标数据进行归一化处理，得到各目标数据归一化后的值；

根据所述目标数据和各目标数据归一化后的值确定目标曲线；

将所述目标数据和各目标数据归一化后的值代入平滑方程式得到分布曲线，将所述分布曲线与所述目标曲线进行拟合，确定所述平滑方程式中各个参数的值。

可选的，从所述原始特征数据中选取预设数量的目标数据的步骤，包括：

将所述原始特征数据从小到大进行排列；

将所述原始特征数据等量划分为预设数量的份数；

选取每份原始特征数据的中位数，并将各中位数作为目标数据。

可选的，所述将所述原始特征数据从小到大排列之后，还包括：

通过预设的缩放系数，对所述原始特征数据进行放大或缩小。

可选的，所述将所述原始特征数据等量划分为预设数量的份数之前，还包括：

将出现次数与总数据量的占比达到预设阈值的原始特征数据确定为噪音点，去除全部或部分所述噪音点。

可选的，所述去除全部或部分所述噪音点之后，还包括：

根据所述噪音点所处的位置对所述原始特征数据进行分段，并计算每段中原始特征数据量与总原始特征数据量的占比。

可选的，所述对各目标数据进行归一化处理得到各目标数据归一化后的值的步骤，包括：

确定各目标数据所处的份数；

将各目标数据所处的份数与所述预设数量的比值作为各目标数据归一化后的值。

可选的，所述对各目标数据进行归一化处理得到各目标数据归一化后的值的步骤，包括：

确定各目标数据所处的份数；

根据各目标数据所处的份数与目标数据所在段的占比对各目标数据进行归一化处理，得到各目标数据归一化后的值。

本发明实施的又一方面，还提供了一种参数确定装置，包括：

数据收集模块，用于收集待归一化的原始特征数据；

预处理模块，用于从所述原始特征数据中选取预设数量的目标数据，并对各目标数据进行归一化处理，得到各目标数据归一化后的值；

曲线确定模块，用于根据所述目标数据和各目标数据归一化后的值确定目标曲线；

参数确定模块，用于将所述目标数据和各目标数据归一化后的值代入平滑方程式得到分布曲线，将所述分布曲线与所述目标曲线进行拟合，确定所述平滑方程式中各个参数的值。

可选的，所述预处理模块包括：

排序子模块，用于将所述原始特征数据从小到大进行排列；

等分子模块，用于将所述原始特征数据等量划分为预设数量的份数；

数据选取子模块，用于选取每份原始特征数据的中位数，并将各中位数作为目标数据。

可选的，所述装置还包括：

缩放模块，用于通过预设的缩放系数，对所述原始特征数据进行放大或缩小。

可选的，所述装置还包括：

噪音点去除模块，用于将出现次数与总数据量的占比达到预设阈值的数据确定为噪音点，去除全部或部分所述噪音点。

可选的，所述装置还包括：

分段模块，用于根据所述噪音点所处的位置对所述原始特征数据进行分段，并计算每段中原始特征数据量与总原始特征数据量的占比。

可选的，所述预处理模块具体用于，

确定各目标数据所处的份数；