[发明专利]数据预处理方法及装置、存储介质、终端

权利要求书

1.一种数据预处理方法，其特征在于，包括：

获取多个样本数据，每一样本数据为包括多个特征的特征值的数据集合；

对于每一特征，统计所述特征在所述多个样本数据中的原始分布以及分布参数；

根据各个特征的分布参数确定对特征进行调整，以使得调整后的特征在所述多个样本数据中的分布为正态分布，所述调整后的特征用于输入至神经网络模型进行训练。

2.根据权利要求1所述的数据预处理方法，其特征在于，所述统计所述特征在所述多个样本数据中的原始分布之前还包括：

识别各个特征在所述多个样本数据中的缺省值，并采用预设数值对所述缺省值进行填充。

3.根据权利要求1所述的数据预处理方法，其特征在于，所述分布参数包括偏度，所述根据各个特征的分布参数确定对特征进行调整包括：

判断每个特征的偏度的值是否大于预设阈值；

如果所述特征的偏度的值大于预设阈值，则对所述特征在所述多个样本数据中的特征值进行调整。

4.根据权利要求3所述的数据预处理方法，其特征在于，所述分布参数包括中位数，所述对所述特征在所述多个样本数据中的特征值进行调整包括：利用所述特征的中位数以及所述特征在所述多个样本数据中的特征值计算所述特征在所述多个样本数据中新的特征值。

5.根据权利要求3所述的数据预处理方法，其特征在于，采用以下公式对所述特征在所述多个样本数据中的特征值进行调整：

其中，x′_i为所述特征调整后的特征值，x_i为所述特征调整前的特征值，∈_i为所述特征的中位数。

6.根据权利要求1所述的数据预处理方法，其特征在于，所述分布参数包括偏度，所述根据各个特征的分布参数确定对特征进行调整包括：

判断每个特征的偏度的值是否小于预设阈值；

如果所述特征的偏度的值小于所述预设阈值，则对所述特征在所述多个样本数据中的特征值进行归一化操作。

7.根据权利要求6所述的数据预处理方法，其特征在于，采用以下公式所述特征在所述多个样本数据中的特征值进行归一化操作：

其中，x′_i为所述特征在归一化操作后的特征值，x_i为所述特征在归一化操作前的特征值，μ_i为所述特征的均值，σ_i为所述特征的标准差。

8.根据权利要求1所述的数据预处理方法，其特征在于，还包括：

统计各个调整后的特征在所述多个样本数据中的分布的均值；

利用所述均值填充各个特征在所述多个样本数据中的缺省值。

9.根据权利要求1所述的数据预处理方法，其特征在于，还包括：

将调整后的多个样本数据输入至所述神经网络模型，以对所述神经网络模型进行训练。

10.一种数据预处理装置，其特征在于，包括：

样本数据获取模块，用以获取多个样本数据，每一样本数据为包括多个特征的特征值的数据集合；

分布统计模块，用以对于每一特征，统计所述特征在所述多个样本数据中的原始分布以及分布参数；

调整模块，用以根据各个特征的分布参数确定对特征进行调整，以使得调整后的特征在所述多个样本数据中的分布为正态分布，所述调整后的特征用于输入至神经网络模型进行训练。

11.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至9中任一项所述数据预处理方法的步骤。

12.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至9中任一项所述数据预处理方法的步骤。