[发明专利]数据预处理方法及装置、存储介质、终端

说明书

一种数据预处理方法及装置、存储介质、终端，数据预处理方法包括：获取多个样本数据，每一样本数据为包括多个特征的特征值的数据集合；对于每一特征，统计所述特征在所述多个样本数据中的原始分布以及分布参数；根据各个特征的分布参数确定对特征进行调整，以使得调整后的特征在所述多个样本数据中的分布为正态分布，所述调整后的特征用于输入至神经网络模型进行训练。本发明技术方案能够通过对用于神经网络模型的训练数据进行处理，提升模型的训练效果。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据预处理方法及装置、存储介质、终端。

背景技术

对于结构化的表格数据，利用深度神经网络模型训练之前，往往需要对输入网络的数值型特征(以下简称为特征)进行预处理，如将特征值缩放到相同的区间内。

但是，仅仅对特征进行缩放的话，深度神经网络模型将无法学习到最佳的参数，导致模型在线上使用过程中很容易出现性能衰减，表现不稳定。

发明内容

本发明解决的技术问题是如何对用于神经网络模型的训练数据进行处理，以提升模型的训练效果。

为解决上述技术问题，本发明实施例提供一种数据预处理方法，数据预处理方法包括：获取多个样本数据，每一样本数据为包括多个特征的特征值的数据集合；对于每一特征，统计所述特征在所述多个样本数据中的原始分布以及分布参数；根据各个特征的分布参数确定对特征进行调整，以使得调整后的特征在所述多个样本数据中的分布为正态分布，所述调整后的特征用于输入至神经网络模型进行训练。

可选的，所述统计所述特征在所述多个样本数据中的原始分布之前还包括：识别各个特征在所述多个样本数据中的缺省值，并采用预设数值对所述缺省值进行填充。

可选的，所述分布参数包括偏度，所述根据各个特征的分布参数确定对特征进行调整包括：判断每个特征的偏度的值是否大于预设阈值；如果所述特征的偏度的值大于预设阈值，则对所述特征在所述多个样本数据中的特征值进行调整。

可选的，所述分布参数包括中位数，所述对所述特征在所述多个样本数据中的特征值进行调整包括：利用所述特征的中位数以及所述特征在所述多个样本数据中的特征值计算所述特征在所述多个样本数据中新的特征值。

可选的，采用以下公式对所述特征在所述多个样本数据中的特征值进行调整：其中，x′_i为所述特征调整后的特征值，x_i为所述特征调整前的特征值，∈_i为所述特征的中位数。

可选的，所述分布参数包括偏度，所述根据各个特征的分布参数确定对特征进行调整包括：判断每个特征的偏度的值是否大于预设阈值；如果所述特征的偏度的值小于所述预设阈值，则对所述特征在所述多个样本数据中的特征值进行归一化操作。

可选的，采用以下公式所述特征在所述多个样本数据中的特征值进行归一化操作：其中，x′_i为所述特征在归一化操作后的特征值，x_i为所述特征在归一化操作前的特征值，μ_i为所述特征的均值，σ_i为所述特征的标准差。

可选的，所述数据预处理方法还包括：统计各个调整后的特征在所述多个样本数据中的分布的均值；利用所述均值填充各个特征在所述多个样本数据中的缺省值。

可选的，所述数据预处理方法还包括：将调整后的多个样本数据输入至所述神经网络模型，以对所述神经网络模型进行训练。