[发明专利]一种利用训练数据训练模型的方法和训练系统

说明书

本申请公开一种利用训练数据训练模型的方法和系统，所述训练数据包括多个样本，每一个样本包括N个特征，所述多个样本中对应的特征构成N个特征列，所述训练方法包括：计算每一个特征列的重要程度值；判断每一个特征列的重要程度值是否小于对应的阈值；当判断出所述N个特征列中的M个特征列的重要程度值小于对应的阈值时，将所述M个特征列进行降维处理，生成P个特征列，其中M＜N，且P＜M；将重要程度值大于或等于对应的阈值的(N‑M)个特征列和降维处理后生成的P个特征列合并；以及将合并后的所述多个样本输入机器学习算法模型，训练所述机器学习算法模型。本申请实施例能够对重要特征和辅助特征进行区别处理，达到训练特征参数可控，并提高模型训练的准确性的目的。

技术领域

本申请涉及数据处理领域，尤其涉及一种利用训练数据训练模型的方法和训练系统。

背景技术

在数据挖掘的业务场景中，经常需要利用大规模的训练数据训练机器学习算法模型，进行分类或者回归计算。只有用大量数据训练该机器学习算法模型之后，才有可能获得预测精度较高的该算法模型，进而才能在后续根据输入的数据进行各种行为的预测。

在当前互联网的环境下，训练数据的数据规模经常达到数十亿甚至上千亿，每个训练数据的特征规模随着业务扩展，也会到一个非常大的数量级。

以CTR(Click-Through Rate)预估为例，CTR预估是互联网计算广告中的关键环节，预估准确性直接影响公司广告收入。CTR预估使用特定的算法模型，输入该算法模型进行计算的训练数据可能达到千亿规模，每个训练数据的特征维度也可能达到百亿的规模。如此庞大的规模输入算法模型中，容易造成机器学习算法模型的计算难度增大、效率降低。

为了减少计算难度并提高计算的效率，常规的解决方案是使用并行计算的方式处理训练数据，例如使用LR(Logistic Regression)模型进行处理。LR是广义线性模型，可以进行并行化处理，即将原本海量的训练数据分发到N个不同的计算处理器(worker)中计算，每个计算处理器处理的数据量为总数据量的1/N。

利用上述方式可以对一定数量级的数据进行处理，但是对于百亿特征*千亿数据的规模下，数据总量可能超过PB级别，超出了一般计算集群的计算范围。即使可以利用超大规模的计算集群进行计算，得到最终最优结果的时间也非常长，导致运行效率低，满足不了业务的更新需求。

另外，在一种相反的情况下，训练数据可能会存在维度过低、数据量过小的问题，同样影响机器学习模型的训练精度。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的利用训练数据训练模型的方法和训练系统。

为解决上述问题，本申请一实施例公开一种利用训练数据训练模型的方法，所述训练数据包括多个样本，每一个样本包括N个特征，所述多个样本中对应的特征构成N个特征列，所述训练方法包括：

计算每一个特征列的重要程度值；

判断每一个特征列的重要程度值是否小于对应的阈值；

当判断出所述N个特征列中的M个特征列的重要程度值小于对应的阈值时，将所述M个特征列进行降维处理，生成P个特征列，其中M＜N，且P＜M；

将重要程度值大于或等于对应的阈值的(N-M)个特征列和降维处理后生成的P个特征列合并，得到(N-M+P)个特征列；以及

将包括所述(N-M+P)个特征列的训练数据输入机器学习算法模型，训练所述机器学习算法模型。

本申请另一实施例公开一种利用训练数据训练模型的方法，所述训练数据包括多个样本，每一个样本包括N个特征，所述多个样本中对应的特征构成N个特征列，所述训练方法包括：

计算每一个特征列的重要程度值；