[发明专利]一种自动多阀值特征过滤方法及装置

说明书

技术领域

本发明属于人工智能技术领域，尤其涉及一种自动多阀值特征过滤方法及装置。

背景技术

超大规模机器学习算法是当前互联网公司实现搜索查询结果排序、互联网广告点击率预测、商品个性化推荐、语音识别、智能问答等系统的基础技术支撑。不断扩大的数据规模在提升算法应用效果的同时，也对大规模数据处理带来了极大的理论和工程实践的挑战。高效的数据处理成为互联网大数据应用的核心技术。

互联网数据通常都非常稀疏，所以在使用互联网数据对机器学习模型进行训练后，会得到稀疏模型，而且稀疏模型方便后续存储和预测。在极度稀疏的互联网数据训练中应用高效的特征过滤算法，可以有效地去除不相关的特征和冗余特征，提高学习算法的泛化性能和运行效率，对于训练机器学习模型具有较大的帮助。

互联网公司用于机器学习模型训练的大规模数据，一般由若干样本数据组成，每个样本由固定数目的特征集合组成。以下是一个例子：

一个样本特征：{feature_1,feature_2,…,feature_n}；

由于互联网大数据样本特征非常稀疏，大部分特征(feature)都是0，所以可以应用某种机制把某些特征过滤掉，不参与后续的模型训练，这样将会极大的提升机器学习模型的训练效率。

现有的特征过滤方法通常通过人工设置一个固定的阈值进行过滤，例如：

设置一个固定的过滤阈值r；

根据样本数据算得梯度g；

根据某维梯度值g_i和其他模型参数算得一个值x，比较x与r的大小，如果x小于r则过滤掉该维特征。

可见现有的特征过滤方法中用于过滤的阈值需要人工指定，所以过滤的效果强依赖人的经验，过滤效果不稳定，因为过滤的阈值不能根据样本数据自动调整，导致训练得到的模型预测精度降低；并且阈值只有一个而且是固定的，不能根据训练的情况动态调整阈值，所以不能很好地过滤所有特征。由于阈值的大小不好确定，如果阈值选择不好，会导致训练得到的机器学习模型不可靠，预测精度降低。

发明内容

本发明的目的是提供一种自动多阀值特征过滤方法及装置，以解决现有技术的特征过滤方法只能使用固定阀值进行特征过滤，造成训练效率不高及训练得到的机器学习模型不够精确的问题。

为了实现上述目的，本发明技术方案如下：

一种自动多阀值特征过滤方法，用于在机器学习模型训练时对样本数据进行特征过滤，所述特征过滤方法包括：

根据上一轮迭代的结果计算本轮迭代的特征过滤阈值及特征相关值；

根据计算得到的特征过滤阈值和特征相关值，对样本进行特征过滤。

进一步地，所述特征过滤阀值为样本数据中各维度特征在上一轮迭代时得到的梯度中最大梯度与样本数据数量的比值。

进一步地，所述根据上一轮迭代的结果计算本轮迭代的特征相关值，包括：

根据上一轮迭代的结果计算本轮迭代样本数据各维度特征的梯度；

根据各维度特征的梯度计算对应的特征相关值。

进一步地，所述各维度特征的特征相关值为各维度的梯度的线性函数。

进一步地，所述根据计算得到的特征过滤阈值和特征相关值，对样本进行特征过滤，包括：

如果各维度特征相关值小于本维度特征过滤阈值，则本维特征被过滤掉，不参与后续迭代计算，否则保留本维特征，继续参与后续迭代计算。

本发明同时提出了一种自动多阀值特征过滤装置，用于在机器学习模型训练时对样本数据进行特征过滤，所述特征过滤装置包括：

计算模块，用于根据上一轮迭代的结果计算本轮迭代的特征过滤阈值及特征相关值；

特征过滤模块，用于根据计算得到的特征过滤阈值和特征相关值，对样本进行特征过滤。

进一步地，所述特征过滤阀值为样本数据中各维度特征在上一轮迭代时得到的梯度中最大梯度与样本数据数量的比值。

进一步地，所述计算模块在根据上一轮迭代的结果计算本轮迭代的特征相关值时，执行如下步骤：

根据上一轮迭代的结果计算本轮迭代样本数据各维度特征的梯度；

根据各维度特征的梯度计算对应的特征相关值。

进一步地，所述各维度特征的特征相关值为各维度的梯度的线性函数。

进一步地，所述特征过滤模块根据计算得到的特征过滤阈值和特征相关值，对样本进行特征过滤，执行如下步骤：