[发明专利]一种基于特征选择与交互模型的点击率预测方法

说明书

本发明公开了一种基于特征选择与交互模型的点击率预测方法，包括以下步骤：1)构建特征选择与交互模型，所述特征选择与交互模型包括：稀疏输入层、嵌入层、SENET层、双线性交互层、组合层、多隐藏层和输出层；2)将特征向量输入到特征选择与交互模型中，特征选择与交互模型最终输出点击率预测得分；本发明的SENET层可以动态学习特征的重要性，提高了重要特征的权重，并抑制了不重要特征的权重；同时引入了三种类型的双线性交互层来学习特征交互，使特征间的交互更加充分，优化点击率预测。

技术领域

本发明涉及点击率预测的技术领域，尤其是指一种基于特征选择与交互模型的点击率预测方法。

背景技术

目前CTR领域提出了许多模型，如逻辑回归(LR)、多项式-2(Poly2)、基于树的模型、基于张量的模型、贝叶斯模型和基于因子分解机的模型。随着深度学习在计算机视觉和自然语言处理等许多研究领域的巨大成功，近年来提出了许多基于深度学习的CTR模型。因此，对CTR预测的深度学习也成为该领域的研究趋势，一些基于神经网络的模型已经被提出并取得了成功，如因子分解机支持的神经网络(FNN)、注意力因子分解机(AFM)、deepFM、XDeepFM等。同时，不同的特征对目标任务具有不同的重要性，但许多相关工作以简单的方式计算特征交互，如哈达玛积和内积，该种方式并不能使特征进行充分的交互，因此特征交互是CTR预测领域的一个关键挑战。

发明内容

本发明的目的在于为解决现有技术中的不足，提供了一种基于特征选择与交互模型的点击率预测方法，以细粒度的方式动态学习特征和特征交互的重要性，以此来提高点击率预测的准确率。

本发明通过下述技术方案实现：一种基于特征选择与交互模型的点击率预测方法，包括以下步骤：

1)构建特征选择与交互模型，所述特征选择与交互模型包括：

稀疏输入层，用于对所输入的特征向量采用稀疏表示；

嵌入层，用于将特征向量嵌入到稠密向量中，得到嵌入向量；

SENET层，用于将嵌入向量转换为类SENET嵌入向量；

双线性交互层，用于对嵌入向量和类SENET嵌入向量上的二阶特征交互进行建模；

组合层，用于合并双线性交互层的输出，得到交叉特征；

多隐藏层，用于将交叉特征输入到深度网络中，生成密集实值特征向量；

输出层，用于将密集实值特征向量输入到点击率预测函数中，最终输出点击率预测得分；

2)将特征向量输入到特征选择与交互模型中，特征选择与交互模型最终输出点击率预测得分。

进一步，所述嵌入层输出的嵌入向量为E＝[e₁，e₂，···，e_i，··e_f]，其中f表示特征个数，e_i表示第i个特征的嵌入，且e_i∈R^k，R^k代表k维空间上所有的点，k表示嵌入层的维数。

进一步，所述SENET层包括以下步骤：

1.1)压缩

将嵌入向量E＝[e₁，···，e_f]压缩为统计向量Z＝[z₁，···，z_i，···，z_f]，其中i∈[1，···，f]，z_i为标量值，表示关于第i个特征所表示的全局信息，z_i的计算公式如公式(1)所示：