[发明专利]一种基于多层次特征交互的点击率预测方法及装置

权利要求书

1.一种基于多层次特征交互的点击率预测方法，其特征在于，包括：

采集用户的特征数据和历史行为信息，构建训练数据集；

在xDeepFM模型的特征嵌入层与全连接层之间加入二阶特征交互层，以对xDeepFM模型进行改进，并将改进后的xDeepFM模型作为点击率预测模型；

采用所述训练数据集对所述点击率预测模型进行训练；

利用训练好的点击率预测模型对待预测的点击率进行预测，得到预测结果。

2.如权利要求1所述的基于多层次特征交互的点击率预测方法，其特征在于，所述采集用户的特征数据和历史行为信息，构建训练数据集，包括：

采集用户的特征数据和历史行为信息；其中，所述特征数据包括：用户年龄、用户性别、用户使用的手机型号以及用户位置信息；所述历史行为信息包括：用户的浏览时长和用户是否点击广告；

对采集的特征数据和历史行为信息进行预处理，分别提取连续特征和分类特征，并将连续特征置于分类特征之前，以构建训练数据集。

3.如权利要求1所述的基于多层次特征交互的点击率预测方法，其特征在于，所述点击率预测模型包括特征嵌入层、压缩交互网络、二阶特征交互层、全连接层以及预测层；其中，

所述特征嵌入层用于将高维稀疏特征向量转换为低维稠密特征向量，并将转换出的特征向量输入所述压缩交互网络和所述二阶特征交互层；

所述二阶特征交互层用于将n个域中的向量两两对位相乘，得到n*(n-1)/2个向量，并将这些向量相加得到一个低维的特征向量y_e，计算方式如下：

其中，表示两个向量的元素积，e_i表示第i个域的嵌入向量，e_j表示第j个域的嵌入向量，v_i表示第i个域的权重，v_j表示第j个域的权重；

所述二阶特征交互层将得到的特征向量输入所述全连接层，学习高阶特征交互，计算方式如下：

其中，l是隐藏层的编号，是非线性激活函数，是第l层隐藏层的输出向量，表示第l-1层隐藏层的输出向量，W^(l)表示第l层隐藏层的权重矩阵，b^(l)表示第l层隐藏层的偏置量；

所述预测层将线性回归、所述压缩交互网络和所述全连接层集成到一个框架，计算方法如下：

其中，表示所述预测层的输出，σ是Sigmoid函数，x表示没有经过所述特征嵌入层处理的原始特征值，y_dnn，y_cin分别是所述全连接层和所述压缩交互网络的输出值，W_linear，W_dnn和W_cin分别是线性回归、所述全连接层和所述压缩交互网络的参数模型，b_dnn和b分别是所述全连接层和所述预测层的偏置参数。

4.如权利要求1所述的基于多层次特征交互的点击率预测方法，其特征在于，所述基于多层次特征交互的点击率预测方法还包括：

在所述点击率预测模型的独热编码过程引入最大支持维度参数M，防止维度爆炸现象；其中，原始数据与出现频数的字典映射关系如下：

P[x_i]＝N_i,i∈{1,2,...,K}

其中，x_i是第i个不同的哈希值，N_i为x_i对应的频数，K是哈希值的总数；如果K≤M，那么只需将x_i对应的索引在独热编码中取值为1，如果K＞M，则需要对频数N_i进行二次编码，创建一个新的映射表，直到维度小于M；P[x_i]表示第i个特征出现的频数。