[发明专利]基于特征重要性和双线性特征交互的移动应用推荐方法

权利要求书

1.基于特征重要性和双线性特征交互的移动应用推荐方法，其特征在于，包括如下步骤：

1)嵌入层：稀疏输入层对原始输入特征采用稀疏表示，嵌入层能够将稀疏特征嵌入到低维、连续的实值向量中，通过线性变换将稀疏矩阵变成密集矩阵进行矩阵的稠密化、提取矩阵的隐含特征，同时提升模型的泛化能力；嵌入层的输出表示如下：

E＝[e₁，e₂，..，e_i，...，e_f] (1)

其中f代表域的数量，e_i∈R^k则表示第i个域的表征，向量的大小k；

2)SENET层：不同的特征对目标任务应有不同的重要性，对于特定的CTR预测任务，通过SENET机制动态增大重要特征的权重，减少信息不足特征的权重；SENET通过三步组成：特征压缩、激励和重赋权值；首先对上一步得到的嵌入特征进行Squeeze操作，得到全局特征，然后对全局特征进行Excitation操作，学习各个特征间的关系，得到不同特征的权重，最后乘以原来的嵌入特征得到最终特征；

3)双线性交互层：结合内积和哈达玛积来学习具有额外参数的特征交互；交互向量p_ij可通过以下三种方式进行计算：

所有域

p_ij＝v_i·W⊙v_j (5)

W∈R^k×k所有的向量(v_i，v_j)共用一个W；在双线性交互层中额外的参数量为k×k；

单个域

p_ij＝v_i·W_i⊙v_j (6)

W∈R^k×k对应第i个域的参数矩阵，因此该层共需要维护f×k×k个参数；

域之间交互

p_ij＝v_i·W_ij⊙v_j (7)

W∈R^k×k对应第i个域与第j个域之间的权重矩阵，另外需要额外大小为的参数量；

双线性交互层从原始嵌入E输出交互向量p＝[p₁，...，p_i，...，p_n]，以及从类SENET嵌入v输出交互向量q＝[q₁，...，q_i，...，q_n]；其中向量p_i∈R^k，q_i∈R^k；

4)连接层：连接层将交互向量p和q连接起来，并将连接后的向量灌入到神经网络层；具体的过程可表示为如下形式：

C＝[p₁，...，p_n，q₁，...，q_n]＝[c₁，...，c_2n] (8)

5)深度网络：将深度神经网络DNN组件与浅层模型相结合，形成一个深度模型；输入是连接层的输出向量C，深度网络由多个全连接层组成，能够隐含地捕获高阶特征；令a⁽⁰⁾＝[c₁，...，c_2n]表示初始输入，将a⁽⁰⁾灌入深度神经网络，其前馈过程如下：

a^(l)＝σ(W^la^(l-1)+b^l) (9)

a^(l)为深度网络的第l层的输出，σ是sigmoid的函数，W^l表示模型的权重矩阵，b^l表示模型的偏移量；

经过L层后，生成一个稠密的实值特征向量，输入到sigmoid函数中进行CTR预测：

y_d＝σ(W^La^(L+1)+b^L+1) (10)

其中L为深度模型的层数；

6)预测层：模型预测层的输出表达式如下：

其中作为模型的预测值，σ是sigmoid函数；m作为特征大小；w_i是线性部分的第i个权重；

整个训练过程旨在最小化下面的目标函数：

其中y_i是第i个样本的真实标签，对应第i个样本的预测标签；N为移动应用的样本总数。