[发明专利]一种基于多任务学习机制的点击率预估方法

权利要求书

1.一种基于多任务学习机制的点击率预估方法，其特征在于包括以下步骤：

1)构建具有用户属性和物品属性的数据集，并且定义神经网络模型学习的任务目标：点击率CTR和转换率CVR，其中点击率表示用户对展示物品的点击概率，转换率表示用户在点击展示物品后进一步的行为转换概率；

2)对用户属性和物品属性进行特征提取预处理，对所有特征进行离散化后通过独热编码进行特征向量化表示；另外对于用户浏览过的物品，使用Multi-Hot编码进行向量化；

3)经过步骤2)的特征处理后得到高维稀疏的特征向量表示，对于不同特征域首先使用嵌入池化层进行低维嵌入，得到稠密的向量表示，减少神经网络模型的空间复杂度和训练的时间复杂度；

4)经过步骤3)的嵌入表示后，再构造领域知识训练数据集，在该数据集中，训练样本为物品特征，对应输出为知识的多标签分布；基于该数据集对神经网络模型的专家网络进行预训练，使得其中的Meta-Expert模块具备知识输出的能力；

5)神经网络模型在步骤1)构造的数据集上进行整体训练；其中Meta-Expert模块通过预训练的参数进行初始化设置，并且在训练中进一步更新；而神经网络模型的MoE网络包括了多个Expert模块，在训练中通过门控网络来建模CTR任务和CVR任务的联系，门控信号由Meta-Expert模块进行计算控制；

6)门控网络输出的门控信号和MoE网络的知识输出结果进行加权池化，得到用户的最终兴趣向量表示；

7)神经网络模型最后通过逻辑回归将用户的兴趣向量映射为0-1范围内的数值，用于表示用户对候选物品的感兴趣程度；

8)在线服务时，使用已经训练收敛的神经网络模型，根据输入的用户和物品特征即可输出对应的感兴趣概率值。

2.根据权利要求1所述的一种多任务学习机制的点击率预估方法，其特征在于所述步骤2)中的特征提取预处理采用了Python的Scikit-learn和Numpy工具；所述用户属性包括用户ID、性别、年龄、职业特征域，物品属性包括物品ID、类别、上传时间特征域。

3.根据权利要求1所述的一种基于多任务学习机制的点击率预估方法，其特征在于所述的步骤1)中同时采用学习CTR和CVR两个任务目标。

4.根据权利要求1所述的一种基于多任务学习机制的点击率预估方法，其特征在于所述的步骤3)中，对不同特征域采用不同池化方式，其中对于用户特征域和物品特征域的特征向量进行拼接，而对于用户浏览的物品ID特征进行求和池化。

5.根据权利要求1所述的一种基于多任务学习机制的点击率预估方法，其特征在于，所述的步骤4)中，Meta-Expert模块的结构和MoE网络中的Expert一致，都是采用三层全连接层的深度模型；Meta-Expert的特殊之处在于知识的预训练，使得在步骤1)构建的数据集上整体训练能够指导MoE的知识挖掘过程。

6.根据权利要求1所述的一种基于多任务学习机制的点击率预估方法，其特征在于所述的步骤5)和6)中利用门控网络来学习任务导向的用户兴趣表示，所述步骤6)具体为：

步骤6-1：通过Sigmoid函数得到门控信号，计算公式如下所示：

g_i＝Sigmoid(W·[h_meta，h_i]+b)

其中g_i表示步骤5)中所提到的MoE网络中第i个Expert模块的门控信号，W为权重，h_meta为Meta-Expert模块的输出，h_i为第i个Expert模块的输出，b为偏差；

步骤6-2：得到门控信号后对MoE网络的输出进行加权池化，计算公式如下所示：

其中z表示最后的兴趣向量输出，m为Expert模块的个数。