[发明专利]引入概念标签的神经协同过滤概念描述词推荐方法

权利要求书

1.一种引入概念标签的神经协同过滤概念描述词推荐方法，其特征在于包括以下步骤：

1)概念标签信息选择：选定概念词后，获取互联网百科标签信息以及中图分类标签信息作预排序，并对概念词的标签信息作截断处理，获取该概念词的Top-m标签信息；

2)概念标签向量的引入及融合：对于步骤1)中选取的Top-m标签信息做词嵌入操作，随机初始化后并做池化操作，得到Top-m标签信息向量，并与概念词的向量进行融合训练，使概念词的向量与标签信息向量映射到同一向量空间，并使概念词的向量与标签信息向量的距离损失函数值最小，最终得到概念-标签信息融合向量；

3)引入标签信息的广义矩阵分解：在神经协同过滤框架下对矩阵分解模型进行扩展，用神经网络拟合概念-标签信息融合向量mf_p_tl和描述词之间的关系，并通过模型的损失函数来学习权重矩阵，利用非线性激活函数表达矩阵分解模型；

所述的步骤3)具体为：

通过步骤2)已经得到了概念-标签信息融合向量，令概念-标签信息融合向量表达为mf_p_tl，经过词嵌入层后描述词的语义向量表示为q_c，则mf_p_tl的获取方法如下：

mf_p_tl＝p_t⊙p_l

其中，p_t表示概念词的词嵌入向量，p_l表示标签信息的词嵌入向量，

令神经协同过滤网络的第一层映射函数为：

ψ₁(mf_p_tl，q_c)＝mf_p_tl⊙q_c

其中，⊙为element-wise product，表示对应元素相乘，

然后将向量投影到输出层：

其中，a_out表示激活函数，h表示输出层的权重矩阵；

广义矩阵分解模型选用非线性的激活函数来表达，选用sigmoid函数：

a_out＝σ(x)＝1/1+e^-x

同时，h权重矩阵通过模型的损失函数来学习，通过上述两步转化，得到基于广义矩阵分解的协同过滤模型；

4)引入标签信息的多层感知机模型：用多层感知机模型来学习概念-标签信息融合向量mlp_p_tl和描述词之间的潜在交互信息，选用Relu作为多层感知机模型的激活函数，对于网络结构的设计，遵循塔模式，其中底层是最宽的，并且连续的神经网络层的神经元逐渐递减；

所述的步骤4)具体为：

令在多层感知机模型中，经过概念词嵌入层以及概念与概念标签融合后，概念-标签信息融合向量表示为mlp_p_tl，

其中，W_x，b_x，a_x表示权重矩阵，偏置向量和第x层的激活函数，选取Relu函数作为激活函数，对于网络结构的设计，遵循塔模式，其中底层是最宽的，并且连续的神经网络层的神经元逐渐递减；

5)引入标签信息的广义矩阵分解和多层感知机模型的融合：通过学习不同的词嵌入层，融合广义矩阵分解模型和多层感知机模型最后的隐藏层，得到最后的输出向量，在训练整个神经协同过滤模型的同时，训练概念词、描述词以及概念-标签信息融合向量，输出概念词与描述词之间的权重，依照权重值进行排序，得到基于概念词的描述词推荐列表；

所述的步骤5)具体为：

令GMF表示广义矩阵分解，MLP表示多层感知机模型；

步骤3)的基于广义矩阵分解模型得到：

ψ^GMF＝mf_p_tl^G⊙q_c^G

步骤4)中基于多层感知机模型得到：

通过学习不同的词嵌入层，融合两个模型最后的隐藏层，得到最后的输出向量：

其中，mf_p_tl^G，mlp_p_tl^M分别表示GMF，MLP的概念词嵌入层，q_c^G，q_c^M表示描述词的词嵌入层，对于最后隐藏层的融合，实现方式如下：

在训练模型的过程中，优化目标为：

其中，embedding_GMF_concept表示GMF模型的概念词嵌入向量，embedding_GMF_aspect表示GMF模型的描述词嵌入向量，embedding_GMF_tag表示GMF模型的标签信息词嵌入向量；embedding_MLP_concept表示MLP模型的概念词嵌入向量，embedding_MLP_aspect表示MLP模型的描述词嵌入向量，embedding_MLP_tag表示MLP模型的标签信息词嵌入向量；

在训练整个神经协同过滤模型的同时，训练概念词、描述词以及概念-标签信息融合向量，输出概念词与描述词之间的权重，依照权重值进行排序，得到基于概念词的描述词推荐列表。